Les Secrets de Saint Pierre

Surveiller les algorithmes
Le Monde.fr du 2 novembre 2013

De plus en plus souvent, des algorithmes décident de notre rapport au monde. Que ce soit pour nous mettre en relation avec d'autres sur des sites de rencontres ou pour estimer notre capacité de crédit, pour nous diriger dans la ville via nos GPS voir même pour nous autoriser à retirer de l'argent à un distributeur automatique... les algorithmes se sont infiltrés dans notre vie quotidienne sans notre consentement et modulent notre rapport au monde sans que nous soyons vraiment au courant de leur existence, de l'ampleur de leur action, de leur pouvoir et des critères qu'ils utilisent pour décider de nos existences à notre place. Sans que nous ayons non plus beaucoup de possibilités pour réfuter ou intervenir sur ces critères. "Trop souvent, c'est l'ordinateur qui décide !"

Comprendre comment fonctionnent les algorithmes qui nous gouvernent n'est pourtant pas du recours des seuls spécialistes, estime le journaliste Frank Swain (@SciencePunk). Dans l'un des derniers billets de son blog Future Exchange sur Medium, il revient très concrètement sur la façon dont les algorithmes nous gouvernent, en montrant, comment, nous pouvons essayer de comprendre les traitements dont nous sommes l'objet.

Frank voyage dans le monde entier... Et autant le dire, l'algorithme chargé de surveiller les mouvements de son compte en banque n'aime pas trop cela. Sa carte de retrait a encore été refusée. Il ne sait pas pourquoi... et il ne peut pas savoir pourquoi. Tout le problème est là !

Danser avec les algorithmes silencieux
A chaque fois qu'on retire de l'argent, l'automate de la banque doit décider si ce retrait est autorisé, s'il est "normal". Il doit décider si c'est vraiment nous qui retirons de l'argent. Notre carte, notre code bancaire ne sont que des talismans pour en appeler à un complexe cerveau électronique résidant quelque part dans un datacenter climatisé. C'est lui le véritable gérant du guichet et c'est lui qui doit approuver ma transaction pour qu'elle soit autorisée. En fait, notre carte et notre code ne sont pas si importants que cela pour ce cerveau électronique. "Ce qu'il consulte avant tout c'est une vaste base de données d'enregistrements qui inclue ma localisation présumée, mes transactions récentes, le type de transaction que je demande, le temps qui s'est écoulé depuis ma précédente transaction, le montant que je demande, la date de cette transaction et quelques dizaines d'autres mesures dont je n'ai pas conscience. Il soupèse chacun de ces facteurs et décide si je suis vraiment celui que je prétends être. Il les soupèse et décide de me donner ou pas mon argent." En fait, ces enregistrements, aussi factuels et minimaux soient-ils, par leur accumulation, dessinent une base de données de comportements, basée sur l'analyse de ces enregistrements. L'activité est une alternative à l'identité.

Le problème est que quand l'algorithme refuse la transaction, la machine ne nous dit jamais pourquoi. "Cela signifie que nous sommes constamment engagés dans une sorte de danse avec l'algorithme, une danse où je ne peux entendre la musique et où la seule réaction que je reçois est quand je marche sur les pieds de mon partenaire." Nous ne connaissons ni les règles des algorithmes ni quand elles sont modifiées... Notre seul repère consiste à observer par essai/erreur, afin d'apprendre ce qui ne lui convient pas. Nous apprenons en dansant !

Et Frank Swain de faire référence aux travaux de Timo Arnall (notamment via le monde visible par des robots) et James Bridle (voir sa présentation à Lift sur comment nous écrivons avec les machines) nous expliquant combien nos vies sont désormais influencées par les technologies, non seulement par les objets que nous utilisons tous les jours, mais également par les systèmes invisibles qui nous entourent et ces architectures qui façonnent nos modes de nos vies. "Nous vivons à l'intérieur de systèmes invisibles aussi courants que des formulaires d'assurance, des demandes de prêts, d'emplois, de rencontres... et nous tentons de nous y ajuster consciemment en fournissant les informations que nous pensons être les plus appropriées ou les moins mal interprétées par ces systèmes." Mais les machines ne comprennent pas très bien la normalité, au-delà d'une courbe statistique à laquelle mon comportement doit se conformer. Notre travail consiste donc à deviner la forme de cette courbe, estime Frank Swain. Les algorithmes bancaires sont conçus pour détecter les transactions frauduleuses et ils ne partagent pas les secrets de leurs alarmes de peur qu'on puisse les contourner. Pourtant, les criminels, finalement, n'en savent-ils pas beaucoup plus sur ces algorithmes que le public ? Ne savent-ils pas mieux naviguer que nous dans le cerveau de ces machines pour vider nos comptes en banque ?

Frank Swain a ainsi découvert qu'il avait annulé une transaction sur un distributeur à Barcelone, alors que sa banque l'avait accepté, ce qui explique que ses retraits ultérieurs aient été refusés... Visiblement, ce comportement-là semble répréhensible pour la machine. Ce n'est certes pas beaucoup, mais Frank a appris un pas de danse de plus avec l'algorithme. Certes, ce pas de danse est bien incertain et montre peut-être aussi les limites de cette technique par essai-erreur. A-t-on pris en compte le bon paramètre ? Est-ce vraiment cette suite logique que la machine a détecté ? En faisant ces rapports de manière solitaire et isolé, il n'est pas sûr que nous parvenions à circonvenir les algorithmes, mais allez savoir, peut-être qu'en s'y mettant à plusieurs...

L'ingénierie inversée
Force est de constater que nous ne sommes peut-être pas si démunis que cela pour comprendre les algorithmes. Pour connaître leurs biais, il y a une méthode simple, estime Nicholas Diakopoulos (@ndiakopoulos) pour The Atlantic : l'ingénierie inversée ! C'est-à-dire de déterminer le fonctionnement d'un système en étudiant ses réponses en faisant varier les signaux d'entrée. Faisons des algorithmes notre terrain d'analyse, nous invite le journaliste. Et de nous rappeler que cela est déjà le cas. Au Wall Street Journal, une équipe de journaliste a sondé des plateformes de commerce électronique pour identifier des cas de tarification dynamiques (voir notre article : "De quels traitements sommes-nous les proies ?). Pour le Daily Beast, Michael Keller a regardé la fonction de correction d'orthographe de l'iPhone pour voir les mots qui n'étaient pas dans le correcteur, ceux qu'Apple ne veut pas que vous employez, comme les mots "avortement" ou "suicide". Pour Slate, Nicholas Diakopoulos a observé les critères éditoriaux embarqués dans les algorithmes d'autocomplétion des moteurs de recherches Bing et Google, permettant de déterminer les termes censurés et les marges d'erreur des systèmes de filtrage. A Harvard, Latanya Sweeney du Data Privacy Lab, a mis en avant la discrimination raciale dans la publicité en ligne.
"Toutes ces histoires partagent plus ou moins la même méthode. Les algorithmes sont des boîtes noires exposant des entrées et des sorties sans trahir le moindre de leurs organes internes. Vous ne pouvez pas voir ce qu'il se passe à l'intérieur directement, mais si vous pouvez faire varier les entrées de différentes façons et porter attention aux sorties, vous pouvez commencer à assembler quelques conclusions pour comprendre comment l'algorithme transforme chaque entrée en sortie. La boîte noire commence à divulguer certains secrets."

Certes, les corrélations trouvées ne signifient pas nécessairement intention. Encore faut-il creuser plus profondément les motifs et les intentions de conception derrière les algorithmes. Compte tenu de la montée en puissance des algorithmes sur la société, il est essentiel de continuer à mettre la lumière sur ces systèmes qui n'offrent pas beaucoup de transparence ni de clarté...

L'opacité : le poison
Nos systèmes sociotechniques ne sont pas très transparents. C'est ce que pointe James Bridle (@jamesbridle) dans son très stimulant petit essai sur la vidéosurveillance publié par Matter, Ring of Steel où il évoque les systèmes de caméras de surveillances dédiées à la lecture automatisée de plaques d'immatriculation (LAPI) mises en place en Grande-Bretagne et aux Etats-Unis, et dont le plus connu est celui qui fait fonctionner le péage urbain de Londres (surveillé par près de 700 caméras).
Ces réseaux de vidéosurveillance sont très peu documentés. "Cette opacité est délibérée", rappelle Bridle, la police refusant de livrer la magnitude de son réseau de surveillance routier. Même si on compte certaines initiatives citoyennes pour documenter l'emplacement des caméras, la plupart des citoyens ne savent pas précisément comment la technologie est utilisée. Mis en place pour détecter des voitures volées, réguler voire facturer le trafic, ces LAPI mettent en place une discrète surveillance de masse où toute voiture devient suspecte. En fait, la loi britannique ne considère pas ces enregistrements de numéros de plaque minéralogiques comme des données personnelles. Les données d'enregistrement (des photos de véhicules auxquels sont associés des numéros de plaques) sont accessibles 90 jours à tous ceux qui sont accrédités pour cela, sans qu'une décision de justice soit nécessaire pour y accéder.

Pour l'instant, aucune étude n'a chiffré leur efficacité ni mesuré le niveau de surveillance qu'elles engendrent. Pourtant, contrairement à ce que l'on croit, le système mis en place n'est pas qu'un système de surveillance temps réel. L'historique des enregistrements est plus utilisé que les alertes temps réels et de nombreuses autres techniques ont été imaginées pour faire parler les données. L'analyse de convois permet ainsi de regarder dans la base de données si un autre véhicule a fait le même trajet que vous. Le système génère également un rapport de trajets impossibles pour détecter les plaques minéralogiques qui posent problèmes et générer des alertes... D'autres enquêtes algorithmiques sont également possibles comme la prédiction permettant de rétablir une surveillance humaine sur une cible qui a disparu ou analyser où une voiture en infraction risque de se rendre pour l'intercepter... A Londres, le système génère plus d'alertes que ce que la police peut traiter. Les données recueillies par ces systèmes sont pauvres de prime abord : un numéro de plaque, un lieu et une heure, et une image qui n'est pas passionnante. Mais leur analyse et leur agrégation permettent de détecter des corrélations bien supérieures à leur effet premier.

Bref "ce réseau n'est pas qu'un réseau d'identification en temps réel, mais il est bien un système pervasifs de surveillance algorithmique", conclut Bridle. Récemment une société d'enquête privée américaine, TLO, a ouvert un service permettant à quiconque d'avoir accès aux enregistrements concernant un numéro d'immatriculation en échange de quelques dollars (voir NBCNews). En 2010, Mike Katz-Lacabe, un consultant de San Leandro en Californie, a demandé ses données à la police et a reçu un rapport contenant 112 images de son véhicule permettant le plus souvent d'identifier ses occupants (voir le très complet reportage du Wall Street Journal sur le sujet).

Le problème de ces systèmes est qu'ils enregistrent des données sans raison prédéterminée, estime Bridle. Ces technologies d'analyses font de la rétention d'information l'option par défaut... Et James Bridle de rappeler que la loi britannique sur les données personnelles a été imaginée à une époque où on se concentrait sur l'accès aux données, pas à celle des requêtes algorithmiques. Bien sûr, le système connaît des dérives. Bridle rapporte par exemple l'histoire d'un homme arrêté 25 fois sous divers prétexte. En fait, à l'origine, c'était parce que sa plaque minéralogique avait été repérée aux alentours d'une manifestation contre la chasse ! Voilà un usage supplémentaire de ce réseau. En fait, estime Bridle en se basant sur des directives internes à la police, la surveillance et le traçage de véhicules associés à des manifestations publiques ne sont pas une routine, mais sont activement encouragés par la police. Or tout cela n'a pu être documenté que parce que les gens blessés par ces systèmes techniques en rapportent... Les criminels savent mieux que d'autres contourner ces systèmes : en modifiant leurs plaques afin qu'elles soient moins lisibles par les capteurs infrarouges, en utilisant des cartographies de ces caméras pour modifier leurs itinéraires de conduites ou en endommageant les systèmes, notamment en certains points.

"Ce sont les lois qui exemptent les données de véhicules de la protection à la confidentialité nécessaire, et ce sont ces mêmes lois qui ne mentionnent pas les possibilités très réelles de harcèlement, d'intrusion dans la vie privée et d'arrestation illégale rendue possibles par ces systèmes, qui sont des risques inhérents à une couverture en systèmes de surveillance automatisés", s'alarme Bridle. La compréhension de ce qu'il se passe dans ces systèmes de surveillance est impossible sans visibilité. "Quand il ya une pression à obscurcir une infrastructure - camoufler les caméras, fermer les réseaux, ou restreindre la liberté de demandes d'informations - une pression correspondante est exercée sur la démocratie qu'elle prétend défendre."
Forbes rapportait récemment qu'un hacker, @PukingMonkey, avait démontré que les badges de péages électroniques sans contact utilisés à New York, les e-Zpass, n'étaient pas lus seulement aux barrières de péage... soi-disant pour aider l'autorité de transport à mieux connaître l'état du trafic (sans que cela ait été précisé dans les conditions d'accès au service). En bricolant un capteur lumineux à son pass pour savoir quand son badge était lu, Puking Monkey a fait une démonstration très visuelle (vidéo) de la manière dont nous sommes lus par-devers nous...

A nouveau, à défaut de transparence de la part des services qui les conçoivent, la rétro-ingénierie semble effectivement l'une de nos rares armes pour lutter contre les algorithmes et les systèmes techniques opaques. Reste que pour être efficace, il va falloir qu'elle soit plus collaborative que celle qu'esquissent les lanceurs d'alertes...
Hubert Guillaud

Le sous-préfet de Morlaix, au coeur de la révolte
Télégramme du 6 novembre 2013

Au lendemain de l'assaut de la sous-préfecture de Morlaix, nous avons joint le sous-préfet, Philippe Loos, afin de revenir sur l'action des Tilly-Sabco. L'occasion aussi d'évoquer la situation de son arrondissement, le plus exposé à ce que les médias appellent la révolte bretonne.


Quel commentaire faites-vous sur l'assaut des Tilly-Sabco à la sous-préfecture, lundi après-midi ?
Comme l'a dit le préfet, toute forme de violence est à proscrire. Alors que je recevais une délégation, je n'ai pas compris pourquoi on s'en est pris au portail, mettant en danger des personnes. Comme ils ont dégradé un bien de l'État, c'est le contribuable qui va encore payer.

Comptez-vous porter plainte ?
Cela n'a pas encore été envisagé. Le préfet avisera mais, comme il y a eu dégradation d'un bien public et vu la tournure des faits, il y aura très certainement un dépôt de plainte.

Comprenez-vous la détresse de tous ces salariés ?
Oui, je la comprends tout à fait. Quand le portail a été détruit, on faisait le compte, avec les éleveurs et salariés, de tout ce qui allait se passer, si jamais Tilly-Sabco mettait la clé sous la porte. On comprend donc que les gens soient inquiets, dans le désespoir et le désarroi.

Que pouvez-vous faire, à part relayer leurs revendications ?
Mon rôle premier, c'est d'alerter le gouvernement sur ce qui se passe sur le terrain. Puis, en fonction de l'évolution de la situation, je peux être amené à les aider. Mais il me faut des outils, comme le pacte d'avenir pour la Bretagne. J'attends beaucoup que ce pacte soit négocié et qu'on ait des moyens, des outils financiers à mettre en oeuvre sur le territoire.

Quand vous avez pris vos fonctions à Morlaix, il y a moins d'un an, vous attendiez-vous à un tel vent de fronde dans l'arrondissem
ent ? Franchement, je ne m'attendais pas à tout ça. Pour Gad, j'ai beaucoup travaillé avec leurs délégués. In extremis, on a réussi à arracher cet accord. J'étais plutôt satisfait pour les salariés qui restent sur le carreau.

On parle de révolte bretonne mais c'est ici, dans votre arrondissement de Morlaix, que cette colère a surgi avec les Gad, les Marine-Harvest (Landivisiau), les légumiers et, maintenant, les Tilly-Sabco. Sans oublier ce qui s'est passé à Guiclan, où le premier portique écotaxe français est tombé. Comment vivez-vous cette situation, vous qui êtes le sous-préfet le plus exposé à cette révolte bretonne ?
Je suis heureux de vous l'entendre dire. Le mouvement de grogne est certes breton mais c'est vrai que les difficultés sont essentiellement chez nous. Ceci me renforce encore dans la volonté d'agir pour ce territoire. Je ne suis pas breton (il est né à Versailles) mais, quand on est sous-préfet, on est affecté à un territoire et on apprend à l'aimer. On veut tout lui donner et se battre pour lui.

Comment voyez-vous l'avenir de l'arrondissement ?
Je ne peux être qu'optimiste, même si je sais qu'on rencontre des grosses difficultés. Il y a un nouvel équilibre à trouver dans ce territoire, un équilibre qui doit passer par ce pacte d'avenir pour la Bretagne. On a quand même cette chance de l'avoir. C'est, en effet, rare qu'une politique publique soit uniquement attribuée à une région en particulier. C'est une chance réelle et il faut la saisir maintenant. Il faut obtenir le maximum pour rebondir. Si on se contente de se lamenter et de dire qu'il n'y a plus rien, c'est sûr qu'un beau jour, il n'y aura plus rien.
• Propos recueillis par Jacques Chanteau

Assaut de la sous-préfecture : 20. 000 € de dégâts
Selon la sous-préfecture, 20.000 € de dégâts, dont plus de la moitié pour le portail défoncé, ont été occasionnés, lundi après-midi, lors de l'assaut des salariés de Tilly-Sabco et des éleveurs. Outre le portail, un portillon a été abîmé, le goudron détérioré, des pierres descellées, des pots de fleurs brisés, des bûches volées... Hier, les agents des services techniques de la ville de Morlaix (notre photo) ont passé la journée à nettoyer les lieux (voir la vidéo sur www.letelegramme.fr).

Université de Vannes, un Master décisionnel lancé à l'UBS
Télégramme du 11 novembre 2013

Après avoir lancé en septembre le Diplôme universitaire (DU) décisionnel, l'Université de Bretagne-Sud (UBS) élargit son offre de formation en lançant le Master décisionnel pluri-compétences.

C'est la suite logique... En effet, le DU créé à la rentrée concernait les étudiants en troisième année de licence (L3) en Sciences de gestion ou en Mathématiques-informatique-statistique. L'année prochaine, la plupart devraient donc passer en Master. Désormais, les étudiants des quatre filières de Master (statistique, informatique, contrôle de gestion et marketing) peuvent, s'ils le souhaitent et qu'ils réussissent leurs examens, ajouter un nouveau Master décisionnel sur leur CV. Un double diplôme pour maximiser ses chances sur le marché du travail ! Ce sont des enseignants-chercheurs de l'UBS, de l'IUT de Vannes et des entreprises de tous secteurs qui sont à l'origine de ce projet. Des enquêtes ont été réalisées auprès de 310 entreprises, avec un retour de 56 d'entre elles, ce qui montre leur intérêt et leur besoin de trouver des experts à double ou triple compétences. Du côté des étudiants, l'enquête a aussi révélé qu'ils sont favorables à ce projet.

Vingt étudiants inscrits pour le DU décisionnel
À la rentrée de septembre, 20 étudiants en troisième année de licence (L3), de la faculté de sciences et de la faculté de droit, économie et gestion, se sont inscrits pour cette première année de DU décisionnel. Ils suivent quatre heures de cours supplémentaires par semaine pour préparer ce diplôme avec, comme entreprises partenaires, Socomore (industrie en chimie aéronautique), Isatech (spécialisée dans les solutions globales de performance du système d'information) et MGDIS (éditeur de logiciels d'aide à la décision et de pilotage).