Algorithmes. La bombe à retardement de Cathy O’Neil

Publié en 2016 sous le titre Weapons Of Math Destruction, l’ouvrage de Cathy O’Neil a eu un énorme retentissement. Mathématicienne avertie, après avoir travaillé dans les hedge funds au moment de la crise financière de 2008 et en être revenue, l’auteur a participé activement au mouvement Occupy Wall Street. Elle est devenue aujourd’hui une figure majeure de la lutte contre les dérives des algorithmes. Accompagnée d’une préface de Cédric Villani, la traduction en français de son livre est disponible aujourd’hui sous le titre Algorithmes. La bombe à retardement grâce aux Éditions Les Arènes.

Cette note de lecture fait écho à la recension par Jean-Marie Bergère dans Metis du livre de Dominique Cardon A Quoi rêvent les algorithmes ; nos vies à l’heure des big data. Le livre de Cathy O’Neil complète celui de Dominique Cardon en s’attachant à identifier parmi les algorithmes les modèles nocifs qu’elle appelle ADM, Armes de Destruction Mathématique (Weapons of Math Destruction) et à en analyser les effets au sein de la société américaine. Les énoncés dramatisants des chapitres sont à la mesure de la prise de conscience que l’auteur entend provoquer : « Les mécanismes d’une bombe, La course à l’armement, Machine de propagande, Victimes civiles, Inapte au service, L’angoisse au quotidien, Dommages collatéraux, Zone à risque, Le citoyen pour cible ».

Il ne s’agit évidemment pas pour l’auteur de condamner tous les algorithmes et la floraison des applications qu’ils traitent et que permet la croissance exponentielle des big data comptabilisées maintenant en pétaoctets (millions de milliards d’octets). Leur usage dans les compétitions de base-ball ou de basket-ball qui permet à une équipe d’anticiper la façon dont tel ou tel adversaire va lancer, shooter, passer ou dribbler est transparent et parfaitement légitime, et Cathy O’Neil y fait d’amples références. En revanche, « les ADM sont opaques, (…) invisibles de tous sauf des mathématiciens et des informaticiens, (…) leurs verdicts, fussent-ils nuisibles ou erronés sont sans appel, ne rendent compte de rien et ne souffrent aucune discussion, (…) leurs algorithmes confondent corrélation et causalité, (…) elles privilégient l’efficacité au détriment de l’équité, (…) elles ont tendance à punir les plus défavorisés et les opprimés tout en rendant les riches encore plus riches, (…) ». L’argumentation s’appuie sur une série d’exemples pris dans différents domaines de la vie économique et sociale aux États-Unis. Il faut lire ce livre très riche qui s’appuie sur une multitude de cas concrets et mêle analyses fouillées et réflexions pertinentes sur la société américaine, avec une écriture alerte et claire. Quelques-uns de ces cas vont permettre d’illustrer le propos.

La lutte contre la criminalité par la prédiction du récidivisme est un bon exemple de ces ADM qui renvoient l’individu à son milieu et ses origines, plutôt qu’à ses qualités propres et ses motivations, et qui renforcent les ségrégations. Elle s’appuie sur un long questionnaire que l’on fait remplir au prisonnier. Il comporte des questions précises sur les condamnations dont il a fait l’objet ou sur le rôle d’autres personnes impliquées dans le crime commis ; mais d’autres questions concernent plus largement la vie de l’individu et de sa famille, et privilégient en particulier le quartier où il a vécu ; il s’agit de savoir s’il a déjà eu affaire à la police, si ses amis ou proches ont un casier judiciaire. Au total, même si le questionnaire ne pose pas la question de l’origine ethnique – interdite par la Loi – il permet de se faire une idée précise de la question. À partir de là, les détenus sont classés en trois catégories selon le niveau de risque et dans certains États, les juges utilisent ces scores pour décider de la peine prononcée. C’est ainsi que s’établit une boucle de rétroaction négative, l’individu à risque étant condamné à une peine plus longue, augmentant ainsi la fréquentation d’autres criminels, se retrouvant une fois libéré dans le quartier où il a vécu, lesté d’une condamnation qui lui rend plus difficile de retrouver du travail… Le modèle ainsi conçu alimente lui-même un cycle malsain qui contribue à l’entretenir. C’est la signature d’une ADM.

Un autre exemple vient de l’utilisation de la publicité ciblée, en particulier par les universités à but lucratif, financées par des prêts d’État et délivrant des diplômes de valeur limitée sur le marché du travail. Ces établissements se sont enrichis spectaculairement dans les années 2000 grâce à des campagnes de publicité ciblées sur des segments de la population parmi les plus vulnérables, auxquels on vend la promesse de l’ascension sociale. Dotées de départements marketing puissants, les universités à but lucratif s’appuient sur des campagnes publicitaires et une grande variété de canaux, panneaux, TV, abribus, et surtout Google et Facebook… et sur la conception d’offres promotionnelles spécifiques à chaque segment, avec l’objectif de recruter le plus grand nombre possible d’étudiants susceptibles de décrocher un prêt d’État pour leur scolarité. L’utilisation massive d’Internet permet des retours d’information immédiats et donc l’ajustement fin des messages et des offres aux besoins des prospects. Les développements du machine learning permettent d’aller de plus en plus loin dans l’identification des cibles, la connaissance de leurs comportements et en particulier de leur vulnérabilité face à telle ou telle proposition. Au total, ces gigantesques efforts de recrutement sont évidemment rentables pour l’établissement, mais au prix de la qualité des enseignements. L’auteur mentionne l’entreprise Apollo Group qui a dépensé en 2010 un milliard de dollars pour son marketing, soit 2225 dollars par étudiant pour le marketing contre 892 pour l’enseignement. Pour autant, les frais de scolarité dans ces universités sont supérieurs à ceux pratiqués dans les établissements publics. C’est dire à quel point leurs étudiants, déjà parmi les plus vulnérables, ont besoin de s’endetter pour rembourser les prêts qu’ils ont souscrits – alors que le diplôme obtenu n’aura eu qu’un impact limité sur le marché de l’emploi – tandis que les propriétaires de ces universités bâtissent des fortunes colossales.

Un troisième exemple réside dans les procédures de recrutement des entreprises grâce notamment au modèle Kronos développé dans les années 1970 par des ingénieurs du MIT et qui a gagné pratiquement toute l’économie du recrutement. L’objectif des tests n’est pas de dénicher le meilleur employé, mais d’exclure le plus possible de candidats de la façon la plus économique. Il s’agit de tests de personnalité informatisés qui visent surtout à éliminer les sujets qui pourraient présenter certains problèmes de santé mentale. Les questions laissent souvent perplexe. Ainsi chez McDonald’s, les candidats doivent – entre autres – choisir parmi les deux énoncés suivants celui qui les décrit le mieux : « Il est difficile d’être enthousiaste quand on a beaucoup de problèmes à résoudre » ou « j’ai parfois besoin qu’on me pousse un peu pour me mettre au travail » ! Selon des psychologues consultés par le Wall Street Journal, le premier énoncé rendait compte d’une sensibilité à fleur de peau tandis que le second témoignait d’un manque d’ambition et de motivation ! Au total, on a là un processus largement répandu, disposant d’un impact considérable, mais totalement opaque et interdisant le retour d’information. C’est bien une ADM.

Basé sur des analyses approfondies de situations concrètes, l’ouvrage passe ainsi en revue un ensemble de domaines où des ADM sont à l’œuvre : les conséquences dramatiques de l’introduction du classement des universités américaines par le magasine US News et les multiples boucles de rétroaction négatives sur les universités les moins bien cotées et sur les étudiants des classes moyennes ; les modèles de prédiction des crimes et délits qui reprend une logique analogue à celle de la prévention de la récidive ; la recherche systématique de clients par Amazon qui cible aussi la récidive, mais avec l’objectif contraire de l’encourager ; le tri automatique des curriculum vitae et l’intérêt porté par les DRH au capital social des candidats afin de rechercher les plus susceptibles de rester dans l’entreprise une fois recrutés ; la planification du temps et des horaires des employés qui entraîne la multiplication des contrats à temps partiel et/ou fragmenté ; l’amélioration de la productivité des opérateurs des centres d’appel au prix de l’accroissement dramatique du stress ; l’évaluation des enseignants au moyen du calcul de leur « valeur ajoutée » mesurée par les performances des élèves à des batteries de tests et qui amènent de nombreux professeurs, échaudés par certaines expériences négatives, à renoncer à leurs enseignements de qualité pour se concentrer sur la formation des élèves à bien répondre aux QCM ; les prêts bancaires avec le développement des e-scores de crédits attachés à chaque emprunteur, e-scores qui peuvent aussi s’additionner aux autres renseignements pour mieux cibler les individus à l’occasion d’autres démarches déjà évoquées par exemple en matière d’embauche ou de promotion ; la souscription aux assurances dont la nature est devenue, grâce aux ADM, celle d’une chasse effrénée aux clients parmi les plus vulnérables ; le développement des programmes de wellness dans les entreprises qui répondaient à des intentions louables de l’administration Obama, mais qui se révèlent souvent comme des instruments de contrôle social au sein de l’entreprise et sont aussi pris en compte par les assureurs.

Et puis, bien sûr il y a la vie politique et les manipulations que peuvent nourrir les pétaoctets d’informations sur les citoyens que détiennent les GAFA sans oublier Microsoft et les grands opérateurs de téléphonie. Facebook en est une source et un acteur privilégié dans la mesure des états émotionnels qu’il suscite et transmet selon ses chaînes infinies. C’est ainsi que les algorithmes de Facebook permettent d’agir sur le moral de millions de gens sans que ceux-ci ne s’en aperçoivent. Pour autant, les algorithmes de Facebook ou de Google ne peuvent pas être systématiquement qualifiés d’ADM. Cathy O’Neil évoque les utilisations « vertueuses » qu’ont pu en faire Obama puis Hilary Clinton lors des campagnes électorales, dans le but d’affiner la transmission de leurs messages et de mobiliser leurs militants et donateurs. En revanche, d’autres utilisations se révèlent intrusives, voire nocives, telles que celles développées, mais sans grand succès, par Cambridge Analytica pour le compte de la campagne de Ted Cruz qui visait à en faire le candidat républicain. Cathy O’Neil n’évoque pas les succès de Cambridge Analytica dans la campagne de Trump car le scandale n’a éclaté qu’après la parution de son livre ; cependant elle les annonce implicitement en expliquant combien des campagnes bien ciblées sur les « États charnières » comme la Floride, le Nevada ou l’Ohio pourraient être judicieuses !

Pour la plupart, ces ADM sont terriblement efficaces, d’autant que les catégories les plus aisées en profitent largement (le plus souvent) tandis que les victimes qu’ils soient pauvres ou immigrés éprouvent des difficultés à se faire entendre et à dénoncer la nocivité de systèmes et l’iniquité de leurs conséquences. Par ailleurs, bien qu’ils soient parfois encadrés, les courtiers en données prolifèrent et offrent des solutions « efficaces » à un nombre croissant de problèmes. Évidemment, toutes ces ADM ne prolifèrent pas sans qu’aucun contre-feu n’ait été allumé. Certaines ont été stoppées par la justice et ne sont plus actives – quand elles le sont – que dans certains États ; d’autres, dont les prescripteurs n’avaient pas anticipé les effets délétères de leurs algorithmes, ont pu être corrigées ; d’autres enfin ont fait l’objet de contestations vigoureuses notamment de la part d’universitaires.

En conclusion, Cathy O’Neil cherche à identifier les solutions propres à contrer ces ADM et à promouvoir l’équité dans la conception et le maniement des algorithmes. Une première piste serait de faire prêter aux modélisateurs une sorte de serment d’Hippocrate tel qu’il a été proposé par des ingénieurs à la suite du krach de 2008 ; une autre consisterait à mettre en évidence les coûts sociaux générés par les iniquités. Plusieurs universités ont entrepris d’auditer des ADM, mais elles se heurtent à des résistances de la part des GAFA. L’État a évidemment un rôle à jouer en créant ou en renforçant les réglementations. L’idéal pour Cathy O’Neil serait d’adopter le modèle européen « qui stipule que la collecte de n’importe quelle donnée doit d’abord être approuvée par l’utilisateur ». Et le livre se termine par un message d’espoir basé sur la conviction de l’auteur que les modèles mathématiques, bien conçus et bien utilisés, basés sur des boucles de rétroaction positives et transparentes aux utilisateurs, sont susceptibles de quantité d’actions vertueuses au service de la justice sociale, même si elle reconnait qu’il peut être difficile de mathématiser la confiance et l’équité.

Ainsi, malgré les différences considérables entre les contextes américain et européen, ces conclusions rejoignent celles de Dominique Cardon que citait Jean-Marie Bergère « l’enjeu politique que posent les nouvelles boîtes noires du calcul algorithmique est celui de la capacité à débrayer et à passer en manuel ». Cathy O’Neil reprend la métaphore automobile en nous disant « si l’on envisage les modèles mathématiques comme les moteurs de l’économie numérique, le travail des auditeurs consiste à soulever le capot et à nous montrer comment ils fonctionnent. C’est une étape vitale, pour nous permettre d’équiper ces puissants moteurs d’un volant – et de bons freins ». En d’autres termes, dans sa préface, Cedric Villani nous dit : « Pour mettre fin aux mauvais usages de l’intelligence artificielle, il ne faut pas se les cacher ou se bercer de l’illusion qu’ils seraient réservés aux autres, il faut au contraire en tirer parti et en parler. Profiter de ce que les États-Unis, moins méfiants que les pays européens, ont déjà essuyé les plâtres avec des expérimentations instructives. En parler aussi pour dire à nos concitoyens que tous ces problèmes ont été bien identifiés et que les pouvoirs publics seront vigilants. Et si les pouvoirs publics baissent un jour la garde, ce sera à nous de les réveiller ».

Algorithmes. La bombe à retardement de Cathy O’Neil.
Éditions Les Arènes. 2018