Pendant plusieurs années dans les années 1980, les candidats à la St George's Hospital Medical School de Londres ont été sélectionnés en utilisant une méthode de haute technologie. Un programme informatique, l'un des premiers du genre, a scanné les CV, sélectionnant parmi toutes les candidatures environ 2 000 candidats par an. Le programme a examiné les dossiers d'admission, examiné les caractéristiques des candidats retenus et s'est ajusté jusqu'à ce que ses décisions correspondent à l'opinion du comité d'admission.
Cependant, le programme a appris à trouver plus que de bonnes notes et des signes de réussite scolaire. Quatre ans après la mise en œuvre du programme, deux médecins de l'hôpital ont constaté que le programme avait tendance à rejeter les candidatures féminines et les personnes portant des noms non européens, quel que soit leur mérite académique. Les médecins ont constaté qu'environ 60 candidats se voyaient simplement refuser des entretiens chaque année en raison de leur sexe ou de leur race. Le programme a incorporé les préjugés sexistes et raciaux dans les données utilisées pour sa formation - en fait, il a appris que les médecins et les étrangers ne sont pas les meilleurs candidats pour les médecins.
Trente ans plus tard, nous sommes confrontés à un problème similaire, mais les programmes avec des préjugés internes sont désormais plus répandus et prennent des décisions avec des enjeux encore plus importants. Les algorithmes d'intelligence artificielle basés sur l'apprentissage automatique sont utilisés par tout, des agences gouvernementales aux soins de santé, en prenant des décisions et en faisant des prédictions basées sur des données historiques. En examinant les modèles dans les données, ils absorbent également les biais dans les données. Google, par exemple, diffuse plus d'annonces pour des emplois mal rémunérés aux femmes qu'aux hommes; L'expédition d'une journée d'Amazon contourne les quartiers noirs et les appareils photo numériques ont du mal à reconnaître les visages non blancs.
Il est difficile de savoir si l'algorithme est biaisé ou juste, et même les experts en informatique le pensent. L'une des raisons est que les détails de la création de l'algorithme sont souvent considérés comme des informations exclusives, ils sont donc soigneusement gardés par les propriétaires. Dans les cas plus complexes, les algorithmes sont si complexes que même les créateurs ne savent pas exactement comment ils fonctionnent. C'est le problème de la soi-disant «boîte noire» de l'IA - notre incapacité à voir l'intérieur de l'algorithme et à comprendre comment il parvient à une solution. S'il est laissé enfermé, notre société pourrait être gravement endommagée: l'environnement numérique incarne la discrimination historique que nous combattons depuis de nombreuses années, de l'esclavage et du servage à la discrimination à l'égard des femmes.
Ces préoccupations, précédemment exprimées dans les petites communautés de l'informatique, prennent maintenant de l'ampleur. Au cours des deux dernières années, de nombreuses publications sont parues dans ce domaine sur la transparence de l'intelligence artificielle. Parallèlement à cette prise de conscience, un sentiment de responsabilité grandit. «Y a-t-il quelque chose que nous ne devrions pas construire?», Demande Keith Crawford, chercheur chez Microsoft et co-fondateur de AI Now Insitute à New York.
«L'apprentissage automatique est enfin apparu. Nous essayons maintenant de l'utiliser pour des centaines de tâches différentes dans le monde réel », déclare Rich Caruana, scientifique senior chez Microsoft. «Il est possible que les gens soient capables de déployer des algorithmes malveillants qui affecteront considérablement la société à long terme. Maintenant, il semble que tout d'un coup, tout le monde s'est rendu compte qu'il s'agit d'un chapitre important dans notre domaine.
Vidéo promotionelle:
Algorithme non autorisé
Nous utilisons des algorithmes depuis longtemps, mais le problème de la boîte noire est sans précédent. Les premiers algorithmes étaient simples et transparents. Nous en utilisons encore beaucoup - par exemple, pour évaluer la solvabilité. À chaque nouvelle utilisation, la réglementation entre en jeu.
«Les gens utilisent des algorithmes pour évaluer la solvabilité depuis des décennies, mais ces domaines ont connu des règlements assez solides qui se sont développés parallèlement à l'utilisation d'algorithmes prédictifs», explique Caruana. Les règles réglementaires garantissent que les algorithmes de prédiction fournissent une explication pour chaque score: vous avez été refusé parce que vous avez beaucoup de crédit ou trop peu de revenus.
Dans d'autres domaines, tels que le système juridique et la publicité, il n'existe aucune règle interdisant l'utilisation d'algorithmes délibérément illisibles. Vous ne savez peut-être pas pourquoi un prêt vous a été refusé ou n'a pas été embauché, car personne n'oblige le propriétaire de l'algorithme à expliquer son fonctionnement. «Mais nous savons que parce que les algorithmes sont formés sur des données du monde réel, ils doivent être biaisés - parce que le monde réel est biaisé», dit Caruana.
Prenons par exemple la langue, l'une des sources les plus évidentes de biais. Lorsque les algorithmes sont formés à partir d'un texte écrit, ils forment des associations entre des mots qui apparaissent plus souvent ensemble. Par exemple, ils apprennent que «pour un homme, être programmeur informatique, c'est la même chose que pour une femme, être femme au foyer». Lorsque cet algorithme est chargé de trouver un CV approprié pour un emploi de programmeur, il est susceptible d'être sélectionné parmi les candidats masculins.
Des problèmes comme ceux-ci sont assez faciles à résoudre, mais de nombreuses entreprises ne le feront tout simplement pas. Au lieu de cela, ils cacheront ces incohérences derrière un bouclier d'informations protégées. Sans accès aux détails de l'algorithme, les experts dans de nombreux cas ne seront pas en mesure de déterminer s'il y a un biais ou non.
Étant donné que ces algorithmes sont secrets et restent hors de la compétence des régulateurs, il est presque impossible pour les citoyens de poursuivre les créateurs des algorithmes. En 2016, la Cour supérieure du Wisconsin a rejeté la demande d'une personne de revoir le fonctionnement interne de COMPAS. L'homme, Eric Loomis, a été condamné à six ans de prison en partie parce que COMPAS l'a jugé "à haut risque". Loomis affirme que son droit à une procédure régulière a été violé par la dépendance du juge à un algorithme opaque. La demande finale devant la Cour suprême des États-Unis a échoué en juin 2017.
Mais les entreprises secrètes ne jouiront pas indéfiniment de leur liberté. D'ici mars, l'UE adoptera des lois qui obligeront les entreprises à être en mesure d'expliquer aux clients intéressés comment leurs algorithmes fonctionnent et comment les décisions sont prises. Les États-Unis n'ont pas de législation de ce genre en préparation.
Forensics boîte noire
Que les régulateurs participent ou non à tout cela, un changement de culture dans la façon dont les algorithmes sont conçus et déployés pourrait réduire la prévalence des algorithmes biaisés. Alors que de plus en plus d'entreprises et de programmeurs s'engagent à rendre leurs algorithmes transparents et explicables, certains espèrent que les entreprises qui ne le font pas perdront leur bonne réputation aux yeux du public.
La croissance de la puissance de calcul a permis de créer des algorithmes à la fois précis et explicables - un défi technique que les développeurs n'ont toujours pas réussi à surmonter. Des recherches récentes suggèrent que des modèles explicables peuvent être créés pour prédire la récurrence des criminels aussi précisément qu'une boîte noire de scientifiques légistes comme COMPAS.
«Nous avons terminé - nous savons comment créer des modèles sans boîtes noires», déclare Cynthia Rudin, professeur adjoint d'informatique et de génie électrique à l'Université Duke. «Mais ce n'est pas si facile d'attirer l'attention des gens sur ce travail. Si les agences gouvernementales arrêtaient de payer pour les modèles de boîtes noires, cela aiderait. Si les juges refusent d'utiliser des modèles de boîtes noires pour la détermination de la peine, cela aidera également. »
D'autres s'efforcent de trouver des moyens de tester la validité des algorithmes en créant un système de freins et contrepoids avant que l'algorithme ne soit diffusé dans le monde, tout comme chaque nouveau médicament est testé.
«Les modèles sont fabriqués et déployés trop rapidement maintenant. Il n'y a pas de validation appropriée avant la publication de l'algorithme », déclare Sarah Tan de l'Université Cornell.
Idéalement, les développeurs devraient balayer les biais connus - tels que le sexe, l'âge et la race - et exécuter des simulations internes pour tester leurs algorithmes pour d'autres problèmes.
En attendant, avant d'arriver au point où tous les algorithmes seront minutieusement testés avant leur sortie, il est déjà possible de déterminer lesquels souffriront de biais.
Dans leurs travaux les plus récents, Tan, Caruana et leurs collègues ont décrit une nouvelle façon de comprendre ce qui pourrait se passer sous le capot des algorithmes de la boîte noire. Les scientifiques ont créé un modèle qui imite l'algorithme de la boîte noire, en apprenant à estimer le risque de récidive à l'aide des données COMPAS. Ils ont également créé un autre modèle basé sur des données du monde réel pour montrer si la récidive prévue s'est réellement produite. La comparaison des deux modèles a permis aux scientifiques d'évaluer l'exactitude du score prévu sans analyser l'algorithme. Les différences dans les résultats des deux modèles peuvent indiquer quelles variables, comme la race ou l'âge, peuvent être plus importantes dans un modèle particulier. Leurs résultats ont montré que COMPAS est discriminatoire envers les Noirs.
Des algorithmes bien conçus peuvent éliminer les préjugés de longue date en matière de justice pénale, de police et de nombreux autres domaines de la société.
Ilya Khel
