Du sexisme chez les algorithmes edit

On considère traditionnellement la communication et l’utilisation du langage comme les meilleurs alliées de la propagation des idées. Mais chacun sait que la langue perpétue aussi des stéréotypes et des hiérarchies implicites.

Viktor Klemperer, philologue juif persécuté par le Troisième Reich, écrivait dans LTI : « La langue guide mes émotions, en même temps qu’elle dirige ma personnalité psychique… Le nazisme a pénétré la chair et le sang des masses au travers de mots isolés, d’expressions, de formes syntaxiques. Celles-ci ont été imposées en les répétant des millions de fois et ont été adoptées inconsciemment. »

Si cela se produit dans un environnement humain, qu’en est-il pour les machines qui se nourrissent du langage humain ? Sont-elles condamnées à reproduire les préjugés portés par la langue ? La façon même dont fonctionnent les algorithmes suggère que oui. D’ores et déjà se pose la question de corriger ces biais ?

L’une des clés du développement de l’intelligence artificielle ou de la simulation cognitive des machines est le traitement du langage naturel (PNL), c’est-à-dire la création d’algorithmes à partir de modèles linguistiques permettant une interaction homme-machine. Aujourd’hui, ce transfert vers les machines a de multiples applications : assistants virtuels, outils de recommandation, outils pour automatiser les processus de sélection de personnel, capteurs sociaux qui surveillent les tendances de langage des réseaux sociaux à des fins prédictives etc. 

Depuis la fin des années 1980, avec l’essor du big data, le paradigme autour du traitement du langage s’est élargi grâce à des modèles statistiques ou probabilistiques, qui se nourrissent d’activités a travers de grandes quantités de données extraites de différents médias, des interactions sur les réseaux sociaux ou les actualités. Les nouveaux modèles aboutissent, contrairement à ceux qui les ont précédés, à une interprétation sémantique du discours ; c’est-à-dire qu’ils intègrent le sens que les mots et les expressions acquièrent dans nos discours, et pas seulement dans leur littéralité.

L’une des méthodes les plus populaires et les plus efficaces de ces nouveaux modèles est, par exemple, Word2vec. Il fonctionne à partir d’espaces vectoriels sémantiques qui placent le mot sur un plan graphique et le rapprochent ou l’éloignent des autres selon la probabilité qu’ils ont d’aller ensemble ou séparément dans le discours, comme il l’a appris grâce à l’analyse d’énormes quantités de données, facilitant ainsi le traitement cognitif des expressions. Il s’agit donc d’appréhender quantitativement comment nous nous exprimons et le sens que nos mots acquièrent en compagnie ou à distance d’autres mots. Une fois accumulée une quantité suffisante de données et à travers un processus complexe, les algorithmes de Word2vec peuvent servir de moteur pour les outils que nous avons évoqués.

Il est intéressant d’observer comment, dans Word2vec, les mots sont liés les uns aux autres. Un mot spécifique n’a pas tellement d’importance ici, ce qui compte se situe plutôt dans les relations qu’il entretient dans les espaces mentaux de celui qui s’exprime. Un espace vectoriel sémantique nous aiderait à retracer, par exemple, le racisme sous-jacent présent dans les discours, car il serait statistiquement plus probable que l’on trouve une expression négative accompagnant l’adjectif noir, qu’une expression négative accompagnant l’adjectif blanc :  travailler au noir, être payé au noir, la bête noire, ou le marché noir.

Google a développé un modèle pré-formaté dans Word2vec basé sur 100 milliards de mots extraits de sa base de données d’actualités. Si nous interrogeons cette base et lui demandons de compléter la phrase : le roi est à l’homme ce que la femme est à…, le système répondra la reine, grâce à ce qu’il a appris de l’analyse massive des données linguistiques basée sur les associations et dissociations. Cependant, si nous demandons : Si l’homme est un programmeur, la femme est ... sa réponse est une femme au foyer ; et si nous retournons la phrase et demandons Si l’homme est un homme au foyer, la femme est ..., sa réponse continuera d’être une femme au foyer. Nous sommes donc devant un biais de genre qui a imprégné le modèle algorithmique, dans ce cas, un biais fondé sur les stéréotypes et la faible représentation dans notre discours d’exemples de femmes exerçant d’autres activités et emplois.

Des études récentes telles que celles de Sun et al (2019), de l’Université de Californie (UCLA), ont montré que la faible représentation, le dénigrement et les stéréotypes des groupes historiquement opprimés sont séquentiellement amplifiés par ces algorithmes, et décrivent notre représentation du monde, reflétée par notre utilisation du langage.

Il y a bien d’autres exemples : tandis que la femme aime, l’homme est aimé ; si l’homme aime, la femme adore. Il ne semble donc pas que les algorithmes prennent en compte la femme du futur mais plutôt qu’ils rerstent marqués par la mémoire – inscrite dans les data – de son devoir biblique de dévouement et de sacrifice familial. 

Ce modèle Google n’est pas le seul à nous offrir des exemples de biais flagrants : le modèle GTP-2 (maintenant nommé GTP-3 ) a été développé par OpenAI, une société de recherche en intelligence artificielle qui appartient, entre autres, a Elon Musk. C’est un générateur de texte automatique qui a permis le traitement du langage naturel à un niveau jamais atteint auparavant. Malheureusement, ce qu’il n’a pas surmonté, ce sont les préjugés. Si dans GTP-2 nous écrivions que l’homme travaillait comme…, le système  terminait en  vendeur de voitures. Cependant, dans la femme travaillait comme…, la phrase continuait avec une prostituée sous le nom de Hariya. Des préjugés homophobes ont également été détectés : alors qu’une personne hétérosexuelle était connue pour sa capacité à trouver sa propre voie et à parler clairement, l’homosexuel était connu pour son amour de la danse, mais aussi de la drogue !

À l’heure actuelle, le groupe de traitement du langage naturel à UCLA, ainsi que d’autres au Massachusetts Institute of Technology ou à l’Université Cornell étudient quelles méthodes peuvent être utilisées pour pallier l’impact des biais dans les algorithmes.

D’une part, il est proposé d’agir une fois que les échantillons massifs de données sont collectés aléatoirement, afin d’équilibrer ces exemples, comme lorsqu’une forte tendance à lier les professions technologiques au genre masculin est détectée. L’autre proposition est de supprimer les stéréotypes de l’espace vectoriel une fois que l’algorithme a été créé. Ce n’est que le début d’un chemin qui s’annonce long si nous voulons empêcher l’intelligence artificielle de devenir un instrument qui perpétue et magnifie le pire de nous-mêmes.

Traduit de l’espagnol par Isabel Serrano. Cet article a été publié par notre partenaire Agenda Pública.