D’importantes innovations dans l’apprentissage automatique ont fait les gros titres des journaux l’an dernier et nous renvoient l’image des préjugés constants qui nourrissent notre société. En terme de stéréotypes de genre, le risque est réel quand les machines apprennent des langues. Kate McCurdy, linguiste informaticienne chez Babbel, a étudié comment les algorithmes confondent le genre sémantique avec le genre grammatical, les conséquences que cela pourrait avoir pour des applications de ce qu’on appelle l’intelligence artificielle et comment nous pouvons en corriger l’évolution.
Et si vous commenciez par nous expliquer votre projet ?
Bien sûr. J’analyse le genre grammatical dans les word embeddings. Le word embedding (ou plongement lexical) est une sorte de technologie de traitement naturel des langues, utilisée dans de nombreux contextes. Le principe est que l’algorithme apprend le sens d’un mot en fonction des mots qui l’entourent. D’énormes progrès ont été faits dans ce domaine au cours des dernières années. De nombreuses études sont actuellement menées sur ce sujet et de grandes entreprises comme Google ou Facebook les utilisent déjà. Il y a environ deux ans, un nouvel algorithme pouvait entraîner rapidement un programme à déduire le sens de certains mots, ce qui était plutôt incroyable à l’époque. Vous pouviez le laisser agir librement avec un corpus de mots et il apprenait par exemple que « chien », « chat » et « animaux » sont apparentés, ou que « pomme » et « banane » sont liés, sans que personne ne le lui dise explicitement. C’est vraiment impressionnant et cela a été utilisé depuis dans de nombreuses applications technologiques. Mais nous avons remarqué qu’il y avait aussi des problèmes liés à cet algorithme.
Parce que ces algorithmes ont commencé à faire des associations genrées…
Exactement. Ce qu’il se passe, c’est qu’ils parviennent d’un côté à apprendre des choses utiles comme la relation entre « pomme » et « banane », mais qu’ils vont d’un autre côté apprendre des choses moins utiles, des associations que nous ne voulons pas qu’ils déduisent. L’année dernière, de nombreux chercheurs ont publié des études qui prouvent que, par exemple, ces technologies classaient systématiquement des mots relatifs à la carrière professionnelle comme « entreprise », « bureau » et « salaire » avec des mots associés aux hommes comme « oncle » ou « père », des mots liés au masculin. Tandis que des termes en lien avec la maison et la famille étaient mis en relation avec des mots de genre féminin.
Je vais vous donner un exemple célèbre issu de l’une de ces études. L’une des propriétés les plus intéressantes de ces word embeddings est qu’ils peuvent réaliser ce que l’on appelle des tâches d’analogie, où l’on propose à l’un de ces programmes : « L’homme est à la femme ce que le roi est à… », et lorsqu’on le laisse remplir le blanc, comme dans un examen à trous, il nous donne « la reine ». C’est impressionnant, non ? Mais le problème, c’est que lorsqu’on propose quelque chose comme « L’homme est à la femme ce que le pilote est à… », il nous donne « l’hôtesse de l’air ». Et là, ça nous fait vraiment réfléchir. Il s’avère qu’en s’exerçant simplement selon les possibilités statistiques des mots qui en entourent habituellement d’autres dans un texte, le programme finit par faire des associations que nous ne voulons pas qu’il fasse. Et le genre n’est que la pointe de l’iceberg. Les chercheurs ont aussi trouvé des associations problématiques en lien avec la race par exemple.
Bien sûr.
Il s’agit donc essentiellement d’associations qui peuvent vraiment être problématiques. Particulièrement si elles sont impliquées dans d’autres types d’associations. Un chercheur a mis en avant une situation particulièrement éloquente. Imaginez que vous utilisez Google pour chercher un candidat pour un poste de programmateur…
Oui…
Et disons que vous cherchez des candidats dans une université locale par exemple. Or il se trouve que comme les noms des candidats sont aussi présents dans les textes analysés par ces algorithmes, l’application pourrait apprendre que des noms comme Marc et Jean sont plus étroitement associés à la programmation informatique que… Marie. Ainsi, les candidats avec des noms masculins vont être mieux positionnés dans la liste. Donc si vous êtes un employeur et que vous cherchez un candidat, cela pourrait en fait statistiquement biaiser les informations que vous recevez. Et ce n’est qu’une des subtiles manières dont ces technologies pourraient intervenir dans des situations de la vie réelle, dans des enjeux de la vie réelle.
Et qu’en est-il du genre grammatical ? L’anglais est un peu moins compliqué dans ce sens, mais cette question est probablement importante pour les langues qui ont des genres grammaticaux.
Oui, exactement. Les problèmes dont nous venons de discuter ont été observés par d’autres chercheurs. Ici à Babbel, avec mon groupe de travail, nous étudions exactement ce que vous venez de mentionner : comment ces technologies interagissent avec des langues qui ont des genres grammaticaux. Prenons un exemple : en français, en allemand ou en espagnol, nous savons que le mot « père » n’est pas seulement sémantiquement masculin. Le masculin est aussi visible via l’article masculin dans le père, der Vater ou el padre. Donc dans ce cas, le genre sémantique s’observe dans le genre de l’article, ou le genre grammatical. Cela s’applique aussi aux objets. « Table » est masculin en allemand, mais féminin en français et en espagnol.
Ce qui est intéressant c’est que lorsqu’il s’agit d’êtres humains, il y a évidemment une logique derrière les genres. Il existe des associations historiques, d’ailleurs de plus en plus contestées. En suédois par exemple, un nouveau pronom neutre a été inventé : hen. Il y a une réflexion générale menée un peu partout à ce sujet. Mais il ne fait pas de doute que lorsqu’il s’agit d’objets, il n’y a pas de logique claire quant aux genres. Le manque de cohérence d’une langue à l’autre pour le genre du mot « table » est bien la preuve qu’il n’y a pas de vérité à ce sujet. Une table n’a simplement pas de propriété de genre. Il en est de même pour tous les objets. Mais ce que mon groupe et moi avons découvert, c’est qu’étant donné que ces modèles d’associations sémantiques sont simplement basés sur l’observation des mots situés à proximité du mot étudié, si on n’anticipe pas activement cela tout en le corrigeant, un modèle pour l’allemand va apprendre que « table » est effectivement masculin. Et ce mot va être placé dans le même espace sémantique que « père », « frère », et autres mots masculins. Il en est de même pour tous les mots associés au genre grammatical masculin.
Prenons un autre exemple : en allemand, le mot « athlète » a une forme masculine, der Sportler, et une forme féminine, die Sportlerin. Le programme associera « table » à la forme masculine en allemand. Mais en français, le mot « table » étant féminin, le système le classera dans l’espace sémantique féminin, au même titre que « mère » ou « tante ». Les propriétés de genre sont arbitraires dans une langue en ce qui concerne les objets – n’importe quel locuteur sait qu’il n’y a absolument rien de féminin ou de masculin dans une table – mais ne le sont pas du tout pour le programme. Lui apprend qu’il y a un genre derrière les objets. Et cela pourrait influencer les résultats fournis dans des applications où il est utilisé.
Imaginez que vous faites des recherches sur un site de recommandations de produits pour trouver un cadeau pour une amie, portant donc un prénom féminin. Vous obtiendrez des résultats différents, selon que vous faites cette recherche en français ou en allemand, parce que les propriétés de genre varient d’une langue à l’autre. Il y a sans doute toute une gamme de situations subtiles où cela peut arriver, mais si on ne s’en rend pas compte, il n’y a aucun moyen de les corriger.
Est-ce que vous voyez dans votre recherche des moyens de corriger le problème ?
La solution la plus simple serait d’ignorer les articles, non ? En ignorant les articles lorsqu’on entraîne le système, et en lui disant que l’information n’est pas utile. Je pense que cela pourrait marcher pour certaines langues, mais nous devons aller au-delà pour d’autres. En allemand à nouveau, les articles ne nous donnent pas seulement des informations sur le genre, mais également sur le cas. Alors il vaut peut-être la peine d’envisager une approche plus sophistiquée. Dans l’étude que nous avons menée, nous avons fait le plus évident et le plus simple, uniquement pour démontrer le concept : qu’il est possible d’entraîner un programme sans ces parti-pris de genre grammatical. Mais je pense aussi que pour gérer tout cela, il faudra vraiment bien réfléchir, parce que chaque langue a ses propres besoins. Ces modèles d’associations sémantiques sont essentiellement développés en anglais. Ils nous transmettent donc une image des mots anglais, or nous devons vraiment réfléchir aux besoins spécifiques et aux particularités de chaque langue, pour pouvoir faire des généralisations sensées.
Comment cela influence-t-il votre travail à Babbel ?
Nous examinons les différentes possibilités d’utiliser cette technologie pour les apprenants de langues. Imaginez que nous voulions créer un exercice de compréhension pour quelqu’un qui apprend l’espagnol ou l’allemand. Nous voulons par exemple que l’apprenant repère quel mot ressemble le plus à un autre dans un groupe de mot. Il est possible que l’exercice fonctionne particulièrement bien en anglais, mais pas dans d’autres langues. La réponse proposée à l’apprenant pourrait être erronée si nous n’anticipons pas ce genre de choses. Un programme pourrait par exemple éliminer une solution simplement à cause de son genre, au détriment d’une association sémantique plus évidente.
Si on sort du contexte de l’apprentissage des langues, dans quel domaine trouve-t-on les implications sociales les plus intéressantes, avec la remise en question critique de ces modèles ?
Partout où on utilise une technologie d’intelligence artificielle en fait ! C’est-à-dire dans de plus en plus de domaines ! Les AI s’insinuent de plus en plus dans nos vies sans même que nous nous en rendions compte. Mais il est difficile de prévoir leurs effets. Dans nos recherches, nous mettons en lumière l’un des facteurs – parmi des centaines ou des milliers d’autres – qui pourrait affecter une décision concrète prise par le système. Ce qui aura de l’influence sur vous et moi, dans notre consommation et nos recherches, à un moment ou à un autre.
D’autres recherches extrêmement intéressantes ont été publiées récemment, qui démontrent qu’il existe des associations entre les rôles sémantiques et les images. Par exemple, l’association sémantique entre les femmes et la cuisine est tellement forte que pour certains algorithmes programmés pour labelliser des images, si on leur montre l’image d’un homme qui cuisine, ils vont dire que c’est une femme, car l’association est très forte. Pour l’instant, ce n’est que le résultat d’une recherche, mais je pense qu’il est difficile d’imaginer aujourd’hui toutes les implications que cela pourrait avoir. Imaginez par exemple des systèmes qui classent les employés, des algorithmes qui cherchent des mots clés dans des CV. C’est devenu une pratique courante dans un grand nombre d’entreprises. Et si on ne détecte pas cela suffisamment tôt, ces préjugés spécifiques pourraient avoir une influence sur la sélections des CV présentés aux recruteurs.
Oui, en effet.
Cela pourrait finir par changer le système d’embauches. Cela pourrait toucher toutes les sphères dans lesquelles des décisions automatisées sont utilisées dans un contexte institutionnel ou structurel. Dès que quelque chose s’appuie sur une technologie plus ou moins opaque, il y a forcément des conséquences sur les consommateurs. Et ça a de l’ampleur. Mais il y a aussi toute une gamme d’effets potentiels au niveau institutionnel. Dans tous les cas, comme c’est encore vraiment flou, il est difficile d’en anticiper des effets négatifs. C’est pourquoi il est vraiment important d’imaginer ces éléments un par un et de définir clairement les facteurs qui peuvent entrer en jeu.