Atténuer la discrimination et les biais en IA : entretien avec Golnoosh Farnadi

Par: Krista Davidson

25 Oct, 2021

25 octobre 2021

Golnoosh Farnadi, titulaire d’une chaire en IA Canada-CIFAR, parle de la signification de l’équité en IA, de l’importance de garder les humains dans la boucle et de son objectif de bâtir un monde plus équitable. Elle est membre du corps professoral de Mila, professeure adjointe à HEC Montréal et professeure associée à l’Université de Montréal.

Quel est votre domaine de recherche en IA et comment avez-vous commencé à vous y intéresser ?

Je m’intéresse à l’IA dite « de confiance ». J’ai fait mon doctorat sur le profilage des utilisateurs de médias sociaux et j’ai ensuite été contactée par des entreprises qui voulaient utiliser mon logiciel à des fins d’embauche. J’étais déçue de voir que des gens avaient accès aux résultats de recherche pour réaliser des projets qui n’étaient pas vraiment éthiques selon moi. À la fin de mon doctorat, j’ai écrit un chapitre sur les conséquences négatives de l’IA, comme la discrimination et les biais. Je me suis rendu compte que si nous ne faisons pas attention, l’avenir risque de ne pas être idéal pour bien des gens. Cette expérience m’a incitée à changer de sujet pour traiter d’équité en IA et de discrimination algorithmique.

Nous entendons parler d’équité en IA, de biais algorithmiques et de discrimination dans les modèles de prise de décision. Qu’est-ce que cela signifie ?

L’équité en IA est un sujet relativement nouveau, contrairement à l’équité dans les systèmes de prise de décision. L’une des principales raisons pour lesquelles nous nous sommes souciés d’équité dans le domaine de la prise de décision automatisée est la législation contre la discrimination. Cependant, il est très difficile de convertir les définitions juridiques de l’équité en notations mathématiques que nous pouvons utiliser en IA. C’est pourquoi nous avons de nombreuses définitions de l’équité fondées sur le contexte.

Ce qui m’intéresse, c’est de mesurer la discrimination en fonction du contexte et d’atténuer la discrimination à différents points du pipeline de l’IA, qui comprend plusieurs éléments : les données, le modèle et le résultat. Les biais et la discrimination peuvent survenir n’importe où le long de ce pipeline. L’apprentissage de l’équité vise à supprimer la discrimination en modifiant les données biaisées et/ou les algorithmes prédictifs fondés sur ces données. Par exemple, un biais peut résulter d’un ensemble de données déséquilibré où la majorité des données ne décrit qu’un seul groupe.

Les modèles d’apprentissage automatique peuvent également être discriminatoires. En tant que chercheurs, nous concevons des modèles axés sur la performance, et nous utilisons certaines mesures pour évaluer leur qualité. Un modèle imitera les schémas trouvés dans les données. Ainsi, en raison de la discrimination historique dans les ensembles de données, vous verrez qu’un algorithme offre plus de possibilités et de résultats favorables à un groupe privilégié, alors que les résultats sont médiocres pour les groupes minoritaires tels que les femmes et les personnes racisées.

Pouvez-vous nous donner des exemples de biais algorithmiques et d’iniquité en IA ?

Joy Buolamwini, chercheuse du Civic Media Group au MIT Media Lab, a publié une étude sur les technologies de reconnaissance faciale qui est devenue célèbre. En testant différentes applications de reconnaissance faciale commerciales, elle s’est rendu compte que ces applications ne reconnaissaient pas son visage. Le problème ne venait pas du logiciel : il détectait assez bien les visages des hommes blancs, mais il ne parvenait pas à reconnaître les visages des femmes noires parce que les données utilisées pour entraîner le modèle ne comprenaient que des visages d’hommes blancs.

Un autre exemple de biais est celui d’un outil de recrutement d’Amazon basé sur l’IA qui, en se fondant sur des données historiques, évaluait mal les femmes et avait tendance à favoriser les candidats ayant une plus grande expérience technique. L’outil se servait d’un modèle d’IA entraîné à analyser les candidatures à partir d’exemples de CV des 10 dernières années. Malheureusement, le modèle a observé que les hommes dominaient les postes techniques au cours de cette période, classant ainsi les femmes au bas de l’échelle.

Ces biais auraient pu être détectés et même évités si un humain s’était trouvé dans la boucle.

Existe-t-il des solutions potentielles pour s’assurer que les systèmes d’IA sont dignes de confiance et équitables ?

Si une application utilise l’IA pour prendre des décisions, il faut qu’il y ait un humain dans la boucle. L’humain doit être conscient des biais qui peuvent exister dans le système et éviter de se fier entièrement aux décisions automatisées. Par exemple, dans le domaine de la justice, le système d’IA ne devrait pas être le seul à décider si une personne doit être emprisonnée et à déterminer la durée de sa peine. Il faut que des humains supervisent ces décisions et modifient celles qui sont injustes.

L’équité en IA est un domaine interdisciplinaire qui dépend du contexte. Les informaticiens doivent travailler avec des juristes spécialisés dans les domaines pertinents, comme la santé, les affaires, l’éducation, le droit, etc.

De nombreuses entreprises ne veulent pas partager leurs données ou leurs algorithmes, ni prendre le risque qu’un chercheur y découvre des biais algorithmiques ou une forme de discrimination. Le seul espoir est que nous ayons davantage de réglementations encadrant l’IA. Une solution, par exemple, consiste à faire appel à des auditeurs qui travailleraient avec l’entreprise pour essayer de détecter et d’atténuer la discrimination et les biais dans les systèmes d’IA.

Qui est le plus vulnérable à l’absence de contrôle de l’équité et de la fiabilité de l’IA ?

Tout le monde, parce que vous ne savez pas quand, comment ou contre qui un algorithme peut se révéler discriminatoire. Il est évident que certains groupes minoritaires sont plus à risque dans les applications d’embauche, comme les femmes, ou dans les outils d’application de la loi, comme les personnes noires.

Pourquoi ce travail est-il important pour vous ?

Je me bats pour une société équitable. Je ne verrai peut-être pas cela de mon vivant, mais je me bats pour cela, et c’est ce qui me donne l’énergie de m’attaquer à ce sujet. J’espère que la situation s’améliorera pour nos enfants.

Comment vos fonctions de titulaire d’une chaire en IA Canada-CIFAR et de membre du corps professoral de Mila vous aident-elles à mener cette recherche ?

Je suis reconnaissante d’être au Canada pour mener un projet auquel je crois, d’avoir le soutien du CIFAR et du gouvernement, de pouvoir embaucher des gens pour travailler sur ce projet et d’avoir la chance d’accéder à un réseau de chercheurs talentueux. J’ai consacré ma vie à ce domaine avant même de commencer à y travailler. J’ai choisi ce sujet de recherche parce qu’il correspond à ce que je suis. Je crois que, dans l’avenir, nous pourrons avoir accès à toutes ces technologies de façon équitable. Au cours des cinq prochaines années, je pense pouvoir résoudre certains des problèmes en matière d’équité.

single share hidden input
Suivez-nous

Soutenez-nous

L’Institut canadien de recherches avancées (CIFAR) est une organisation de recherche d’influence mondiale fièrement basée au Canada. Nous mobilisons les plus brillants personnes du monde, dans toutes les disciplines et à tous les stades de carrière, pour faire progresser les connaissances transformatrices et résoudre ensemble les plus grands problèmes de l’humanité. Nous recevons l’appui des gouvernements du Canada, de l’Alberta et du Québec, ainsi que de fondations, de particuliers, d’entreprises et d’organisations partenaires du Canada et du monde entier.

Dons

Atténuer la discrimination et les biais en IA : entretien avec Golnoosh Farnadi

Suivez-nous

Articles liés

Soutenez-nous