Le CIFAR annonce les premières subventions Catalyseur pour la sécurité de l’IA dans le cadre d’un nouveau programme national

Par: Justine Brooks

4 Juin, 2025

04 juin 2025

Dix nouveaux projets reçoivent un financement par l’entremise du programme de recherche de l’ICSIA au CIFAR pour faire avancer des travaux essentiels dans le domaine de la sécurité de l’IA

Dix projets de recherche ambitieux ont reçu une subvention Catalyseur en sécurité de l’intelligence artificielle (IA) par l’entremise du nouveau programme de recherche de l’Institut canadien de la sécurité de l’IA (ICSIA) au CIFAR, qui est financé par le gouvernement du Canada. Chaque initiative recevra un financement de 100 000 dollars pour appuyer le travail d’un maximum de deux chercheurs ou chercheuses de niveau postdoctoral sur une période d’un an. Ces membres postdoctoraux en sécurité de l’IA du CIFAR contribueront à l’essor d’une communauté émergente de chercheuses et chercheurs en début de carrière axée sur la sécurité de l’IA, faisant ainsi du Canada une pépinière de talents dans ce domaine.

« Alors que l’intelligence artificielle continue de transformer notre façon de vivre et de travailler, il est plus important que jamais d’investir dans le potentiel des talents d’ici afin de mettre cette technologie à notre service, et non l’inverse. Le Canada est à l’avant-garde des efforts visant à rendre l’IA sûre, digne de confiance et ancrée dans les valeurs humaines, d’où l’importance des subventions Catalyst. Ces investissements soutiennent des chercheurs canadiens de calibre mondial qui s’attaquent aux défis les plus pressants liés à l’IA, notamment la sécurité, l’éthique, la responsabilité et les effets concrets sur la société. Leur travail est essentiel pour faire en sorte que l’IA reflète nos valeurs et serve au bien public. En soutenant l’innovation et les talents canadiens, nous renforçons non seulement notre leadership en matière d’IA responsable, mais nous contribuons aussi à bâtir une économie plus productive et axée sur les gens, tout en aidant le Canada à être le chef de file du G7 en matière de croissance, de confiance et d’innovation. »
— Le ministre de l’Intelligence artificielle et de l’Innovation numérique et ministre responsable de l’Agence fédérale de développement économique pour le Sud de l’Ontario, l’honorable Evan Solomon

« Les subventions Catalyseur pour la sécurité de l’IA représentent une étape cruciale dans la mise en place d’un écosystème national solide de recherche sur la sécurité de l’IA au Canada. En soutenant le travail d’universitaires en herbe et la formulation d’idées à fort potentiel, nous stimulons l’établissement d’une communauté de recherche et le développement des capacités nécessaires pour que les technologies de l’IA servent le bien commun et soient en phase avec les valeurs canadiennes que sont la transparence et la sécurité, aujourd’hui et à l’avenir. Nous nous réjouissons notamment de la diversité des projets financés, qui aborderont des sujets allant de la mésinformation à la sécurité dans les applications de l’IA à la découverte scientifique. »
— Catherine Régis et Nicolas Papernot, coresponsables du programme de recherche de l’ICSIA au CIFAR.

Lutter contre la mésinformation

CIPHER : Contrer l’influence par la mise en évidence de modèles et l’évolution des réponses

Matthew Taylor (Amii et Université de l’Alberta) et Brian McQuinn (Université de Regina)

L’augmentation de la mésinformation, induite par l’ingérence étrangère dans la politique intérieure, produit des effets délétères sur l’écosystème de l’information. Le titulaire de chaire en IA Canada-CIFAR Matthew Taylor et le professeur agrégé à l’Université de Regina Brian McQuinn mettent au point des techniques novatrices avec intervention humaine, combinant l’IA multimodale avec la contribution de spécialistes en chair et en os, afin de concevoir un outil innovant de détection des ingérences étrangères. Une fois entraîné, le modèle CIPHER sera déployé dans un réseau mondial d’organisations de la société civile pour leur donner les moyens de lutter contre la mésinformation.

La robustesse antagoniste dans les graphes de connaissances

Ebrahim Bagheri (Université de Toronto), Jian Tang (Mila, HEC Montréal et Université McGill) et Benjamin Fung (Mila et Université McGill)

L’introduction de renseignements faux ou trompeurs dans les graphes de connaissances – les modèles qui alimentent les agents de recherche et les agents conversationnels – a de graves conséquences pour la sécurité de l’IA, car elle permet à la mésinformation de s’intégrer dans les modèles et de se propager largement. Ebrahim Bagheri, professeur à l’Université de Toronto, Jian Tang, titulaire de chaire en IA Canada-CIFAR, et Benjamin Fung, professeur à l’Université McGill, concevront des défenses fondées sur l’apprentissage automatique afin de détecter et d’atténuer les modifications antagonistes dans les graphes de connaissances. En mettant au point des méthodologies évolutives d’entraînement antagoniste et d’évaluation de la robustesse, leurs travaux de recherche permettront le déploiement pratique de graphes de connaissances plus sûrs dans le monde réel.

Rendre les grands modèles de langage (GML) fiables et interprétables

Échantillonnage d’explications latentes à partir de GML au profit d’un raisonnement sûr et interprétable

Yoshua Bengio (Mila et Université de Montréal)

S’assurer que les GML produisent des résultats fiables et interprétables constitue un objectif majeur de la communauté de recherche sur la sécurité de l’IA. Le titulaire de chaire en IA Canada-CIFAR Yoshua Bengio veillera à ce que les GML fournissent des explications plus fiables en déployant des réseaux de flot génératif d’une manière novatrice. Il se consacre à entraîner l’IA à expliquer ce que disent les humains, en examinant les raisons cachées qui sous-tendent les décisions de l’IA et en évaluant leur précision afin de démêler les causes sous-jacentes de ce que l’IA produit. En fin de compte, ce projet vise à établir un garde-fou de surveillance pour les agents d’IA qui peut mener à un déploiement plus sécuritaire de l’IA dans de nombreuses applications.

Sur l’utilisation sécuritaire des modèles fondateurs à bruit statistique

Mi Jung Park (Amii et Université de la Colombie-Britannique)

À mesure que les modèles fondateurs génératifs sont employés dans un nombre croissant de domaines, leur diffusion s’accompagne de préoccupations concernant la protection de la vie privée. La titulaire de chaire en IA Canada-CIFAR Mi Jung Park abordera les problèmes de sécurité liés aux modèles à bruit statique en recourant à des techniques efficaces sur le plan du calcul et préservant l’utilité. Le projet met l’accent sur deux domaines importants : 1) la génération de contenus dits NSFW, c’est-à-dire inappropriés au travail et 2) la confidentialité et la mémorisation des données, afin de réduire les risques que les modèles enregistrent des renseignements privés, comme des numéros d’assurance sociale, à partir d’ensembles de données d’entraînement. En élaborant des techniques permettant de supprimer les points de données problématiques, Mijung Park contribuera à créer des modèles fondateurs plus sécuritaires et respectueux de la vie privée.

Faire progresser l’alignement de l’IA par le débat et le raisonnement normatif partagé

Gillian Hadfield (Institut Vecteur, Université Johns Hopkins et Université de Toronto [en congé])

Aligner les systèmes d’IA avec les valeurs humaines représente l’un des principaux défis en matière de sécurité de l’IA. La titulaire de chaire en IA Canada-CIFAR Gillian Hadfield s’appuiera sur des connaissances issues de l’économie, de l’évolution culturelle, des sciences cognitives et des sciences politiques pour adopter une nouvelle approche au défi de l’alignement. Au moyen d’un cadre de débat, ce projet évaluera et améliorera les capacités de raisonnement normatif des agents d’IA dans un contexte d’apprentissage par renforcement multiagent. Tenant compte de la nature pluraliste et hétérogène des valeurs humaines, cette approche reconnaît que des institutions normatives ont été créées afin de concilier des intérêts et des préférences divergents de manière à relever le défi de l’alignement et à permettre l’intégration d’agents d’IA dans des systèmes normatifs humains.

La robustesse antagoniste de la sécurité des GML

Gauthier Gidel (Mila et Université de Montréal)

L’évaluation des vulnérabilités des grands modèles de langage (GML) est devenue un domaine clé de la recherche sur la sécurité de l’IA. Gauthier Gidel, titulaire de chaire en IA Canada-CIFAR, propose une méthode novatrice, plus efficace et automatisée, pour trouver les vulnérabilités dans les GML. En faisant appel à l’optimisation et en empruntant des méthodes issues d’attaques antagonistes fondées sur les images, ce projet a pour but de fournir un modèle efficace d’attaque automatique. Cela permettra aux concepteurs et conceptrices de modèles d’améliorer les évaluations et l’entraînement des GML, de mesurer leur vulnérabilité, ainsi que de les rendre plus sûrs et plus robustes.

Assurer la sécurité des systèmes d’IA dans le monde réel

Des laboratoires de chimie autonomes et sécuritaires

Alán Aspuru-Guzik (Institut Vecteur et Université de Toronto)

Les laboratoires autonomes sont susceptibles de révolutionner la science. Toutefois, en l’absence de garde-fous adéquats, ils présentent des risques pour la sécurité. Le titulaire de chaire en IA Canada-CIFAR Alán Aspuru-Guzik est en train de mettre au point une architecture de sécurité pour les laboratoires de chimie autonomes qui s’inspire de l’industrie aérospatiale. Le cadre de sécurité reposera sur trois piliers : une boîte noire physique (semblable à celle d’un avion), des systèmes multiagents de supervision de la sécurité et un jumeau numérique pour surveiller les conditions environnementales et de laboratoire. Grâce à ces trois piliers, Alán Aspuru-Guzik entend établir des modèles de référence largement répandus relativement à la sécurité.

Assurance de la sécurité et ingénierie pour les systèmes d’IA multimodaux reposant sur des modèles fondateurs

Foutse Khomh (Mila et Polytechnique Montréal), Lei Ma et Randy Goebel (Amii et Université de l’Alberta)

Dans le monde réel, les modèles fondateurs multimodaux sont de plus en plus utilisés dans divers domaines. Pourtant, malgré leur importance, les approches actuelles en matière d’assurance de la sécurité ne conviennent pas à la complexité des modèles multimodaux. Les titulaires de chaire en IA Canada-CIFAR Foutse Khomh et Lei Ma ainsi que le professeur Randy Goebel de l’Université de l’Alberta mettent au point des techniques d’assurance de la sécurité de bout en bout pour les modèles fondateurs multimodaux dans plusieurs champs d’application clés : la robotique, le codage de logiciels et la conduite autonome. Ils concevront des modèles de référence, des tests et des cadres d’évaluation susceptibles d’améliorer la sécurité des modèles fondateurs dans le monde réel.

Maintenir un contrôle significatif : comment concilier agentivité et surveillance dans le codage assisté par l’IA?

Jackie Chi Kit Cheung (Mila et Université McGill) et Jin Guo (Université McGill)

Les ingénieurs et ingénieures en logiciels ont de plus en plus recours à l’IA pour générer, modifier et déboguer des codes. Jackie Chi Kit Cheung titulaire de chaire en IA Canada-CIFAR, et la professeure Jin Guo mettront au point un cadre de sécurité permettant aux ingénieurs et ingénieures en logiciels de mieux comprendre et de contrôler les systèmes de codage assistés par l’IA. Leur méthodologie consiste à recueillir les points de vue des praticiens et praticiennes, à concevoir conjointement des interfaces et à procéder à des essais empiriques. En intégrant des considérations relatives à l’interaction humain-ordinateur, ils visent à fournir aux ingénieurs et ingénieures davantage de connaissances et de moyens de contrôle de ces systèmes.

Formalisation des contraintes pour l’évaluation et l’atténuation du risque agentique

Sheila McIlraith (Institut Vecteur et Université de Toronto)

Alors que les agents d’IA sont de plus en plus présents dans les organisations de manière semi-autonome, leur utilisation suscite des inquiétudes quant aux risques qu’ils comportent. La titulaire de chaire en IA Canada-CIFAR Sheila McIlraith mettra au point des outils concrets en vue de trouver une solution technique en matière de sécurité. Pour ce faire, elle combinera des approches telles que l’évaluation contextualisée, la modélisation des récompenses et l’alignement. Ce projet se concentre sur le recours à des spécifications de comportement souhaitées, qui sont encodées dans des représentations, afin de dégager des règles interprétables par les humains – comme la conception d’un système capable d’extraire un ensemble de règles formelles d’un manuel de formation. Au final, en mettant au point un modèle de gouvernance distribuée pour atténuer les risques liés à l’IA agentique, ce projet veut favoriser un déploiement responsable de l’IA au sein de l’industrie.

Soutenez-nous

L’Institut canadien de recherches avancées (CIFAR) est une organisation de recherche d’influence mondiale fièrement basée au Canada. Nous mobilisons les plus brillants personnes du monde, dans toutes les disciplines et à tous les stades de carrière, pour faire progresser les connaissances transformatrices et résoudre ensemble les plus grands problèmes de l’humanité. Nous recevons l’appui des gouvernements du Canada, de l’Alberta et du Québec, ainsi que de fondations, de particuliers, d’entreprises et d’organisations partenaires du Canada et du monde entier.

Dons