Par: Krista Davidson
19 Juil, 2021
Un leader généreux
19 juillet 2021
Une conversation avec Kyunghyun Cho sur sa percée majeure dans le domaine de la traduction automatique, sur la raison pour laquelle il a fait don de ses prix et pourquoi l’inconnu l’inspire.
Au cours de la dernière décennie, Kyunghyun Cho, membre du CIFAR, a largement contribué au domaine de l’apprentissage automatique, en particulier à la façon dont les machines voient le monde et apprennent de lui. Ses recherches sur la traduction automatique neuronale et le traitement du langage naturel ont fait progresser notre compréhension de l’intelligence humaine et artificielle.
CIFAR : Comment en êtes-vous venu à vous intéresser à l’apprentissage automatique, et plus particulièrement à la traduction automatique neuronale ?
Cho : Mon domaine d’expertise est la conception d’algorithmes d’apprentissage profond pour les données structurées telles que le langage naturel et la biologie moléculaire. J’ai été formé à la conception d’algorithmes d’apprentissage pour les modèles génératifs profonds pendant mes années de doctorat. Sur les conseils de Yoshua Bengio (titulaire de chaire en IA Canada-CIFAR, coresponsable du programme Apprentissage automatique, apprentissage biologique du CIFAR, Mila, IVADO et Université de Montréal), j’ai concentré mes recherches sur la traduction automatique neuronale et le traitement du langage naturel.
Je suis fasciné par les possibilités qu’offrent les algorithmes d’apprentissage automatique et les algorithmes d’apprentissage profond pour dépasser ce que les humains sont capables de faire. L’un de mes axes de recherche, par exemple, utilise des réseaux neuronaux profonds pour modéliser des séquences biologiques d’ADN et d’ARN. Ici, je simplifie à l’extrême, mais tout ce que nous savons de la biologie provient de modèles, comme la séquence d’ADN. Cet ADN est transcrit en segments souvent plus courts, appelés ARN. La séquence d’ARN est ensuite traduite en un autre modèle qui est utilisé pour former des protéines. Un grand nombre de ces séquences biologiques ressemblent à ce que nous voyons dans le langage naturel. Un grand nombre de ces séquences biologiques ressemblent au langage.
CIFAR : L’un de vos articles les plus cités concerne la traduction automatique neuronale, et vous l’avez publié avec Yoshua Bengio et Dzmitry Bahdanau (chaire en IA Canada-CIFAR, Université McGill et Element AI ServiceNow). Votre contribution au domaine de la traduction automatique neuronale est souvent présentée comme l’une des plus grandes découvertes de l’apprentissage automatique. Qu’avez-vous appris de cette expérience ?
Cho : J’aime beaucoup cet article. Non pas parce qu’il a été beaucoup cité ou même parce qu’il est devenu l’un des principaux algorithmes qui alimentent de nombreuses avancées en traduction automatique, mais parce que nous avons travaillé ensemble dans le but de construire un nouveau système de traduction automatique.
Notre objectif n’a jamais été d’améliorer un système existant, mais de construire un système entièrement nouveau. Cela fait des dizaines d’années que des spécialistes travaillent sur la traduction automatique. Il existait donc déjà une méthode établie pour construire un système de traduction automatique, mais notre équipe a pensé que le problème pouvait être résolu par une approche différente, en utilisant l’apprentissage de bout en bout. Il devait y avoir un moyen pour un système d’examiner un grand nombre d’exemples de traduction et d’apprendre par lui-même à traduire des phrases de la langue source sans aide supplémentaire. Nous avons essayé d’adopter une nouvelle approche pour résoudre ce problème que peu de membres de la communauté de la traduction automatique prenaient au sérieux. Cette recherche a changé ma façon de voir l’apprentissage automatique et d’aborder chaque problème. Cette expérience m’a incité à chercher de nouvelles approches pour résoudre des problèmes complexes, même s’il existe déjà une solution établie.
CIFAR : Quelles sont les applications potentielles de la traduction automatique neuronale ?
Cho : Mis à part le fait que ma mère veut lire mon blogue et qu’il est presque exclusivement en anglais, je suis très enthousiaste à l’idée d’aller au-delà de ce que les humains maîtrisent déjà. Dans le cas du langage naturel et de la vision par ordinateur, la façon dont les humains voient et entendent, c’est notre façon de percevoir le monde; c’est la façon dont les systèmes devraient voir et entendre le monde. Dans ces cas, la perception des humains est la référence. Cependant, il y a tellement de problèmes que nous ne savons pas comment résoudre et que la nature ou l’Univers ont déjà résolus d’une manière ou d’une autre. Par exemple, comment les séquences d’ADN sont-elles conçues ou agencées pour être transcrites en séquences d’ARN et finalement traduites en protéines utiles ? Comment les atomes en viennent-ils à former des molécules ? Comment l’Univers a-t-il fini par créer des planètes, des étoiles et même des humains ? Nous ne pouvons pas répondre à ces questions. Notre connaissance du monde est limitée. J’utilise l’apprentissage automatique pour accéder à ces connaissances.
CIFAR : Vous avez récemment créé la bourse Ho Am Prize & Scholarship for Macadamia à l’Université Aalto, que vous avez financée avec les fonds de vos récentes récompenses. Vous avez également créé une bourse d’études pour les femmes, la Lim Mi-Sook Scholarship, au KAIST, qui porte le nom de votre mère. Qu’est-ce qui a inspiré votre générosité ?
Cho : Une grande partie de ma réussite est attribuable au fait que j’étais au bon endroit, au bon moment et avec les bonnes personnes. Entrer dans le domaine de l’IA alors que cette discipline prenait son essor m’a permis, ainsi qu’à beaucoup de mes pairs, de ne pas souffrir du stress et de l’insécurité financière associés à la recherche ni de la pression de publier. De nos jours, ce n’est pas facile pour les jeunes qui entreprennent une carrière en recherche. Lorsque j’ai commencé à enseigner à l’Université de New York, j’ai eu l’occasion de me pencher sur différents aspects de la société.
J’ai grandi à Séoul pendant une période de croissance économique. J’ai fréquenté une bonne université en Corée et j’ai poursuivi ma carrière de chercheur à Montréal. J’ai été très privilégié, sans m’en rendre compte à l’époque. L’apprentissage automatique, cependant, ne profite et n’a profité qu’à un petit groupe de personnes, et ce n’est que lorsque j’ai été reconnu pour mes propres contributions que j’ai réalisé les obstacles que d’autres personnes doivent surmonter dans leur carrière. Je voulais atténuer cette barrière afin que d’autres personnes puissent contribuer à l’IA et en bénéficier, et ainsi exercer une influence importante et positive sur la société.
J’ai créé une bourse d’études en l’honneur de ma mère parce que j’ai compris les choix difficiles qu’elle a dû faire en tant que femme et mère. Je pense qu’un grand nombre des étudiantes du KAIST qui recevront cette bourse obtiendront leur diplôme et auront une carrière fructueuse, mais je crois que beaucoup d’entre elles devront encore prendre des décisions similaires à celles que ma mère a dû prendre autrefois. Je veux que ces étudiantes se sentent à l’aise de prendre les décisions qui leur permettront d’assurer au mieux leur avenir, y compris leur carrière.
CIFAR : Comment êtes-vous devenu membre du programme Apprentissage automatique, apprentissage biologique du CIFAR et quels sont les avantages de faire partie de ce programme ?
Cho : En 2013, j’ai participé à l’École d’été sur l’apprentissage profond et l’apprentissage par renforcement du CIFAR à Toronto, qui ne rassemblait que 40 ou 60 personnes. Les conférences étaient incroyables et permettaient aux participants d’avoir des interactions étroites. C’est à ce moment-là que j’ai décidé de continuer à faire de la recherche à temps plein dans le domaine de l’apprentissage profond.
Aujourd’hui, la communauté de l’apprentissage automatique s’est vraiment développée, et il existe de grandes conférences consacrées à l’IA. Faire partie du programme Apprentissage automatique, apprentissage biologique du CIFAR permet à la communauté de recherche de se concentrer sur un ensemble plus restreint de nouvelles idées avant qu’elles n’atteignent le stade de la recherche générale. Il est intéressant de voir les orientations que prend cette communauté de recherche internationale. En ce moment, je remarque que ce groupe s’intéresse de plus en plus à la causalité, un concept vieux comme le monde. Il s’agit de savoir si un système d’IA peut déterminer ce qui cause les observations faites par les systèmes d’IA. Si nous pouvons exploiter ces connaissances, nous pourrons peut-être rendre les systèmes d’IA plus robustes, et cela nous aidera également à entrer dans cette nouvelle ère de sophistication de l’IA de manière raisonnable et responsable.
Kyunghyun Cho est membre du programme Apprentissage automatique, apprentissage biologique du CIFAR, professeur associé à l’Université de New York, nommé conjointement au département d’informatique et au Center for Data Science. Il est chargé de cours à l’École d’été sur l’apprentissage profond et l’apprentissage par renforcement du CIFAR.
Articles liés
-
La 20e édition de l’École d’été sur l’APAR amène au Canada les plus brillants esprits du monde dans le domaine de l’IA
24 juillet 2024
-
L’école d’été APAR du CIFAR : présenter le Canada aux plus brillants talents du monde en IA
13 octobre 2023
-
Le CIFAR fait l’annonce des Chercheurs mondiaux CIFAR-Azrieli 2017
12 octobre 2017