Par: Graham Taylor
1 Août, 2018
Entretien avec Yoshua Bengio : Création d’un laboratoire de recherche
01 août 2018
Graham Taylor est Chercheur mondial CIFAR-Azrieli au sein du programme Apprentissage automatique, apprentissage biologique du CIFAR, professeur agrégé à l’École de génie de l’Université Guelph et membre de l’Institut Vecteur. Yoshua Bengio est codirecteur du programme Apprentissage automatique, apprentissage biologique du CIFAR, professeur titulaire au département d’informatique et de recherche opérationnelle de l’Université de Montréal, et titulaire de la chaire de recherche du Canada en algorithme d’apprentissage statistique.
Graham Taylor (GT) : Parlez-moi de votre premier poste de professeur.
Yoshua Bengio (YB) : À l’Université de Montréal, j’étais le seul à étudier l’apprentissage automatique ou les réseaux neuronaux. J’étais très motivé et disait « oui » à tous les étudiants qui voulaient travailler avec moi : j’aurais dû être un peu plus sélectif.
J’ai tiré profit du réseau en dehors de mon département, des gens avec qui j’avais travaillé pendant mon stage postdoctoral. J’ai échangé avec Geoff [Hinton] et des gens à Toronto. Réseauter avec des gens qui font des choses similaires est important, d’autant plus que j’étais le seul à faire ce genre de truc ici.
J’ai aussi eu de la chance, car les gens ont reconnu que j’avais du potentiel. Ils ont immédiatement allégé ma charge d’enseignement.
Yoshua Bengio
GT : Dès le départ?
YB : Oui. Donc, deux cours plutôt que trois pendant les sept premières années. Ensuite, j’ai obtenu la chaire de recherche du Canada et ma charge d’enseignement est passée à un cours. Je crois que c’est probablement la chose la plus difficile : crouler sous les tâches d’enseignement et mettre sur pied un laboratoire. J’ai regretté de travailler si fort à la naissance de mon deuxième enfant; dans mon poste universitaire, j’étais accablé de travail. En rétrospective, j’aurais pu trouver un meilleur équilibre entre ma vie personnelle et ma vie professionnelle.
GT : Avez-vous eu des mentors à l’université?
YB : Non, personne. Peut-être aurais-je dû me tourner vers certains professeurs plus âgés, pas nécessairement ceux qui étaient dans le même domaine que moi. Si j’avais été moins timide, j’aurais essayé d’obtenir davantage de rétroaction. Je ne m’étais pas rendu compte que c’était possible. Les nouveaux professeurs devraient simplement s’ouvrir et tisser des liens. Les départements devraient faciliter la chose. Les professeurs d’expérience sont heureux de le faire, même s’ils ne font peut-être pas les premiers pas.
GT : Donc, simplement demander, même s’il n’y a aucun processus officiel à l’université?
YB : Oui, exactement.
GT : En ce qui concerne les réseaux externes, quel est le meilleur conseil qu’on vous a donné en tant que professeur?
YB : Dans mes dix premières années en tant que professeur, j’ai eu beaucoup d’interactions avec Geoff Hinton, même si cela se faisait à distance. Ces échanges m’ont beaucoup aidé à mettre l’accent sur les choses importantes.
Il y a une chose que je ferais différemment aujourd’hui : je n’irais pas dans plusieurs directions différentes, je ne sauterais pas sur l’idée du jour en oubliant les défis à plus long terme. C’est difficile quand on tente de se tailler une place, car on est angoissé à l’idée de devoir publier suffisamment pour obtenir la titularisation. Mais il faut passer au moins un peu de temps à se concentrer sur le long terme. Le succès de votre carrière en dépend. Si vous êtes en mode survie, et on se laisse facilement entraîner dans cette voie, vous passerez peut-être à côté de quelque chose d’important. Les discussions que j’ai eues avec Geoff m’ont aidé à naviguer à travers tout cela.
GT : Croyez-vous que c’est pire maintenant que l’apprentissage automatique appliqué est sous le feu des projecteurs, et que des entreprises ou des collaborateurs vous présentent des projets et que vous devez appliquer l’apprentissage automatique à un problème très spécifique? Encore une fois, le danger est d’aller dans plusieurs directions.
YB : Je crois que chaque personne doit trouver sa voie. Pour devenir bon dans quelque chose, pour réaliser des percées, il faut devenir un expert. Conséquemment, si vous faites des applications et qu’en plus, vous êtes un jeune professeur, vous devriez vous concentrer sur une application et devenir le plus grand expert en la matière au monde.
Voilà l’un des dangers de l’apprentissage automatique appliqué. On peut l’utiliser à tant de fins, n’est-ce pas? Dans les années 1990, je travaillais à de nombreuses applications.
Graham Taylor
GT : Alors ça n’était pas bien différent de la situation actuelle?
YB : Dans les années 1990, l’industrie s’intéressait beaucoup aux réseaux neuronaux et à l’apprentissage automatique. Le système canadien encourageait la collaboration avec l’industrie et c’était tentant de le faire pour obtenir du financement pour la science fondamentale. J’ai donc utilisé certains des fonds de ces contrats pour financer des recherches à plus long terme. Je ne crois pas que c’était ce à quoi les gens s’attendaient, mais le système encourage la chose de façon implicite, car il sous-finance la recherche fondamentale. Nous devrions accorder davantage de valeur aux questions à long terme, car c’est ce qui a mené aux progrès incroyables de l’IA.
Permettez-moi d’ajouter quelque chose sur les subventions.
Quand j’ai commencé, il y a une chose que je ne savais pas : quand on fait une demande de subvention à un organisme comme le Conseil de recherche en sciences naturelles et en génie (CRSNG), il est moins important pour eux que vous fassiez ce que vous avez dit que vous feriez. Ils veulent que vous fassiez du bon travail dont vous parlerez dans des rapports plusieurs années plus tard.
En recherche, il est difficile de prédire ce qui sera une grande question et de cerner les problèmes éventuels qui se dresseront sur votre chemin. Il est important de s’adapter et c’est ce que permet le CRSNG.
Ça n’est pas nécessairement vrai que le contrat que vous avez avec une entreprise va porter des fruits. Vous ne devriez pas vous sentir lié à ce que vous avez dit, pourvu que vous puissiez satisfaire la personne qui vous a donné les fonds. Dans le cas du CRSNG, ce qu’on vous dit, au fond, c’est de réaliser de bons projets scientifiques, de publier et de demeurer souple dans votre trajectoire de recherche.
GT : Quelles sont certaines des pratiques exemplaires dans la gestion de votre laboratoire? Vous avez beaucoup d’étudiants, plein d’équipement et de nombreux projets.
YB : Demander de l’aide. Au début, je n’avais pas beaucoup d’argent pour les stagiaires postdoctoraux. Il faut choisir des stagiaires qui s’y connaissent déjà, qui n’auront pas besoin de deux ans pour se mettre à niveau et qui peuvent vous aider à gérer une plus grande équipe. Quand on fait un doctorat, on n’apprend pas à gérer une équipe ou à diriger un groupe, mais on devrait. Une chose qui m’a aidé c’est de reconnaître des compétences naturelles de leadership chez les étudiants. J’ai souvent offert des stages et mon laboratoire a ainsi accueilli des étudiants de premier cycle et des étudiants diplômés d’autres établissements, ainsi que des doctorants qui souhaitaient gérer des ressources humaines et qui détenaient les compétences pour le faire. Parfois, il ne s’agissait que d’un étudiant et d’autres fois il s’agissait de superviser de nombreux étudiants.
Nous ne devrions pas sous-estimer la capacité des plus jeunes de faire un meilleur travail de gestionnaire que leurs aînés.
GT : Vu les divers types de stages postdoctoraux offerts aujourd’hui, est-il devenu plus difficile d’embaucher des postdoctorants de grande qualité?
YB : Oui et non. Je ne crois pas être un bon exemple.
GT : Ah oui, car vous êtes un pôle d’attraction. Mais pour quelqu’un qui commence?
YB : Il y a une chose qui a fonctionné pour moi, c’est de trouver quelqu’un qui a une formation en mathématiques et en physique et qui a fait un peu d’apprentissage automatique; ces personnes peuvent acquérir les compétences nécessaires très rapidement. Alors, si vous songez à des postdoctorants en deuxième ou en troisième année, il s’agit d’un bon choix. Ils seraient incapables d’obtenir un poste chez Google Brain ou quelque chose du genre, car ils n’ont pas encore fait la preuve de leurs compétences en apprentissage automatique. Mais dans certains cas, c’est un pari qui a bien fonctionné pour moi.
« Il y a une chose que je ferais différemment aujourd’hui : je n’irais pas dans plusieurs directions différentes, je ne sauterais pas sur l’idée du jour en oubliant les défis à plus long terme. »
GT : Comment pouvez-vous convaincre des titulaires d’un doctorat à accepter de faire un stage postdoctoral plutôt que d’aller tout de suite en industrie?
YB : S’ils travaillent dans un laboratoire d’apprentissage automatique et participent à des recherches qui sont publiées, ils auront considérablement plus de valeur aux yeux de l’industrie. Donc, même si c’est ce qu’ils souhaitent plus tard, ils auront un meilleur poste et un meilleur salaire s’ils commencent par faire un stage postdoctoral. Bien sûr, il y a plusieurs cas de figure. Certains titulaires de doctorat n’ont pas besoin de faire un stage postdoctoral pour obtenir un bon poste, n’est-ce pas? Dans ce cas, on pourrait dire, « Eh bien, oui, si vous souhaitez une carrière universitaire », car l’argent n’est pas tout pour certaines personnes. Alors, faire un stage est la bonne chose : pour apprendre plus à fond comment le milieu universitaire fonctionne, pour assumer des tâches de gestion et même pour faire des demandes de subvention et des choses du genre.
Un poste en industrie peut prendre plusieurs formes. Il y a une grosse différence entre un poste dans un laboratoire de recherche fondamentale et un poste où on vous donnera moins de liberté et où vous devrez être un technicien aguerri soit pour d’autres chercheurs ou pour faire de la recherche appliquée avec beaucoup de travail de développement et ainsi de suite. Il y a beaucoup d’emplois en industrie et il y en a peu vraiment qu’un postdoctorant préférerait.
GT : Mais il y en aura peut-être davantage, comme Google Brain, DeepMind et FAIR?
YB : Oui, même de nouvelles entreprises, comme Element AI, ont ce type de groupes.
GT : En matière d’effectif, quelle est la taille idéale selon vous?
YB : Ça dépend du professeur et de son expérience dans la gestion de groupe. J’ai commencé avec trois personnes et maintenant mon groupe est immense. Mais je n’aurais pas pu faire ça d’un coup.
Graduellement, j’ai appris à gérer davantage de personnes, à bâtir des infrastructures et à obtenir des fonds. Il faut grandir à son propre rythme. Certaines personnes ne seront jamais à l’aise avec plus de cinq ou six étudiants et ça va. Bien sûr, quand vous avez plus d’étudiants, vous pouvez rédiger plus d’articles. Mais à ce moment-là, vous passez moins de temps avec chaque étudiant et c’est peut-être moins valorisant pour eux.
Ce qui est intéressant avec les plus grands groupes que j’ai depuis environ 15 ans c’est que ça facilite la collaboration. En d’autres termes, les étudiants ne sont pas isolés avec leur propre projet, ils ont la souplesse de bâtir de nouvelles collaborations. Ils ne sont pas dans une relation individuelle avec le professeur, ils font partie d’un grand réseau.
GT : Communication entre les pairs.
YB : Exactement. C’est plus valorisant sur le plan social. S’ils ne se fient qu’à une personne pour avoir des commentaires et que cette personne est peu disponible, ils sont malheureux. Mais s’ils ont dix autres collègues, ils jouissent d’un réseau beaucoup plus riche.
GT : Quels sont les mécanismes nécessaires pour créer un environnement propice à la collaboration? J’imagine que certains seraient d’ordre physique, alors que d’autres mettraient en jeu de subtils changements à la culture du laboratoire.
YB : La proximité physique : demander aux étudiants de passer leur journée au laboratoire et de ne pas travailler à la maison. Leur donner la liberté de collaborer et de créer de nouveaux projets en dehors de ce que vous avez suggéré, même avec d’autres professeurs. Minimiser les obstacles entre les étudiants qui sont avec des professeurs différents. De la sorte, le groupe s’agrandit et les étudiants ont la liberté d’interagir avec d’autres professeurs.
« Ça n’est pas nécessairement vrai que le contrat que vous avez avec une entreprise va porter des fruits. Vous ne devriez pas vous sentir lié à ce que vous avez dit, pourvu que vous puissiez satisfaire la personne qui vous a donné les fonds. »
De plus, nous organisons régulièrement des activités, comme des groupes de lecture, des séminaires et des activités à l’extérieur.
GT : Récemment, j’ai eu une conversation sur la cosupervision avec quelqu’un qui avait travaillé aux États-Unis. La personne a dit qu’aux États-Unis le premier sujet de conversation entre les superviseurs est le partage du financement. Au Canada, on n’en parle pas vraiment.
YB : Les étudiants coûtent bien moins cher ici qu’aux États-Unis. C’est un facteur important, n’est-ce pas? Mais peut-être est-ce aussi culturel. Il est important de laisser de côté la question du financement, de prioriser le travail en collaboration et de ne pas nécessairement avoir d’attentes. Voici une autre question liée à la fois au financement et aux collaborations : je ne fais pas vraiment confiance aux mariages arrangés. En d’autres termes, la collaboration ne découle pas simplement du fait que nous avons conclu un accord officiel qui dit que nous superviserons un étudiant et que cet étudiant travaillera à notre projet. La collaboration vient plutôt du fait que nous avons des intérêts communs, que nous échangeons souvent, que des choses se passent, n’est-ce pas?
Et, espérons-le, vous aurez des idées. Voilà ce qu’on doit encourager. Si vous avez un mariage arrangé, ça pourrait fonctionner, mais ça pourrait aussi être comme une prison qui force la personne A et la personne B à participer à un projet, à une relation. La relation serait peut-être plus naturelle entre la personne A et la personne C.
Dans le laboratoire principal, par exemple, il y a cette notion officieuse voulant qu’on ait accès à des fonds importants et qu’on puisse collaborer avec n’importe qui et recevoir du financement.
GT : Est-ce parce que les chercheurs principaux participant aux projets ont décidé de réunir leurs ressources?
YB : Mon financement est devenu le fonds commun. Je ne dis pas que c’est là le modèle, mais quand il y a un chercheur principal c’est habituellement plus facile d’obtenir du financement. Donc, nous avons rédigé des demandes de subvention où c’est moi qui faisait la demande. Même chose pour les contrats. En fin de compte, si les gens ne se sentent pas entravés par des questions financières, ils ont plus de liberté pour avoir du plaisir et explorer ensemble.
GT : C’est un élément important à considérer pour de nouveaux professeurs quand ils se demandent où aller – là où personne d’autre ne travaille dans le domaine? Ou bien là où il y a déjà des professeurs et des membres principaux et où ce type de collaboration est possible?
YB : Ouais. C’est beaucoup plus facile de se joindre à un groupe existant, pourvu que vous vous entendiez avec les gens qui sont là.
Donc, si l’esprit du groupe vous plaît, c’est beaucoup plus facile pour un jeune professeur de commencer. Ils n’ont pas à stresser pour le financement, ils peuvent échanger des idées, avoir des cosuperviseurs, obtenir une rétroaction tôt dans leur travail.
GT : J’aimerais parler de l’embauche d’étudiants. Peut-être était-ce différent avant cet engouement récent pour l’apprentissage profond? Comment réagissez-vous quand il y a peu d’intérêt? Que faites-vous quand il y a une tonne d’intérêt?
YB : Premièrement, il ne s’agit pas seulement de faire de la recherche, il faut aussi la diffuser. Participer à des ateliers, à des conférences, visiter d’autres laboratoires. Vous n’avez pas à attendre une invitation pour y aller. Vous pouvez dire : « Je vais être dans le coin. Ça vous plairait que je donne une conférence? » Alors les membres du réseau apprennent à vous connaître. Si vous faites de nouveau des collaborations officielles par l’entremise de subventions, vous pourrez compter sur ce réseau. C’est incroyablement utile pour l’embauche. Et puis, bien sûr, il y a aussi l’enseignement. L’un des effets secondaires de l’enseignement, c’est que les étudiants apprennent à vous connaître. Particulièrement dans le cas de classes d’étudiants diplômés ou d’étudiants de premier cycle en dernière année. Vous pouvez parler des choses qui vous intéressent et tisser des liens. Vous pouvez voir à quel point les étudiants sont bons et les encourager à venir dans votre laboratoire.
J’ai eu des stagiaires d’été du premier cycle et d’ailleurs. De cette façon, vous pouvez voir si une personne a du potentiel en recherche. C’est beaucoup plus prudent de faire ça que d’embaucher quelqu’un après seulement un entretien, car après tout cette personne va rester avec vous pendant cinq ans, n’est-ce pas?
Bon, je crois que nous avons reçu quelque chose comme 700 demandes l’année dernière et nous en recevrons probablement 1000 cette année. Et nous pourrons accueillir autour de deux douzaines de personnes. Il faut donc être organisé. Vous aurez besoin de secrétaires et de gens qui écrivent des scénarios pour automatiser le processus le plus possible. Ça prend du travail pour tout organiser, mais si on ne le fait pas, c’est bien pire, car on croulera sous les demandes et il sera impossible de répondre personnellement à tous les courriels.
GT : La dernière chose dont nous allons parler est la collaboration avec l’industrie. Comment savez-vous si une collaboration vous convient?
YB : On ne le sait pas, on le découvre seulement quelques années plus tard. Habituellement, ce qui arrive c’est qu’il y a un manque de concordance entre les attentes de part et d’autre. Il faut donc faire attention à ça et renseigner les gens dans l’industrie sur ce que le milieu universitaire peut faire pour eux. Il est important de leur faire comprendre que les universitaires ne sont pas de la main-d’œuvre bon marché. Ils ne produisent pas de produits, mais ils peuvent avoir des idées incroyables qui transforment les secteurs. L’industrie doit donc comprendre que cela n’est qu’une partie de l’investissement. Ils doivent aussi avoir des gens qui vont passer des algorithmes et des prototypes, aux produits. Autrement, la collaboration est vouée à l’échec. C’est tentant de ne pas parler de cela, car ça veut dire plus de coûts pour l’entreprise. Mais il est nécessaire d’en parler.
« Écouter votre instinct. De nombreuses personnes n’ont pas suffisamment confiance en elle pour le faire et elles ratent des occasions. »
GT : Avez-vous déjà eu à vous dissocier d’une relation avec une entreprise?
YB : Non. Ce qui se passe c’est que les deux parties comprennent que ça ne vaut pas la peine de renouveler le contrat.
GT : Car j’imagine qu’il y a habituellement une durée limitée?
YB : Ouais, les contrats sont d’un, deux ou trois ans habituellement.
GT : Pour conclure, y a-t-il quelque chose dont nous n’avons pas parlé et que vous aimeriez partager avec de nouveaux professeurs?
YB : Écouter votre instinct. De nombreuses personnes n’ont pas suffisamment confiance en elle pour le faire et elles ratent des occasions. En tant que chercheurs, notre tâche principale est d’avoir des idées utiles qui font avancer les connaissances. Ces idées émanent toujours de notre cerveau et nous devons cultiver la capacité de donner à ce processus de création d’idées le temps qu’il faut. Il faut du temps pendant la semaine pour réfléchir, pour faire autre chose que de travailler à ses programmes, que d’écrire ou même de lire. Il faut du temps pour réfléchir aux grandes questions qui vous habitent.
GT : Merci. Je crois que bien des choses que vous avez dites figurent parmi les leçons les plus importantes que j’ai apprises au fil de quelques années de travail. Et si quelqu’un peut profiter de ces idées dès la première ou la deuxième année, cela pourrait se révéler très précieux. Comme vous l’avez dit, en tant que doctorant nous n’apprenons pas à gérer un laboratoire.
LISEZ LES AUTRES ARTICLES DE CETTE SÉRIE
Articles liés
-
La recherche canadienne à l’honneur à la conférence NeurIPS 2024
16 décembre 2024
-
Trois lauréats du prix Nobel 2024 parmi la communauté de recherche acclamée du CIFAR
15 octobre 2024
-
Geoffrey Hinton, membre de longue date du CIFAR, reçoit le prix Nobel de physique 2024
08 octobre 2024
-
L’école d’été APAR du CIFAR : présenter le Canada aux plus brillants talents du monde en IA
13 octobre 2023