Marlos C. Machado
La nomination
Titulaire de chaire en IA Canada-CIFAR
Stratégie pancanadienne en matière d’IA
Connect
À Propos
Les recherches de Marlos Machado portent sur la conception d’algorithmes qui explorent des abstractions spatiales et temporelles afin de permettre aux agents d’apprentissage par renforcement de s’attaquer aux problèmes d’attribution du mérite, d’exploration et de généralisation. Pour les abstractions spatiales, il a montré les avantages d’intégrer la structure séquentielle des problèmes de prise de décision au processus d’apprentissage de représentations ainsi que les avantages d’augmenter les représentations des agents avec des prédictions et des estimations d’incertitude. Pour les abstractions temporelles, Marlos Machado a introduit l’idée d’utiliser des représentations apprises pour découvrir des options (c’est-à-dire des façons de procéder) pour une exploration étendue dans le temps. Plusieurs de ses idées ont été intégrées à la conception d’un algorithme d’apprentissage par renforcement profond pour le contrôle de ballons dans la stratosphère, l’un des premiers projets d’apprentissage par renforcement profond utilisés dans le monde réel. Marlos Machado s’intéresse également à la reproductibilité et à l’expérimentation appropriée en apprentissage automatique ; il a été responsable de l’introduction de la stochasticité et des modes dans le très populaire environnement d’apprentissage Arcade.
Prix
- Prix du meilleur article, ateliers sur l’exploration, ICML, 2018 et 2019.
- Nomination pour la meilleure thèse de doctorat du département d’informatique, Université de l’Alberta, 2019.
- Nomination pour le meilleur article, International Conference on Autonomous Agents and Multiagent Systems (AAMAS), 2016.
- Nombreux prix de meilleur lecteur critique dans le cadre des principales conférences en apprentissage automatique, 2016‑2020.
Publications Pertinentes
- Agarwal, R., M.C. Machado, P. Castro, M. Bellemare. « Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning », International Conference on Learning Representations (ICLR 2021).
- Ghosh, D., M.C. Machado, N. Le Roux. « An Operator View of Policy Gradient Methods », Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
- Bellemare, M., S. Candido, P. Castro, J. Gong, M.C. Machado, S. Moitra, S. Ponda, Z. Wang. « Autonomous Navigation of Stratospheric Balloons using Reinforcement Learning », Nature, 588:77–82, 2020.
- Machado, M.C., C. Rosenbaum, X. Guo, M. Liu, G. Tesauro, M. Campbell. « Eigenoption Discovery through the Deep Successor Representation », International Conference on Learning Representations (ICLR 2018).
- Machado, M.C., M. Bellemare, E. Talvitie, J. Veness, M. Hausknecht, M. Bowling. « Revisiting the Arcade Learning Environment: Evaluation Protocols and Open Problems for General Agents », Journal of Artificial Intelligence Research, 61:523‑562, 2018.
Soutenez-nous
Le CIFAR est un organisme de bienfaisance enregistré qui reçoit le soutien des gouvernements du Canada, de l’Alberta et du Québec, ainsi que de fondations, de donateurs individuels, d’entreprises et de partenaires canadiens et internationaux.