Marlos C. Machado
La nomination
Titulaire de chaire en IA Canada-CIFAR
Stratégie pancanadienne en matière d’IA
Connect
À Propos
Titulaire de chaire en IA Canada-CIFAR – Nouveau mandat – 2021
Marlos C. Machado est professeur adjoint à l’Université de l’Alberta, titulaire de chaire en IA Canada-CIFAR, membre d’Amii et responsable de la recherche au sein du groupe Reinforcement Learning and Artificial Intelligence (Apprentissage par renforcement et intelligence artificielle).
Les recherches de Marlos C. Machado portent sur les problèmes de prise de décision séquentielle. Il s’intéresse particulièrement à la mise au point d’approches qui apprennent en continu et qui sont capables de créer des abstractions à partir de leurs observations et de leurs comportements. Pour l’apprentissage continu, il a réexaminé certains des principes fondamentaux de l’apprentissage par renforcement profond afin de permettre à ses algorithmes d’apprendre réellement de manière continue. Pour les abstractions d’observations, il a montré les avantages d’intégrer la structure séquentielle des problèmes de prise de décision au processus d’apprentissage par représentation, ainsi que les avantages d’augmenter les représentations des agents avec des prédictions et des estimations d’incertitude. Pour les abstractions temporelles, il a introduit l’idée d’utiliser des représentations apprises pour découvrir des options (c’est-à-dire des façons de procéder) pour une exploration étendue dans le temps, une approche efficace dans les contextes épisodiques et continus. Plusieurs de ses idées ont été intégrées à la conception d’un algorithme d’apprentissage par renforcement profond pour le contrôle de ballons dans la stratosphère, l’un des premiers projets d’apprentissage par renforcement profond utilisés dans le monde réel. Ses recherches ont été présentées dans des médias populaires comme la BBC, Bloomberg TV, The Verge et Wired.
Prix
- Mention honorable pour le meilleur article, AISTATS, 2023
- Prix du meilleur article, Atelier sur l’exploration en apprentissage par renforcement d’ICML, 2019
- Prix du meilleur article, Atelier sur l’exploration en apprentissage par renforcement d’ICML, 2018
- Nomination pour le meilleur article, International Conference on Autonomous Agents and Multiagent Systems (AAMAS), 2016.
Publications Pertinentes
- Gomez, D., Bowling, M., Machado, M. C. (2024). « Proper Laplacian Representation Learning ». Publié dans Conférence internationale sur l’apprentissage par représentation.
- Machado, M. C., Barreto, A., Precup, D. et Bowling, M. (2023). « Temporal Abstraction in Reinforcement Learning with the Successor Representation ». Publié dans Journal of Machine Learning Research, 24(80), pp. 1-69.
- Abbas, Z., Zhao, R., Modayil, J., White, A. et Machado, M. C. (2023). « Loss of Plasticity in Continual Deep Reinforcement Learning ». Publié dans Conférence sur les agents d'’apprentissage continu, 2023
- Bellemare, M., S. Candido, P. Castro, J. Gong, M.C. Machado, S. Moitra, S. Ponda, Z. Wang. « Autonomous Navigation of Stratospheric Balloons using Reinforcement Learning », Nature, 588:77–82, 2020.
- Machado, M.C., M. Bellemare, E. Talvitie, J. Veness, M. Hausknecht, M. Bowling. « Revisiting the Arcade Learning Environment: Evaluation Protocols and Open Problems for General Agents », Journal of Artificial Intelligence Research, 61:523‑562, 2018.