23
Apprentissage profond
Au sein de la révolution que connait l’Intelligence Artificielle aujourd’hui, l’apprentissage profond
(deep learning) occupe une place de tout premier plan. Il est au coeur des technologies qui permettent
aujourd’hui de réaliser des tâches encore impensables il y a quelques années, comme la conduite
automatique ou la conversation avec des assistants vocaux. La réussite du deep learning repose à la
fois sur des avancées en terme de modélisation des représentations de l’information, sur des méthodes
d’apprentissage statistiques exploitant des données massivement annotées, et sur des calculateurs très
puissants adaptés à ces architectures.
Parmi les enjeux en recherche essentiels sur le deep learning, on trouve l'enjeu d'une meilleure compréhension théorique du fonctionnement de ces réseaux profonds ; des avancées sur les méthodes
d’optimisation pour faciliter l’apprentissage de ces réseaux ; la simplification et/ou compression de ces
réseaux ; l'adaptation de ces architectures pour des modalités d’apprentissage faiblement ou non supervisées, du multi-taches.
Ces enjeux sont de taille tant les applications industrielles et les implications sociétales sont immenses
aujourd'hui.
Apprentissage à partir de peu d’exemples / non supervisé
La plupart des applications réussies récentes de l'apprentissage supervisé (comme en traitement automatique des langues et en vision artificielle) ont été rendues possibles grâce à un grand nombre
d'exemples d'entrée/sortie observées. Cependant, de nombreux nouveaux problèmes ont soit peu
d'exemples pour entraîner les modèles, soit beaucoup de données mais la plupart partiellement (voire
nullement) etiquetées (par exemple, des images sans descriptifs de leurs contenus). Ces deux déviations du cadre dominant restent des sujets très largement ouverts.
Apprentissage en ligne et incrémental
L'apprentissage est dit "en ligne" ou "incrémental" lorsque les données utilisés pour entrainer un modèle arrivent séquentiellement. Le modèle doit alors être mis à jour itérativement, au fur et à mesure de
l'arrivée des données. Ce scénario a vocation à jouer un rôle central à l'avenir, avec le développement
de capteurs connectés ou la récolte de données sur le web qui produisent des flux continus de données.
La théorie et les algorithmes de l'apprentissage en ligne restent peu développées, notamment dans le
cas où le flux de données n'est pas stationnaire et ou le modèle doit évoluer au cours du temps.
Apprentissage par renforcement
Alan Turing avait déjà, avec sa P-machine (que l'on peut éduquer à l'aide de 2 signaux, Pain and Pleasure) proposé la vision à long terme de l'apprentissage par renforcement (RL): apprendre à choisir
l'action qui donnera à terme la plus grande récompense.
Déjà performants il y a 20 ans (champion de backgammon, 92), les algorithmes de RL ont vu leurs
performances décuplées par l'arrivée des algorithmes dits de bandits manchots (incontournables dans
le domaine de placement de publicité, avec l'impact que l'on sait sur le business model du Web), et de
Apprentissage profond
Au sein de la révolution que connait l’Intelligence Artificielle aujourd’hui, l’apprentissage profond
(deep learning) occupe une place de tout premier plan. Il est au coeur des technologies qui permettent
aujourd’hui de réaliser des tâches encore impensables il y a quelques années, comme la conduite
automatique ou la conversation avec des assistants vocaux. La réussite du deep learning repose à la
fois sur des avancées en terme de modélisation des représentations de l’information, sur des méthodes
d’apprentissage statistiques exploitant des données massivement annotées, et sur des calculateurs très
puissants adaptés à ces architectures.
Parmi les enjeux en recherche essentiels sur le deep learning, on trouve l'enjeu d'une meilleure compréhension théorique du fonctionnement de ces réseaux profonds ; des avancées sur les méthodes
d’optimisation pour faciliter l’apprentissage de ces réseaux ; la simplification et/ou compression de ces
réseaux ; l'adaptation de ces architectures pour des modalités d’apprentissage faiblement ou non supervisées, du multi-taches.
Ces enjeux sont de taille tant les applications industrielles et les implications sociétales sont immenses
aujourd'hui.
Apprentissage à partir de peu d’exemples / non supervisé
La plupart des applications réussies récentes de l'apprentissage supervisé (comme en traitement automatique des langues et en vision artificielle) ont été rendues possibles grâce à un grand nombre
d'exemples d'entrée/sortie observées. Cependant, de nombreux nouveaux problèmes ont soit peu
d'exemples pour entraîner les modèles, soit beaucoup de données mais la plupart partiellement (voire
nullement) etiquetées (par exemple, des images sans descriptifs de leurs contenus). Ces deux déviations du cadre dominant restent des sujets très largement ouverts.
Apprentissage en ligne et incrémental
L'apprentissage est dit "en ligne" ou "incrémental" lorsque les données utilisés pour entrainer un modèle arrivent séquentiellement. Le modèle doit alors être mis à jour itérativement, au fur et à mesure de
l'arrivée des données. Ce scénario a vocation à jouer un rôle central à l'avenir, avec le développement
de capteurs connectés ou la récolte de données sur le web qui produisent des flux continus de données.
La théorie et les algorithmes de l'apprentissage en ligne restent peu développées, notamment dans le
cas où le flux de données n'est pas stationnaire et ou le modèle doit évoluer au cours du temps.
Apprentissage par renforcement
Alan Turing avait déjà, avec sa P-machine (que l'on peut éduquer à l'aide de 2 signaux, Pain and Pleasure) proposé la vision à long terme de l'apprentissage par renforcement (RL): apprendre à choisir
l'action qui donnera à terme la plus grande récompense.
Déjà performants il y a 20 ans (champion de backgammon, 92), les algorithmes de RL ont vu leurs
performances décuplées par l'arrivée des algorithmes dits de bandits manchots (incontournables dans
le domaine de placement de publicité, avec l'impact que l'on sait sur le business model du Web), et de