24
l'apprentissage profond, permettant d'utiliser tout simulateur un tant soit peu robuste pour générer des
masses de données d'apprentissage. Les réussites spectaculaires dans le domaine des jeux vidéos (à
partir des images de l'écran), puis du GO (couplage bandits manchots / apprentissage profond) ne doivent pas masquer d'autres domaines où l'impact du RL est en plein essor, comme les politiques d'énergie, ou la robotique, où l'on retrouve le rêve de robots compagnons que l'on pourrait éduquer comme
des animaux (sans spécifier précisément la récompense). A l'opposé, l'autre enjeu majeur reste l'obtention de garanties théoriques.
Transfert et Analogie
L'apprentissage par transfert consiste à exploiter un modèle appris sur une tâche donnée pour une autre
tâche, si possible similaire. Ce scénario prend toute son importance lorsque l'on désire résoudre un
grand nombre de problèmes mais que l'on ne dispose pas de beaucoup d'exemples sur tous les problèmes, par exemple, pour développer des systèmes de reconnaissance vocale dans de nombreuses
langues différentes. Ce transfert est de nature analogique. De manière plus générale les rapports analogiques pourraient être davantage exploités en apprentissage, en particulier pour apprendre à partir de
peu d’exemples.
Résolution de Problèmes
Le machine learning permet, mieux que jamais, d'aborder la résolution de problèmes qui nous semblent intuitifs (reconnaître des entités sur des images) au travers de grandes quantités d'exemple annotés. Mais une IA doit aussi être capable de résoudre des problèmes de raisonnement logique bien posés
difficiles, pour l'être humain comme pour la machine, qu'il s'agisse de prouver des théorèmes ou de
résoudre des casse-têtes de tout ordre, y compris ceux d'intérêt pratique…
Les grands défis concernant cette thématique:
Problèmes NP-difficiles (Beyond NP)
La résolution pratique d'instances de problèmes de raisonnement logique dans des espaces discrets,
bien que (NP)difficile en théorie, a fait des progrès considérables sur les 20 dernières années. Qu'il
s'agisse de formules logiques propositionnelles, de réseaux de contraintes ou d'autres modèles graphiques, les algorithmes et outils de résolution (eg. de ``clause learning"), sont maintenant capables de
résoudre exactement des problèmes industriels de plus d'un million de variables booléennes. Cette
capacité sur-humaine, encore mal comprise théoriquement, a déjà révolutionné l'industrie de la vérification des circuits intégrés (processeurs, Intel en particulier). Plus proche de nous, elle est aussi utilisée pour concevoir les problèmes de Sudoku du journal ``Le Monde" et forme aussi le coeur du programme français ``Woodstock" qui a gagné la première place lors de la compétition de ``General
Game Playing" (Stanford, 2016). La France est un leader international effectif du domaine, aussi bien
en termes de publications (cf. http://www.a4cp.org/cparchive/countries_by_year) que d'outils de résolution.
Les grandes questions qui se posent à présent sont de comprendre la raison de l'efficacité des méthodes développées dans les 20 dernières années; de les combiner avec du machine learning pour
résoudre des problèmes difficiles mais définis seulement par des données ; de les utiliser pour résoudre
des problèmes difficiles d'intérêt pour le machine learning et au delà (calcul de marginales, comptage,
programme "Beyond NP" proposé aux USA par le président de l'ACM) ; d'utiliser le machine learning
pour rendre ces algorithmes adaptatifs ; et de les combiner avec de l'optimisation continue.
l'apprentissage profond, permettant d'utiliser tout simulateur un tant soit peu robuste pour générer des
masses de données d'apprentissage. Les réussites spectaculaires dans le domaine des jeux vidéos (à
partir des images de l'écran), puis du GO (couplage bandits manchots / apprentissage profond) ne doivent pas masquer d'autres domaines où l'impact du RL est en plein essor, comme les politiques d'énergie, ou la robotique, où l'on retrouve le rêve de robots compagnons que l'on pourrait éduquer comme
des animaux (sans spécifier précisément la récompense). A l'opposé, l'autre enjeu majeur reste l'obtention de garanties théoriques.
Transfert et Analogie
L'apprentissage par transfert consiste à exploiter un modèle appris sur une tâche donnée pour une autre
tâche, si possible similaire. Ce scénario prend toute son importance lorsque l'on désire résoudre un
grand nombre de problèmes mais que l'on ne dispose pas de beaucoup d'exemples sur tous les problèmes, par exemple, pour développer des systèmes de reconnaissance vocale dans de nombreuses
langues différentes. Ce transfert est de nature analogique. De manière plus générale les rapports analogiques pourraient être davantage exploités en apprentissage, en particulier pour apprendre à partir de
peu d’exemples.
Résolution de Problèmes
Le machine learning permet, mieux que jamais, d'aborder la résolution de problèmes qui nous semblent intuitifs (reconnaître des entités sur des images) au travers de grandes quantités d'exemple annotés. Mais une IA doit aussi être capable de résoudre des problèmes de raisonnement logique bien posés
difficiles, pour l'être humain comme pour la machine, qu'il s'agisse de prouver des théorèmes ou de
résoudre des casse-têtes de tout ordre, y compris ceux d'intérêt pratique…
Les grands défis concernant cette thématique:
Problèmes NP-difficiles (Beyond NP)
La résolution pratique d'instances de problèmes de raisonnement logique dans des espaces discrets,
bien que (NP)difficile en théorie, a fait des progrès considérables sur les 20 dernières années. Qu'il
s'agisse de formules logiques propositionnelles, de réseaux de contraintes ou d'autres modèles graphiques, les algorithmes et outils de résolution (eg. de ``clause learning"), sont maintenant capables de
résoudre exactement des problèmes industriels de plus d'un million de variables booléennes. Cette
capacité sur-humaine, encore mal comprise théoriquement, a déjà révolutionné l'industrie de la vérification des circuits intégrés (processeurs, Intel en particulier). Plus proche de nous, elle est aussi utilisée pour concevoir les problèmes de Sudoku du journal ``Le Monde" et forme aussi le coeur du programme français ``Woodstock" qui a gagné la première place lors de la compétition de ``General
Game Playing" (Stanford, 2016). La France est un leader international effectif du domaine, aussi bien
en termes de publications (cf. http://www.a4cp.org/cparchive/countries_by_year) que d'outils de résolution.
Les grandes questions qui se posent à présent sont de comprendre la raison de l'efficacité des méthodes développées dans les 20 dernières années; de les combiner avec du machine learning pour
résoudre des problèmes difficiles mais définis seulement par des données ; de les utiliser pour résoudre
des problèmes difficiles d'intérêt pour le machine learning et au delà (calcul de marginales, comptage,
programme "Beyond NP" proposé aux USA par le président de l'ACM) ; d'utiliser le machine learning
pour rendre ces algorithmes adaptatifs ; et de les combiner avec de l'optimisation continue.