44
proches de celles des humains : percevoir, comprendre les intentions, raisonner, prendre des décisions,
montrer des affects, des intentions, etc.
Plusieurs défis sont identifiés par la communauté scientifique :
Reconnaissance : Reconnaissance de la parole multimodale, états affectifs, états mentaux, actions et
intentions à partir de signaux multimodaux ; reconnaissance du contexte ; fusion des signaux (les 5
sens : audio, visuel, toucher, goût et odeur ; signaux physiologiques, objets connectés)
Autonomie et Adaptation : Adaptation dynamique de l’interface à l’environnement, aux besoins et aux
tâches des utilisateurs ; adaptation dynamique aux états affectifs et mentaux des utilisateurs ; Augmenter l’autonomie des agents conversationnels physiques et virtuels
Prises de décisions : Prédire les actions de l’utilisateur, aider à la prise de décision (côté entrée) ; générer des prises de décision et montrer des comportements multimodaux (côté sortie)
Dialogue : Dépasser les échanges courts d’une interaction en maintenant l’engagement de l’utilisateur
(passer d’un modèle de QA à un modèle de dialogue)
Systèmes de formation : doter les agents pédagogiques d’une représentation des connaissances pour
expliquer leur raisonnement et actions
Évaluation : Être crédible, donner confiance, ne pas tomber dans la vallée de l’étrange, développer des
techniques d’évaluation, des benchmarks
Visualisation : visualiser et interagir une grande quantité d’informations sur des dispositifs hétérogènes et distribués (eg miniaturisés, très grands et déformables)
Explicabilité : visualiser pour comprendre le processus des algorithmes d’apprentissage
Éthiques : Respecter la vie privée des utilisateurs et des règles éthiques (eg regardant la simulation des
émotions)
Les méthodes d’Intelligence Artificielle employées dans ces nouvelles IHM reposent à la fois sur des
modèles experts (par exemple écrite dans des logiques formelles) et sur l’analyse automatique (par
exemple à l’aide d’algorithme d’apprentissage) de données multimodales d’interaction humainhumain ou humain-machine. Il faut donc développer des outils d’annotation de ces données, d’analyse
et de synthèse de comportement, de dialogue, de voix de synthèse.
proches de celles des humains : percevoir, comprendre les intentions, raisonner, prendre des décisions,
montrer des affects, des intentions, etc.
Plusieurs défis sont identifiés par la communauté scientifique :
Reconnaissance : Reconnaissance de la parole multimodale, états affectifs, états mentaux, actions et
intentions à partir de signaux multimodaux ; reconnaissance du contexte ; fusion des signaux (les 5
sens : audio, visuel, toucher, goût et odeur ; signaux physiologiques, objets connectés)
Autonomie et Adaptation : Adaptation dynamique de l’interface à l’environnement, aux besoins et aux
tâches des utilisateurs ; adaptation dynamique aux états affectifs et mentaux des utilisateurs ; Augmenter l’autonomie des agents conversationnels physiques et virtuels
Prises de décisions : Prédire les actions de l’utilisateur, aider à la prise de décision (côté entrée) ; générer des prises de décision et montrer des comportements multimodaux (côté sortie)
Dialogue : Dépasser les échanges courts d’une interaction en maintenant l’engagement de l’utilisateur
(passer d’un modèle de QA à un modèle de dialogue)
Systèmes de formation : doter les agents pédagogiques d’une représentation des connaissances pour
expliquer leur raisonnement et actions
Évaluation : Être crédible, donner confiance, ne pas tomber dans la vallée de l’étrange, développer des
techniques d’évaluation, des benchmarks
Visualisation : visualiser et interagir une grande quantité d’informations sur des dispositifs hétérogènes et distribués (eg miniaturisés, très grands et déformables)
Explicabilité : visualiser pour comprendre le processus des algorithmes d’apprentissage
Éthiques : Respecter la vie privée des utilisateurs et des règles éthiques (eg regardant la simulation des
émotions)
Les méthodes d’Intelligence Artificielle employées dans ces nouvelles IHM reposent à la fois sur des
modèles experts (par exemple écrite dans des logiques formelles) et sur l’analyse automatique (par
exemple à l’aide d’algorithme d’apprentissage) de données multimodales d’interaction humainhumain ou humain-machine. Il faut donc développer des outils d’annotation de ces données, d’analyse
et de synthèse de comportement, de dialogue, de voix de synthèse.