107
- Créer un climat de confiance
La mise en œuvre des tests et expérimentation est une tâche à part entière qui devrait être confiée à un
organisme tiers indépendant en particulier pour les technologies peu matures où la recherche publique
est particulièrement présente. Les tests et expérimentations peuvent également être mis en œuvre par
les industriels autour de leurs enjeux propres lorsque les technologies sont plus matures. La définition
des tests doit se faire en collaboration avec l’ensemble de la communauté (chercheurs, industriels,
tutelles, utilisateurs finaux, etc.), Elles doivent s’inscrire dans une démarche de développement d’une
certification propre aux systèmes à base d’IA. Cette certification concernera non seulement les aspects
organisationnels des développements mais également le niveau de fiabilité des systèmes.
- Développer et fournir aux entreprises les technologies et les outils indispensables pour
expliquer, garantir et certifier
Il s’agit de soutenir le développement de nouvelles méthodes et de nouveaux outils autant pour
répondre aux enjeux de la « métrologie », de simulation ou de la validation des systèmes à base
d’Intelligence artificielle, que pour offrir, notamment aux entreprises, des environnements de
conception et d’intégration, y compris sur les architectures matérielles, en vue d’améliorer la
performance et la fiabilité des systèmes. Est également essentielle la simulation des comportements
des systèmes en conditions réelles dans des installations spécifiques. Notons que ces activités pourront
conduire à la création d’un écosystème et donc à produire sur le territoire national de la valeur ajouté,
y compris en terme d’emplois.
2.1.1.2 Recherche et développement d’une
métrologie propre aux systèmes à base
d’IA : obtenir les meilleurs méthodes et
critères d’évaluation
Pour pouvoir qualifier correctement les systèmes d’IA, il est nécessaire de doter la France de méthodes
communes de mesures. Ces méthodes passent par le développement de plateformes d’évaluation
communes permettant d’assurer la reproductibilité, la répétabilité et estimer la justesse des réponses
des systèmes. Les modes d’évaluation peuvent prendre des formes différentes en fonction des cas
d’usage à traiter. L’intervention humaine dans le cadre de l’évaluation est une thématique qu’il est
nécessaire de mieux définir. Certaines technologies peuvent être évaluées à l’aide de références
physiques, d’autres par des annotations humaines ou encore à l’aide de simulations. Mieux structurer
ces évaluations et expliciter dans quel cadre utiliser ces différentes techniques est nécessaire pour bien
qualifier les technologies. L’estimation de la significativité des différences de qualité, l’interprétabilité
des métriques, mieux expliquer les prises de décisions restent des problèmes de R&D à résoudre. Le
développement d’une équipe française ayant comme responsabilité de proposer les meilleurs critères
d’évaluation, comme le fait le NIST aux Etats-Unis, permettrait de mieux structurer la filière de l’IA
française et de mieux se repérer dans les offres tout en protégeant la souveraineté nationale.
- Créer un climat de confiance
La mise en œuvre des tests et expérimentation est une tâche à part entière qui devrait être confiée à un
organisme tiers indépendant en particulier pour les technologies peu matures où la recherche publique
est particulièrement présente. Les tests et expérimentations peuvent également être mis en œuvre par
les industriels autour de leurs enjeux propres lorsque les technologies sont plus matures. La définition
des tests doit se faire en collaboration avec l’ensemble de la communauté (chercheurs, industriels,
tutelles, utilisateurs finaux, etc.), Elles doivent s’inscrire dans une démarche de développement d’une
certification propre aux systèmes à base d’IA. Cette certification concernera non seulement les aspects
organisationnels des développements mais également le niveau de fiabilité des systèmes.
- Développer et fournir aux entreprises les technologies et les outils indispensables pour
expliquer, garantir et certifier
Il s’agit de soutenir le développement de nouvelles méthodes et de nouveaux outils autant pour
répondre aux enjeux de la « métrologie », de simulation ou de la validation des systèmes à base
d’Intelligence artificielle, que pour offrir, notamment aux entreprises, des environnements de
conception et d’intégration, y compris sur les architectures matérielles, en vue d’améliorer la
performance et la fiabilité des systèmes. Est également essentielle la simulation des comportements
des systèmes en conditions réelles dans des installations spécifiques. Notons que ces activités pourront
conduire à la création d’un écosystème et donc à produire sur le territoire national de la valeur ajouté,
y compris en terme d’emplois.
2.1.1.2 Recherche et développement d’une
métrologie propre aux systèmes à base
d’IA : obtenir les meilleurs méthodes et
critères d’évaluation
Pour pouvoir qualifier correctement les systèmes d’IA, il est nécessaire de doter la France de méthodes
communes de mesures. Ces méthodes passent par le développement de plateformes d’évaluation
communes permettant d’assurer la reproductibilité, la répétabilité et estimer la justesse des réponses
des systèmes. Les modes d’évaluation peuvent prendre des formes différentes en fonction des cas
d’usage à traiter. L’intervention humaine dans le cadre de l’évaluation est une thématique qu’il est
nécessaire de mieux définir. Certaines technologies peuvent être évaluées à l’aide de références
physiques, d’autres par des annotations humaines ou encore à l’aide de simulations. Mieux structurer
ces évaluations et expliciter dans quel cadre utiliser ces différentes techniques est nécessaire pour bien
qualifier les technologies. L’estimation de la significativité des différences de qualité, l’interprétabilité
des métriques, mieux expliquer les prises de décisions restent des problèmes de R&D à résoudre. Le
développement d’une équipe française ayant comme responsabilité de proposer les meilleurs critères
d’évaluation, comme le fait le NIST aux Etats-Unis, permettrait de mieux structurer la filière de l’IA
française et de mieux se repérer dans les offres tout en protégeant la souveraineté nationale.