106
2. Approfondissements thématiques
2.1
Approfondissements sur les thèmes du test, de l’expérimentation
et des plateformes
2.1.1 Propositions de développement de tests et
expérimentations
Un enjeu fondamental pour le développement de l’IA en France est de mettre en place l’ensemble de
la chaîne d’outils (protocoles, méthodes, simulateurs, environnements de conception et d’intégration,
etc.) permettant d’expliquer, de garantir et de certifier les technologies utilisant de l’IA.
L’estimation de la qualité des technologies de l’IA s’effectue à l’aide de protocoles de mesure qui
varient en fonction de la maturité même des technologies. Ces dernières résident toutefois sur des
fondements communs qui sont ceux de la métrologie à savoir : reproductibilité, répétabilité, estimation
de la justesse, sachant que la recherche de preuve n’est pas obligatoire. Il s’agit de comparer des
approches dans les mêmes conditions sur une tâche précise via des tests et des expérimentations.
Notons qu’elles requièrent le développement de nouvelles technologies de métrologie, de validation
ou des simulateurs adaptées à ces systèmes spécifiques.
Enfin, la diffusion de ces technologies aux industriels s’accompagne obligatoirement de
développements de nouvelles méthodes et de nouveaux outils pour la conception et l’intégration
spécifiques aux systèmes à base d’IA, y compris en considérant les architectures matérielles qui
supportent les algorithmes.
2.1.1.1 Objectifs des tests et expérimentations
Les tests et expérimentations cherchent à répondre aux objectifs suivants :
- Assurer le transfert aux entreprises
Il s’agit là de permettre aux industriels de connaître les capacités exactes des systèmes d’IA à répondre
à la tâche attendue et ainsi de leur donner confiance dans la pertinence des réponses fournies par ces
systèmes. Les tests et expérimentations doivent permettre de connaître l’état de l’art des systèmes en
comparant les solutions entre elles ou à une référence. Ils doivent également permettre d’évaluer les
progrès des systèmes au cours du temps en identifiant les facteurs d’influence.
- Fournir des référentiels communs aux développeurs
Pouvoir se comparer dans le même cadre expérimental (données, plateformes, métriques…) permet
aux développeurs de se situer vis-à-vis de l’état de l’art. Ce cadre expérimental est soumis à plusieurs
contraintes. Il doit être facilement accessibles, respecter la législation du droit des données et des
personnes (droit d’auteur, anonymisation, …), être représentatif des cas d’usage d’autant plus que les
technologies mises en jeu sont matures.
2. Approfondissements thématiques
2.1
Approfondissements sur les thèmes du test, de l’expérimentation
et des plateformes
2.1.1 Propositions de développement de tests et
expérimentations
Un enjeu fondamental pour le développement de l’IA en France est de mettre en place l’ensemble de
la chaîne d’outils (protocoles, méthodes, simulateurs, environnements de conception et d’intégration,
etc.) permettant d’expliquer, de garantir et de certifier les technologies utilisant de l’IA.
L’estimation de la qualité des technologies de l’IA s’effectue à l’aide de protocoles de mesure qui
varient en fonction de la maturité même des technologies. Ces dernières résident toutefois sur des
fondements communs qui sont ceux de la métrologie à savoir : reproductibilité, répétabilité, estimation
de la justesse, sachant que la recherche de preuve n’est pas obligatoire. Il s’agit de comparer des
approches dans les mêmes conditions sur une tâche précise via des tests et des expérimentations.
Notons qu’elles requièrent le développement de nouvelles technologies de métrologie, de validation
ou des simulateurs adaptées à ces systèmes spécifiques.
Enfin, la diffusion de ces technologies aux industriels s’accompagne obligatoirement de
développements de nouvelles méthodes et de nouveaux outils pour la conception et l’intégration
spécifiques aux systèmes à base d’IA, y compris en considérant les architectures matérielles qui
supportent les algorithmes.
2.1.1.1 Objectifs des tests et expérimentations
Les tests et expérimentations cherchent à répondre aux objectifs suivants :
- Assurer le transfert aux entreprises
Il s’agit là de permettre aux industriels de connaître les capacités exactes des systèmes d’IA à répondre
à la tâche attendue et ainsi de leur donner confiance dans la pertinence des réponses fournies par ces
systèmes. Les tests et expérimentations doivent permettre de connaître l’état de l’art des systèmes en
comparant les solutions entre elles ou à une référence. Ils doivent également permettre d’évaluer les
progrès des systèmes au cours du temps en identifiant les facteurs d’influence.
- Fournir des référentiels communs aux développeurs
Pouvoir se comparer dans le même cadre expérimental (données, plateformes, métriques…) permet
aux développeurs de se situer vis-à-vis de l’état de l’art. Ce cadre expérimental est soumis à plusieurs
contraintes. Il doit être facilement accessibles, respecter la législation du droit des données et des
personnes (droit d’auteur, anonymisation, …), être représentatif des cas d’usage d’autant plus que les
technologies mises en jeu sont matures.