Un système d’IA peut-il savoir quand il ne sait pas ? Cette première question a conduit notre équipe il y a dix ans à explorer la quantification de l’incertitude, l’explicabilité, la causalité, le droit et l’éthique vers une ambition plus large : l’IA qui renforce les personnes qui doivent la comprendre, la gouverner et en assumer la responsabilité.
Comment la question de recherche s’est élargie
Chapitre 1 : Mathématiques + informatique
Apprendre à l’IA à douter
Un système d’IA peut-il savoir quand il ne sait pas ?
Le problème fondamental était l’incertitude : un modèle peut être erroné parce que le cas se situe en dehors de son domaine opérationnel, parce que le modèle n’a pas suffisamment appris de preuves représentatives, ou parce que le monde reste véritablement variable même avec de bonnes preuves.
Notre contribution scientifique consistait à exploiter ces sources d’incertitude pour éclairer la prise de décision. Comprendre l'incertitude est devenu utile pour déterminer ce qui s'est passé ensuite : collecter de meilleures preuves, repenser le domaine opérationnel ou passer à un jugement humain responsable.
Un cadre d’incertitude bien développé permet des processus de décision conjoints homme-IA, dans lesquels les refus, les examens et la responsabilité sont intégrés dans le système.
Où pouvons-nous intégrer la quantification de l’incertitude dans la prise de décision ?
Nos recherches sur la prise de décision éclairée par la quantification de l'incertitude ont porté sur la finance, les systèmes critiques pour la sécurité, la mobilité autonome, la recherche pharmaceutique, l'intégrité de l'information et d'autres contextes appliqués.
La grande diversité de ces domaines révèle un défi commun : déterminer comment des preuves incomplètes, des conditions opérationnelles changeantes ou des conséquences asymétriques façonnent les décisions. La quantification de l’incertitude s’avère essentielle pour gérer ces complexités et garantir une prise de décision responsable.
Désinformation, détection des fausses nouvelles, résilience démocratique.
07
Droits de création
Paternité, attribution, droit d'auteur, œuvre culturelle.
Chapitre 3 : Causalité + explicabilité
Je cherche des explications
Quelle est la cause de la prédiction ? Qu’est-ce qui changerait avec une intervention différente ?
L'incertitude nous indique quand la confiance est limitée. mais cela n’explique pas à lui seul ce qui a produit un résultat ou ce qui changerait sous une intervention différente. Pour rendre le système plus fiable, il devient nécessaire d’examiner ensemble les limites, les raisons et les alternatives.
Le raisonnement causal, les contrefactuels et l’explicabilité fournissent cette couche de raisons et d’alternatives qui peuvent être inspectées, contestées et utilisées dans la prise de décision. À ce stade, la portée de nos recherches s’est élargie de l’IA sûre à l’IA digne de confiance.
Qu’est-ce qui changerait dans d’autres conditions ?
03
Explicabilité
Que peut inspecter et contester un humain ?
04
Fidélité
L’explication reflète-t-elle le modèle et la décision ?
Chapitre 4 : Loi + réglementation + normes
Quand la confiance technique ne suffit pas
Combiner expertise technique et juridique pour la gouvernance de l’IA
Un système d'IA peut fonctionner de manière fiable mais ne pas être adapté à un déploiement particulier lorsqu'il doit répondre à des obligations juridiques telles que la gestion des risques, la gouvernance des données, la documentation et les normes, les évaluations des droits fondamentaux, la surveillance ou la responsabilité.
TRAILAB intègre ces exigences dans le processus de recherche, les traduisant lorsque cela est possible en exigences et preuves testables. Le résultat est un cadre de gouvernance qui soutient et complète le développement du système.
La Commission présente la loi sur l’IA comme un cadre juridique basé sur les risques avec une application par étapes : pratiques interdites et connaissances en IA à partir de février 2025, gouvernance GPAI à partir d’août 2025 et obligations à haut risque désormais séquencées vers décembre 2027 et août 2028 dans le cadre du paquet de simplification.
La Commission décrit comment les normes harmonisées traduisent les exigences de la loi sur l'IA en langage technique pour la gestion des risques, la gouvernance des données, la journalisation, la transparence, la surveillance humaine, l'exactitude, la robustesse, la cybersécurité, la gestion de la qualité et l'évaluation de la conformité.
Le CEN-CENELEC JTC 21 élabore des normes européennes sur l'IA, y compris des normes harmonisées à l'appui de la loi de l'UE sur l'IA et des travaux connexes sur la fiabilité, la gestion des risques, la gestion de la qualité et l'évaluation de la conformité.
ISO/IEC 42001 spécifie les exigences relatives à l'établissement, à la mise en œuvre, à la maintenance et à l'amélioration continue d'un système de gestion de l'IA pour les organisations fournissant ou utilisant des systèmes d'IA.
L'ISO/IEC 23894 fournit des lignes directrices sur la gestion des risques spécifiques à l'IA et l'intégration de la gestion des risques liés à l'IA dans les activités et fonctions organisationnelles.
Comment les capacités techniques peuvent-elles renforcer le jugement responsable ?
Un système qui répond aux exigences techniques et juridiques doit encore être examiné de près dans la manière dont il façonne l’autonomie, la responsabilité, la paternité ou l’objectif institutionnel. L’éthique et la philosophie entrent en jeu pour déterminer ce qui doit rester humain, où se situe la responsabilité, quels compromis sont importants et quelles formes de progrès valent la peine d’être poursuivies.
Capacité
Est-ce que ça peut marcher ?
Conformité
Est-ce que cela peut être justifié ?
Légitimité
Est-ce que cela vaut la peine d'être poursuivi ?
01
Agence humaine
Autonomie, paternité et contrôle.
02
Responsabilité
Responsabilité, responsabilité et équité.
03
Raisons sociales
Dignité, soin, vulnérabilité et justice épistémique.
04
Jugement responsable
Objectif et intérêt public.
Chapitre 6 : Science + culture + société
L’IA remodèle les conditions de la pensée
Que se passe-t-il lorsque l’IA devient une infrastructure de jugement ?
L’IA est de plus en plus intégrée aux flux de travail de raisonnement, de création et d’investigation. Cette interaction façonne la manière dont les gens formulent leurs questions, examinent les alternatives et prennent des engagements. Même si l’IA peut fournir des solutions toutes faites dans divers domaines, le risque est que la compréhension, la pensée critique, la paternité ou la responsabilité soient contournées dans le processus.
IA réflexive se demande comment l’IA modifie les capacités humaines dont dépend le bon jugement. TRAILAB propose RAIO, l’orchestrateur d’IA réflexive, comme architecture de recherche qui coordonne les clarifications, les hypothèses, l’incertitude, les alternatives et les compromis lors d’une interaction homme-IA. L’IA réflexive devient un objectif de recherche pour renforcer le jugement, la pensée critique, la créativité, la responsabilité et l’engagement humain explicite.
Le discours d'ouverture de l'ICML 2026 de Narayanan présente l'IA comme un changement dans ce sur quoi les humains travaillent, en motivant des outils et des rôles qui transforment les solutions générées par l'IA en compréhension humaine et en action responsable.
Narayanan et Kapoor plaident en faveur du traitement de l’IA comme d’une puissante technologie polyvalente dont l’adoption, le déploiement et le contrôle humain comptent autant que la capacité du modèle.
Messeri et Crockett préviennent que les outils d’IA peuvent accélérer la production scientifique tout en créant des illusions de compréhension et de monocultures scientifiques si l’explication, la validation et la critique sont contournées.
01 / compréhensionClarifier les hypothèses avant d’agir
02 / agenceL’incertitude de surface sans abandonner le contrôle
03 / créativitéExplorer des alternatives avant la fermeture
04 / responsabilitéExaminer les valeurs et les compromis avant de s’engager
Jugement humain
Chapitre 7 : Une institution multidisciplinaire indépendante
Ce voyage scientifique avait besoin d'une institution
Pourquoi créer TRAILAB ?
Les problèmes que nous abordons ont dépassé toute discipline, mais l’expertise pertinente est restée répartie entre les universités, les centres de recherche, l’industrie, les institutions publiques et la société civile.
Nous avons fondé TRAILAB en 2026 en tant qu'organisation indépendante à but non lucratif où toutes ces capacités peuvent être combinées autour de questions de recherche communes sans remplacer les affiliations principales des personnes et des institutions impliquées. Il consolide, étend et transfère la trajectoire de recherche qui la sous-tend, en construisant des méthodes, des preuves, des projets pilotes et des capacités institutionnelles pour une IA digne de confiance et réflexive.
