Pot un sistema d'IA saber quan no sap? Aquella primera pregunta va portar el nostre equip, fa una dècada, a explorar la quantificació de la incertesa, l'explicabilitat, la causalitat, el dret i l'ètica amb una ambició més àmplia: una IA que reforci les persones que l'han d'entendre, governar i assumir-ne la responsabilitat.
Com es va ampliar la pregunta de recerca
Capítol 1: Matemàtiques + informàtica
Ensenyar la IA a dubtar
Pot un sistema d'IA saber quan no sap?
El problema fonamental era la incertesa: un model pot equivocar-se perquè el cas queda fora del seu domini operatiu, perquè el model no ha après prou d'evidència representativa o perquè el món continua sent genuïnament variable fins i tot amb bona evidència.
La nostra aportació científica va consistir a aprofitar aquestes fonts d'incertesa per informar la presa de decisions. Entendre la incertesa va resultar útil per determinar el pas següent: recollir una evidència millor, redissenyar el domini operatiu o escalar cap a un judici humà responsable.
Un marc d'incertesa ben desenvolupat permet processos conjunts de decisió humà-IA, en què les negatives, les revisions i la responsabilitat estan integrades en el sistema.
El cas pot situar-se fora de la distribució o de les condicions operatives en què cal confiar en el model.
Incertesa epistèmica
Aprendre i comparar models
El model no disposa de prou coneixement representatiu; una evidència, unes dades o uns models millors poden reduir-la.
Incertesa aleatòria
Mostrar escenaris a la persona
Diversos resultats continuen sent plausibles perquè l'observació és parcial, sorollosa o intrínsecament variable.
Capítol 2: Enginyeria + projectes públics + sistemes crítics
Un problema de fons compartit
On podem integrar la quantificació de la incertesa en la presa de decisions?
La nostra recerca sobre presa de decisions informada per la quantificació de la incertesa va abastar les finances, els sistemes crítics de seguretat, la mobilitat autònoma, la recerca farmacèutica, la integritat de la informació i altres contextos aplicats.
La gran diversitat d'aquests àmbits revela un repte comú: determinar com l'evidència incompleta, les condicions operatives canviants o les conseqüències asimètriques condicionen les decisions. La quantificació de la incertesa resulta essencial per abordar aquestes complexitats i garantir una presa de decisions responsable.
Què va causar la predicció? Què canviaria amb una intervenció diferent?
La incertesa ens indica quan la confiança és limitada, però per si sola no explica què va produir un resultat ni què canviaria amb una intervenció diferent. Per fer un sistema més fiable, cal examinar conjuntament els seus límits, raons i alternatives.
El raonament causal, els contrafactuals i l'explicabilitat proporcionen aquesta capa de raons i alternatives que es pot inspeccionar, qüestionar i utilitzar en la presa de decisions. En aquest punt, l'abast de la nostra recerca es va ampliar de la IA segura a la IA fiable.
Combinar coneixement tècnic i jurídic per a la governança de la IA
Un sistema d'IA pot funcionar de manera fiable i, tanmateix, no ser adequat per a un desplegament concret si ha d'abordar deures jurídics com la gestió de riscos, la governança de dades, la documentació i les normes, les avaluacions de drets fonamentals, la supervisió o la rendició de comptes.
TRAILAB incorpora aquests requisits al procés de recerca i, quan és possible, els tradueix en requisits i evidència verificables. El resultat és un marc de governança que dona suport i complementa el desenvolupament de sistemes.
La Comissió presenta la Llei d'IA com un marc jurídic basat en el risc i d'aplicació esglaonada: pràctiques prohibides i alfabetització en IA des del febrer de 2025, governança de la IA de propòsit general des de l'agost de 2025 i obligacions d'alt risc ara seqüenciades cap al desembre de 2027 i l'agost de 2028 dins del paquet de simplificació.
La Comissió descriu com les normes harmonitzades tradueixen els requisits de la Llei d'IA al llenguatge tècnic per a la gestió de riscos, la governança de dades, el registre, la transparència, la supervisió humana, la precisió, la robustesa, la ciberseguretat, la gestió de la qualitat i l'avaluació de la conformitat.
CEN-CENELEC JTC 21 desenvolupa normes europees d'IA, incloses normes harmonitzades de suport a la Llei d'IA de la UE i treballs relacionats sobre fiabilitat, gestió de riscos, gestió de la qualitat i avaluació de la conformitat.
ISO/IEC 42001 especifica requisits per establir, implementar, mantenir i millorar contínuament un sistema de gestió d'IA per a organitzacions que proporcionen o utilitzen sistemes d'IA.
ISO/IEC 23894 proporciona orientació per gestionar riscos específics de la IA i integrar la gestió del risc d'IA en les activitats i funcions organitzatives.
Deures basats en el risc, alfabetització en IA, governança de GPAI i obligacions per a sistemes d'alt risc.
02
CEN-CENELEC
Normes harmonitzades que tradueixen requisits jurídics en evidència tècnica.
03
ISO/IEC
Sistemes de gestió d'IA i gestió de riscos d'IA: ISO/IEC 42001 i ISO/IEC 23894.
04
Normes sectorials
Garantia en les indústries de l'automoció, l'aviació, l'automatització, la mèdica i la de sistemes crítics.
Capítol 5: Ètica + filosofia + legitimitat social
La fiabilitat necessita un propòsit
Com poden les capacitats tècniques reforçar un judici responsable?
Un sistema que compleix els requisits tècnics i jurídics encara necessita escrutini per la manera com configura l'autonomia, la responsabilitat, l'autoria o el propòsit institucional. L'ètica i la filosofia serveixen per determinar què ha de continuar sent humà, on recau la responsabilitat, quines compensacions importen i quines formes de progrés val la pena perseguir.
Capacitat
Pot funcionar?
Compliment
Es pot justificar?
Legitimitat
Val la pena perseguir-ho?
01
Agència humana
Autonomia, autoria i control.
02
Rendició de comptes
Responsabilitat, responsabilitat jurídica i equitat.
03
Fonaments socials
Dignitat, cura, vulnerabilitat i justícia epistèmica.
04
Judici responsable
Propòsit i interès públic.
Capítol 6: Ciència + cultura + societat
La IA transforma les condicions del pensament
Què passa quan la IA es converteix en infraestructura per al judici?
La IA s'integra cada vegada més en els fluxos de treball de raonar, crear i investigar. Aquesta interacció està configurant com les persones formulen preguntes, examinen alternatives i assumeixen compromisos. Tot i que la IA pot oferir solucions prefabricades en àmbits diversos, existeix el risc que es bypassin la comprensió, el pensament crític, l'autoria o la responsabilitat durant el procés.
IA reflexiva pregunta com la IA transforma les capacitats humanes de les quals depèn un bon judici. TRAILAB proposa RAIO, l'Orquestrador d'IA Reflexiva, com una arquitectura de recerca que coordina aclariments, supòsits, incertesa, alternatives i compensacions durant una interacció humà-IA. La IA reflexiva es converteix en un objectiu de recerca per reforçar el judici, el pensament crític, la creativitat, la responsabilitat i el compromís humà explícit.
La conferència magistral de Narayanan a la ICML 2026 presenta la IA com un factor que canvia en què treballen les persones, i motiva eines i rols que converteixen solucions generades per IA en comprensió humana i acció responsable.
Narayanan i Kapoor sostenen que la IA s'ha de tractar com una potent tecnologia de propòsit general l'adopció, el desplegament i el control humà de la qual importen tant com la capacitat del model.
Messeri i Crockett adverteixen que les eines d'IA poden accelerar la producció científica i crear alhora il·lusions de comprensió i monocultures científiques si s'eviten l'explicació, la validació i la crítica.
01 / comprensióAclariu els supòsits abans d'actuar
02 / agènciaFeu visible la incertesa sense renunciar al control
03 / creativitatExploreu alternatives abans de tancar
04 / responsabilitatReviseu els valors i les compensacions abans de comprometre-us
Judici humà
Capítol 7: Una institució multidisciplinària independent
Aquest recorregut científic necessitava una institució
Per què crear TRAILAB?
Els problemes que abordem han superat els límits de qualsevol disciplina individual, però el coneixement pertinent continuava distribuït entre universitats, centres de recerca, indústria, institucions públiques i societat civil.
Vam fundar TRAILAB el 2026 com una entitat independent i sense ànim de lucre on totes aquestes capacitats es poden combinar entorn de preguntes de recerca compartides sense substituir les afiliacions principals de les persones i institucions implicades. Consolida, amplia i transfereix la trajectòria de recerca que el sustenta, construint mètodes, evidència, pilots i capacitat institucional per a una IA fiable i reflexiva.
