¿Puede un sistema de IA saber cuándo no sabe? Esa primera pregunta llevó a nuestro equipo, hace una década, a explorar la cuantificación de la incertidumbre, la explicabilidad, la causalidad, el derecho y la ética con una ambición más amplia: una IA que fortalezca a las personas que deben comprenderla, gobernarla y asumir la responsabilidad sobre ella.
Cómo se amplió la pregunta de investigación
Capítulo 1: Matemáticas + informática
Enseñar a la IA a dudar
¿Puede un sistema de IA saber cuándo no sabe?
El problema fundamental era la incertidumbre: un modelo puede equivocarse porque el caso queda fuera de su dominio operativo, porque el modelo no ha aprendido lo suficiente de evidencia representativa o porque el mundo sigue siendo genuinamente variable incluso con buena evidencia.
Nuestra aportación científica consistió en aprovechar esas fuentes de incertidumbre para informar la toma de decisiones. Comprender la incertidumbre resultó útil para determinar el paso siguiente: recopilar mejor evidencia, rediseñar el dominio operativo o escalar a un juicio humano responsable.
Un marco de incertidumbre bien desarrollado permite procesos conjuntos de decisión humano-IA, en los que las negativas, las revisiones y la responsabilidad están integradas en el sistema.
¿Dónde podemos integrar la cuantificación de la incertidumbre en la toma de decisiones?
Nuestra investigación sobre toma de decisiones informada por la cuantificación de la incertidumbre abarcó las finanzas, los sistemas críticos de seguridad, la movilidad autónoma, la investigación farmacéutica, la integridad de la información y otros contextos aplicados.
La gran diversidad de estos ámbitos revela un reto común: determinar cómo la evidencia incompleta, las condiciones operativas cambiantes o las consecuencias asimétricas condicionan las decisiones. La cuantificación de la incertidumbre resulta esencial para abordar estas complejidades y garantizar una toma de decisiones responsable.
Desinformación, detección de noticias falsas, resiliencia democrática.
07
Derechos creativos
Autoría, atribución, derechos de autor, trabajo cultural.
Capítulo 3: Causalidad + explicabilidad
En busca de explicaciones
¿Qué causó la predicción? ¿Qué cambiaría con una intervención diferente?
La incertidumbre nos indica cuándo la confianza es limitada, pero por sí sola no explica qué produjo un resultado ni qué cambiaría con una intervención diferente. Para hacer un sistema más confiable, es necesario examinar conjuntamente sus límites, razones y alternativas.
El razonamiento causal, los contrafactuales y la explicabilidad proporcionan esta capa de razones y alternativas que puede inspeccionarse, cuestionarse y utilizarse en la toma de decisiones. En este punto, el alcance de nuestra investigación se amplió de la IA segura a la IA confiable.
Combinar conocimientos técnicos y jurídicos para la gobernanza de la IA
Un sistema de IA puede funcionar de forma fiable y aun así no ser adecuado para un despliegue concreto si debe abordar deberes jurídicos como la gestión de riesgos, la gobernanza de datos, la documentación y las normas, las evaluaciones de derechos fundamentales, la supervisión o la rendición de cuentas.
TRAILAB incorpora estos requisitos al proceso de investigación y, cuando es posible, los traduce en requisitos y evidencia verificables. El resultado es un marco de gobernanza que respalda y complementa el desarrollo de sistemas.
La Comisión presenta la Ley de IA como un marco jurídico basado en el riesgo y de aplicación escalonada: prácticas prohibidas y alfabetización en IA desde febrero de 2025, gobernanza de la IA de propósito general desde agosto de 2025 y obligaciones de alto riesgo ahora secuenciadas hacia diciembre de 2027 y agosto de 2028 dentro del paquete de simplificación.
La Comisión describe cómo las normas armonizadas traducen los requisitos de la Ley de IA a lenguaje técnico para la gestión de riesgos, la gobernanza de datos, el registro, la transparencia, la supervisión humana, la precisión, la robustez, la ciberseguridad, la gestión de la calidad y la evaluación de la conformidad.
CEN-CENELEC JTC 21 desarrolla normas europeas de IA, incluidas normas armonizadas de apoyo a la Ley de IA de la UE y trabajos relacionados sobre confiabilidad, gestión de riesgos, gestión de la calidad y evaluación de la conformidad.
ISO/IEC 42001 especifica requisitos para establecer, implementar, mantener y mejorar continuamente un sistema de gestión de IA para organizaciones que proporcionan o usan sistemas de IA.
ISO/IEC 23894 proporciona orientación para gestionar riesgos específicos de la IA e integrar la gestión del riesgo de IA en las actividades y funciones organizativas.
Deberes basados en el riesgo, alfabetización en IA, gobernanza de GPAI y obligaciones para sistemas de alto riesgo.
02
CEN-CENELEC
Normas armonizadas que traducen requisitos jurídicos en evidencia técnica.
03
ISO/IEC
Sistemas de gestión de IA y gestión de riesgos de IA: ISO/IEC 42001 e ISO/IEC 23894.
04
Normas sectoriales
Garantía en las industrias de automoción, aviación, automatización, médica y de sistemas críticos.
Capítulo 5: Ética + filosofía + legitimidad social
La fiabilidad necesita un propósito
¿Cómo pueden las capacidades técnicas reforzar un juicio responsable?
Un sistema que cumple los requisitos técnicos y jurídicos aún necesita escrutinio por la forma en que configura la autonomía, la responsabilidad, la autoría o el propósito institucional. La ética y la filosofía sirven para determinar qué debe seguir siendo humano, dónde recae la responsabilidad, qué compensaciones importan y qué formas de progreso merece la pena perseguir.
Responsabilidad, responsabilidad jurídica y equidad.
03
Fundamentos sociales
Dignidad, cuidado, vulnerabilidad y justicia epistémica.
04
Juicio responsable
Propósito e interés público.
Capítulo 6: Ciencia + cultura + sociedad
La IA transforma las condiciones del pensamiento
¿Qué ocurre cuando la IA se convierte en infraestructura para el juicio?
La IA se integra cada vez más en los flujos de trabajo de razonar, crear e investigar. Esta interacción está configurando cómo las personas plantean preguntas, examinan alternativas y asumen compromisos. Aunque la IA puede ofrecer soluciones prefabricadas en ámbitos diversos, existe el riesgo de que se eludan la comprensión, el pensamiento crítico, la autoría o la responsabilidad durante el proceso.
IA reflexiva pregunta cómo la IA transforma las capacidades humanas de las que depende un buen juicio. TRAILAB propone RAIO, el Orquestador de IA Reflexiva, como una arquitectura de investigación que coordina aclaraciones, supuestos, incertidumbre, alternativas y compensaciones durante una interacción humano-IA. La IA reflexiva se convierte en un objetivo de investigación para fortalecer el juicio, el pensamiento crítico, la creatividad, la responsabilidad y el compromiso humano explícito.
La conferencia magistral de Narayanan en la ICML 2026 presenta la IA como un factor que cambia en qué trabajan las personas, y motiva herramientas y roles que convierten soluciones generadas por IA en comprensión humana y acción responsable.
Narayanan y Kapoor sostienen que la IA debe tratarse como una potente tecnología de propósito general cuya adopción, despliegue y control humano importan tanto como la capacidad del modelo.
Messeri y Crockett advierten de que las herramientas de IA pueden acelerar la producción científica y crear al mismo tiempo ilusiones de comprensión y monoculturas científicas si se eluden la explicación, la validación y la crítica.
01 / comprensiónAclare los supuestos antes de actuar
02 / agenciaHaga visible la incertidumbre sin renunciar al control
03 / creatividadExplore alternativas antes de cerrar
04 / responsabilidadRevise los valores y las compensaciones antes de comprometerse
Juicio humano
Capítulo 7: Una institución multidisciplinar independiente
Este recorrido científico necesitaba una institución
¿Por qué crear TRAILAB?
Los problemas que abordamos han superado los límites de cualquier disciplina individual, pero los conocimientos pertinentes seguían distribuidos entre universidades, centros de investigación, industria, instituciones públicas y sociedad civil.
Fundamos TRAILAB en 2026 como una entidad independiente y sin ánimo de lucro donde todas esas capacidades pueden combinarse en torno a preguntas de investigación compartidas sin sustituir las afiliaciones principales de las personas e instituciones implicadas. Consolida, amplía y transfiere la trayectoria investigadora que lo sustenta, construyendo métodos, evidencia, pilotos y capacidad institucional para una IA confiable y reflexiva.
