1장: 수학 + 컴퓨터 과학
AI에게 의심을 가르치기
AI 시스템은 언제 알지 못하는지 알 수 있습니까?
근본적인 문제는 불확실성이었습니다. 사례가 조작 영역을 벗어나거나, 모델이 대표적인 증거로부터 충분히 학습하지 않았거나, 좋은 증거가 있어도 세상이 실제로 가변적으로 남아 있기 때문에 모델이 틀릴 수 있습니다.
우리의 과학적 기여는 이러한 불확실성의 원인을 활용하여 의사 결정을 알리는 것이었습니다. 불확실성을 이해하는 것은 더 나은 증거 수집, 운영 영역 재설계 또는 책임 있는 인간 판단으로 확대 등 다음에 무슨 일이 일어날지 결정하는 데 유용해졌습니다.
잘 개발된 불확실성 프레임워크는 거부, 검토 및 책임이 시스템에 내장되어 있는 인간-AI 공동 의사 결정 프로세스를 허용합니다.
연구 앵커 9
2018 · Uncertainty Modelling in Deep Networks: Forecasting Short and Noisy Series
불확실성 정량화 · 승인된 논문
Brando, A., Rodríguez-Serrano, J. A., Ciprian, M., Maestre, R., Vitrià, J.
2019 · Modelling Heterogeneous Distributions with an Uncountable Mixture of Asymmetric Laplacians
불확실성 정량화 · 승인된 논문
브란도, A., 로드리게스-세라노, J. A., 비트리아, J., 루비오, A.
2019 · Uncertainty Estimation for Black-Box Classification Models: A Use Case for Sentiment Analysis
불확실성 정량화 · 승인된 논문
메나, J., 브란도, A., 푸졸, O., 비트리아, J.
2020 · Building Uncertainty Models on Top of Black-Box Predictive APIs
불확실성 정량화 · 승인된 논문
브란도, A., 토레스, D., 로드리게스-세라노, J. A., 비트리아, J.
2023 · Main Sources of Variability and Non-Determinism in AD Software: Taxonomy and Prospects to Handle Them
규제 AI · 승인 논문
Alcon, M., Brando, A., Mezzetti, E., Abella, J., Cazorla, F. J.
2023 · Standardizing the Probabilistic Sources of Uncertainty for the Sake of Safety Deep Learning
불확실성 정량화, 규제 AI · 게재 논문
Brando, A., Serra, I., Mezzetti, E., Cazorla, F. J., Abella, J.
2024 · Safety-Relevant AI-Based System Robustification with Neural Network Ensembles
규제 AI · 승인 논문
알도마, A., 브란도, A., 카졸라, F.J., 아벨라, J.
2025 · Managing Sources of Uncertainty in Utilizing AI in Development and Deployment of Safety-Critical Autonomous Systems
불확실성 정량화, 규제 AI · 게재 논문
Lowe, R., Ulan, M., Bui, T. H., Adell, A., Labaien, J., Brando, A.
2026 · Position: Predictive Uncertainty Is Not Enough — Joint Distribution for Full Uncertainty Representation
불확실성 정량화, 규제 AI · 수용
알도마, A., 구르빈도 곤잘레스, U., 브란도, A.
불확실성 정량화에 대한 연구 살펴보기
불확실성 원인 및 모델 반응
도메인 불확실성
이상 징후 감지/기권
케이스는 모델을 신뢰할 수 있는 배포 또는 작동 조건 외부에 있을 수 있습니다.
인식론적 불확실성
모델 학습 및 비교
모델에는 대표 지식이 부족합니다. 더 나은 증거, 데이터 또는 모델이 이를 줄일 수 있습니다.
우발적 불확실성
인간에게 시나리오 보여주기
관찰이 부분적이거나 잡음이 많거나 본질적으로 가변적이기 때문에 여러 가지 결과는 그럴듯하게 남아 있습니다.
2장: 엔지니어링 + 공공 프로젝트 + 중요 시스템
공유된 근본적인 문제
불확실성 정량화를 의사결정에 어디에서 통합할 수 있습니까?
불확실성 정량화를 기반으로 한 의사 결정에 대한 우리의 연구는 금융, 안전 필수 시스템, 자율 이동성, 제약 연구, 정보 무결성 및 기타 응용 맥락 전반에 걸쳐 진행되었습니다.
이러한 영역의 광범위한 다양성은 불완전한 증거, 변화하는 운영 조건 또는 비대칭 결과가 의사 결정을 어떻게 형성하는지 결정하는 데 있어 공통적인 과제를 드러냅니다. 불확실성 정량화는 이러한 복잡성을 탐색하고 책임 있는 의사 결정을 보장하는 데 필수적입니다.
연구 앵커 6
2023 · Main Sources of Variability and Non-Determinism in AD Software: Taxonomy and Prospects to Handle Them
규제 AI · 승인 논문
Alcon, M., Brando, A., Mezzetti, E., Abella, J., Cazorla, F. J.
2024 · A Novel Application of SCMs to Time Series Counterfactual Estimation in the Pharmaceutical Industry
인과관계 · 워크숍 논문
Garriga, T., Sanz, G., de Cambra, E. S., Brando, A.
2025 · Solving the Contextual Pure Cold-Start Problem under Uncertainty
불확실성 정량화 · 승인됨
고메즈 듀란, P., 브란도, A., 비트리아, J.
2025 · Managing Sources of Uncertainty in Utilizing AI in Development and Deployment of Safety-Critical Autonomous Systems
불확실성 정량화, 규제 AI · 게재 논문
Lowe, R., Ulan, M., Bui, T. H., Adell, A., Labaien, J., Brando, A.
2025 · Position Paper: If Innovation in AI Systematically Violates Fundamental Rights, Is It Innovation at All?
규제 AI · 승인 논문
Eguíluz Castañeira, J. A., Brando, A., Laukyte, M., Serra-Vidal, M.
2026 · AI Sandboxes Must Be SME-Oriented Compliance Accelerators
규제 AI · 검토 중
Rodrigo-Albert, D., Eguíluz, J. A., Hidalgo, J., Vargas, V., Mir, M., Brando, A.
TRAILAB이 전체 이해관계자 생태계와 어떻게 상호작용하는지 알아보세요.
중요한 의사결정
01
금융 및 은행
위험 모델, 불확실성을 인식한 결정.
02
중요한 이동성
자율주행, ADAS, 항공.
03
산업 자동화
실시간 시스템, 프로세서, 높은 무결성 AI.
04
건강 및 제약
임상, 생명 과학 및 치료 반사실적.
05
공공 부문
기관 채택, 조달, 교육.
06
정보 무결성
허위 정보, 가짜 뉴스 탐지, 민주적 탄력성.
07
창작권
저작권, 귀속, 저작권, 문화 저작물.
3장: 인과관계 + 설명 가능성
설명을 찾는 중
예측의 원인은 무엇입니까? 다른 개입으로 인해 무엇이 바뀔까요?
불확실성은 자신감이 제한되는 시기를 알려줍니다. 그러나 결과를 낳은 것이 무엇인지, 다른 개입으로 인해 무엇이 변할지 단독으로 설명하지는 않습니다. 시스템을 더욱 신뢰할 수 있게 만들려면 한계, 이유 및 대안을 함께 검토해야 합니다.
인과 추론, 반사실 및 설명 가능성은 의사 결정에서 검사하고, 이의를 제기하고, 사용할 수 있는 이유와 대안의 계층을 제공합니다. 이때 우리의 연구 범위는 안전한 AI에서 신뢰할 수 있는 AI로 확대되었습니다.
연구 앵커 8
2019 · Explaining Visual Models by Causal Attribution
설명 가능성, 인과성 · 채택 논문
파라피타, Á., 비트리아, J.
2021 · Deep Causal Graphs for Causal Inference, Black-Box Explainability and Fairness
인과관계, 설명가능성 · 게재된 논문
파라피타, Á., 비트리아, J.
2022 · Estimand-Agnostic Causal Query Estimation with Deep Causal Graphs
인과관계 · 게재 논문
파라피타, Á., 비트리아, J.
2024 · A Novel Application of SCMs to Time Series Counterfactual Estimation in the Pharmaceutical Industry
인과관계 · 워크숍 논문
Garriga, T., Sanz, G., de Cambra, E. S., Brando, A.
2025 · Practical do-Shapley Explanations with Estimand-Agnostic Causal Inference
설명 가능성, 인과성 · 채택 논문
Parafita, Á., Garriga, T., Brando, A., Cazorla, F. J.
2025 · CID: Measuring Feature Importance Through Counterfactual Distributions
설명 가능성, 인과성 · 채택 논문
콘티, E., 파라피타, Á., 브란도, A.
2026 · Exactly Computing do-Shapley Values
설명가능성, 인과관계 · 수용됨
Witter, R. T., Parafita, Á., Garriga, T., Muschalik, M., Fumagalli, F., Brando, A., Rosenblatt, L.
2026 · CEPAE: Conditional Entropy-Penalized Autoencoders for Time Series Counterfactuals
인과관계 · 인정됨
Garriga, T., Sanz, G., de Cambra, E. S., Brando, A.
설명 가능성과 인과성에 대한 연구를 살펴보세요.
인과관계
할(x)
왜?
만약에?
01
인과관계
어떤 결과가 나왔나요?
02
반사실적
다른 조건에서는 무엇이 바뀌나요?
03
설명 가능성
인간이 무엇을 검사하고 경쟁할 수 있습니까?
04
충실함
설명이 모델과 결정을 반영합니까?
4장: 법률 + 규정 + 표준
기술적 신뢰만으로는 충분하지 않은 경우
AI 거버넌스를 위한 기술 및 법률 전문 지식 결합
AI 시스템은 위험 관리, 데이터 거버넌스, 문서화 및 표준, 기본권 평가, 감독 또는 책임과 같은 법적 의무를 처리해야 하는 경우 안정적으로 수행되지만 여전히 특정 배포에 적합하지 않을 수 있습니다.
TRAILAB은 이러한 요구 사항을 연구 프로세스에 적용하여 가능한 경우 테스트 가능한 요구 사항 및 증거로 변환합니다. 그 결과 시스템 개발을 지원하고 보완하는 거버넌스 프레임워크가 탄생했습니다.
연구 앵커 11
2023 · SAFEXPLAIN: Safe and Explainable Critical Embedded Systems Based on AI
설명 가능성, 규제 AI · 승인 논문
Abella Ferrer, J., Pérez, J., Englund, C., Zonooz, B., Giordana, G., 외. (브란도, A. 포함)
2023 · Main Sources of Variability and Non-Determinism in AD Software: Taxonomy and Prospects to Handle Them
규제 AI · 승인 논문
Alcon, M., Brando, A., Mezzetti, E., Abella, J., Cazorla, F. J.
2024 · Safety-Relevant AI-Based System Robustification with Neural Network Ensembles
규제 AI · 승인 논문
알도마, A., 브란도, A., 카졸라, F.J., 아벨라, J.
2025 · Position Paper: If Innovation in AI Systematically Violates Fundamental Rights, Is It Innovation at All?
규제 AI · 승인 논문
Eguíluz Castañeira, J. A., Brando, A., Laukyte, M., Serra-Vidal, M.
2026 · Position: AI Usage Policies Should Be Aligned with International Human Rights Law
규제 AI · 승인됨
칼베-바데문트, J.
2026 · AI Sandboxes Must Be SME-Oriented Compliance Accelerators
규제 AI · 검토 중
Rodrigo-Albert, D., Eguíluz, J. A., Hidalgo, J., Vargas, V., Mir, M., Brando, A.
2026 · EU AI Act implementation timeline
규제 출처 · 유럽연합 집행위원회 FAQ
위원회는 AI법을 단계적 적용을 통해 위험 기반 법적 프레임워크로 구성합니다. 즉, 2025년 2월부터 금지된 관행 및 AI 활용 능력, 2025년 8월부터 GPAI 거버넌스, 단순화 패키지에 따라 2027년 12월과 2028년 8월로 순차적으로 진행되는 고위험 의무입니다.
2026 · Standardisation of the AI Act
규제 출처 · 유럽연합 집행위원회 정책 페이지
위원회는 조화된 표준이 AI법 요구 사항을 위험 관리, 데이터 거버넌스, 로깅, 투명성, 인간 감독, 정확성, 견고성, 사이버 보안, 품질 관리 및 적합성 평가를 위한 기술 언어로 변환하는 방법을 설명합니다.
2026 · CEN-CENELEC JTC 21 Artificial Intelligence
표준 소스 · CEN-CENELEC 주제 페이지
CEN-CENELEC JTC 21은 EU AI법과 신뢰성, 위험 관리, 품질 관리 및 적합성 평가에 대한 관련 작업을 지원하는 조화 표준을 포함한 유럽 AI 표준을 개발합니다.
2023 · ISO/IEC 42001 Artificial intelligence management system
표준 소스 · ISO 표준 페이지
ISO/IEC 42001은 AI 시스템을 제공하거나 사용하는 조직을 위한 AI 관리 시스템을 구축, 구현, 유지 및 지속적으로 개선하기 위한 요구 사항을 명시합니다.
2023 · ISO/IEC 23894 Artificial intelligence risk management
표준 소스 · ISO 표준 페이지
ISO/IEC 23894는 AI 관련 위험을 관리하고 AI 위험 관리를 조직 활동 및 기능에 통합하는 방법에 대한 지침을 제공합니다.
AI 거버넌스 및 AI 규제에 대한 연구를 살펴보세요.
01
AI법
위험 기반 의무, AI 활용 능력, GPAI 거버넌스 및 고위험 시스템 의무.
02
CEN-CENELEC
법적 요구 사항을 기술적 증거로 변환하는 조화된 표준입니다.
03
ISO/IEC
AI 관리 시스템 및 AI 위험 관리: ISO/IEC 42001 및 ISO/IEC 23894.
04
부문 표준
자동차, 항공, 자동화, 의료 및 중요 시스템 산업에 대한 보증입니다.
제5장 윤리 + 철학 + 사회적 정당성
신뢰성에는 목적이 필요합니다
기술적 능력이 어떻게 책임감 있는 판단을 강화할 수 있습니까?
기술 및 법적 요구 사항을 충족하는 시스템은 자율성, 책임, 저자 또는 제도적 목적을 형성하는 방식에 대해 여전히 면밀한 조사가 필요합니다. 윤리와 철학은 무엇이 인간에게 남아야 하는지, 책임이 어디에 있는지, 어떤 균형이 중요한지, 어떤 형태의 진보가 추구할 가치가 있는지를 결정하기 위해 들어갑니다.
연구 앵커 3
2025 · Position Paper: If Innovation in AI Systematically Violates Fundamental Rights, Is It Innovation at All?
규제 AI · 승인 논문
Eguíluz Castañeira, J. A., Brando, A., Laukyte, M., Serra-Vidal, M.
2026 · Position: AI Usage Policies Should Be Aligned with International Human Rights Law
규제 AI · 승인됨
칼베-바데문트, J.
2026 · Reflective AI Must Empower Human Agency for a Digital Renaissance
윤리적 AI · 검토 중
브란도, A., 그 외 여러분.
윤리적 AI에 대한 연구 살펴보기
규정 준수에서 적법성까지
능력
작동할 수 있나요?
규정 준수
그것이 정당화될 수 있는가?
정당성
추구할 가치가 있나요?
01
인간의 주체성
자율성, 저작권 및 통제.
02
책임
책임, 의무 및 공정성.
03
사회적 근거
존엄성, 배려, 취약성 및 인식론적 정의.
04
책임있는 판단
목적과 공익.
6장: 과학 + 문화 + 사회
AI는 사고 조건을 재구성합니다
AI가 판단 인프라가 되면 어떻게 될까요?
AI는 추론, 생성, 조사 작업 흐름에 점점 더 많이 포함되고 있습니다. 이러한 상호작용은 사람들이 질문을 구성하고, 대안을 검토하고, 약속을 하는 방식을 형성합니다. AI는 다양한 영역에서 기성 솔루션을 제공할 수 있지만 그 과정에서 이해, 비판적 사고, 저자 또는 책임이 우회될 위험이 있습니다.
성찰적 AI AI가 올바른 판단에 달려 있는 인간의 능력을 어떻게 변화시키는지 묻습니다. TRAILAB이 제안하는 RAIO , 성찰적 AI 오케스트레이터는 인간-AI 상호 작용 중에 설명, 가정, 불확실성, 대안 및 절충을 조정하는 연구 아키텍처입니다. 성찰적 AI는 판단력, 비판적 사고, 창의성, 책임감 및 명시적인 인간 의지를 강화하기 위한 연구 목표가 됩니다.
연구 앵커 6
2026 · Reflective AI Must Empower Human Agency for a Digital Renaissance
윤리적 AI · 검토 중
브란도, A., 그 외 여러분.
2026 · What will be left for us to work on?
외부 과학적 맥락 · ICML 초청 기조연설
Narayanan의 ICML 2026 기조연설에서는 AI를 인간이 작업하는 작업을 변화시키고, AI 생성 솔루션을 인간의 이해와 책임 있는 행동으로 바꾸는 도구와 역할에 동기를 부여하는 것으로 구성합니다.
2026 · AI as Normal Technology
외부 전략적 맥락 · 공개 에세이
Narayanan과 Kapoor는 AI를 채택, 배포 및 인간 제어가 모델 기능만큼 중요한 강력한 범용 기술로 간주한다고 주장합니다.
2024 · Artificial intelligence and illusions of understanding in scientific research
외부 과학적 맥락 · Nature 기사
Messeri와 Crockett은 AI 도구가 설명, 검증 및 비평을 우회할 경우 이해의 환상과 과학적 단일문화를 조성하면서 과학적 생산을 가속화할 수 있다고 경고합니다.
2025 · Practical do-Shapley Explanations with Estimand-Agnostic Causal Inference
설명 가능성, 인과성 · 채택 논문
Parafita, Á., Garriga, T., Brando, A., Cazorla, F. J.
2026 · Exactly Computing do-Shapley Values
설명가능성, 인과관계 · 수용됨
Witter, R. T., Parafita, Á., Garriga, T., Muschalik, M., Fumagalli, F., Brando, A., Rosenblatt, L.
성찰적 AI와 RAIO에 대해 자세히 알아보세요.
성찰적 AI
어떻게 해야 하나요?
01 / 이해 행동하기 전에 가정을 명확히 하세요.
02 / 주체성 통제권을 포기하지 않은 표면 불확실성
03 / 창의성 폐쇄 전 대안 탐색
04 / 책임 약속하기 전에 가치와 장단점을 검토하세요.
인간의 판단
7장: 독립적인 종합 기관
이 과학적 여정에는 기관이 필요했습니다.
TRAILAB을 만드는 이유는 무엇입니까?
우리가 다루는 문제는 단일 분야를 능가하지만 관련 전문 지식은 대학, 연구 센터, 산업, 공공 기관 및 시민 사회 전반에 걸쳐 분산되어 있습니다.
우리는 2026년에 관련된 사람과 기관의 기본 소속을 대체하지 않고도 공유 연구 질문을 중심으로 모든 기능을 결합할 수 있는 독립적인 비영리 단체로 TRAILAB을 설립했습니다. 신뢰할 수 있고 성찰적인 AI를 위한 방법, 증거, 파일럿 및 제도적 역량을 구축하는 등 연구 궤적을 통합, 확장 및 이전합니다.
연구 앵커 3
2026 · Reflective AI Must Empower Human Agency for a Digital Renaissance
윤리적 AI · 검토 중
브란도, A., 그 외 여러분.
2026 · AI Sandboxes Must Be SME-Oriented Compliance Accelerators
규제 AI · 검토 중
Rodrigo-Albert, D., Eguíluz, J. A., Hidalgo, J., Vargas, V., Mir, M., Brando, A.
2026 · Position: AI Usage Policies Should Be Aligned with International Human Rights Law
규제 AI · 승인됨
칼베-바데문트, J.
TRAILAB이 어떻게 구성되어 있는지 확인하세요
TRAILAB 연구 분야
설명 가능성
인과관계
불확실성
규제 AI
윤리적인 AI