Von Unsicherheit zu menschlicher Handlungsfähigkeit.
Kann ein KI-System wissen, wann es etwas nicht weiß? Diese erste Frage führte unser Team vor einem Jahrzehnt dazu, Unsicherheitsquantifizierung, Erklärbarkeit, Kausalität, Recht und Ethik im Hinblick auf ein größeres Ziel zu erforschen: KI, die die Menschen stärkt, die sie verstehen, steuern und Verantwortung für sie übernehmen müssen.
Wie sich die Forschungsfrage erweitert hat
Kapitel 1: Mathematik + Informatik
KI das Zweifeln lehren
Kann ein KI-System wissen, wann es etwas nicht weiß?
Das grundlegende Problem war Unsicherheit: Ein Modell kann falsch liegen, weil ein Fall außerhalb seines Einsatzbereichs liegt, weil das Modell nicht genug aus repräsentativer Evidenz gelernt hat oder weil die Welt selbst bei guter Evidenz tatsächlich variabel bleibt.
Unser wissenschaftlicher Beitrag bestand darin, diese Unsicherheitsquellen für Entscheidungen nutzbar zu machen. Das Verständnis von Unsicherheit wurde hilfreich, um den nächsten Schritt zu bestimmen: bessere Evidenz sammeln, den Einsatzbereich neu gestalten oder an verantwortliches menschliches Urteilen eskalieren.
Ein gut entwickelter Unsicherheitsrahmen ermöglicht gemeinsame Entscheidungsprozesse von Mensch und KI, in denen Ablehnungen, Überprüfungen und Verantwortung im System verankert sind.
Wo können wir Unsicherheitsquantifizierung in Entscheidungsprozesse integrieren?
Unsere Forschung zu Entscheidungen auf Basis von Unsicherheitsquantifizierung erstreckte sich auf Finanzen, sicherheitskoitische Systeme, autonome Mobilität, pharmazeutische Forschung, Informationsintegrität und weitere Anwendungskontexte.
Die große Vielfalt dieser Bereiche zeigt eine gemeinsame Herausforderung: zu bestimmen, wie unvollständige Evidenz, sich ändernde Betriebsbedingungen oder asymmetrische Folgen Entscheidungen prägen. Unsicherheitsquantifizierung ist entscheidend, um diese Komplexität zu bewältigen und verantwortungsvolle Entscheidungen zu gewährleisten.
Kontrafaktische Analysen zu Klinik, Lebenswissenschaften und Behandlung.
05
Öffentlicher Sektor
Institutionelle Einführung, Beschaffung, Bildung.
06
Informationsintegrität
Desinformation, Erkennung von Falschmeldungen, demokoatische Resilienz.
07
Kreative Rechte
Urheberschaft, Zuschreibung, Urheberrecht, kulturelle Arbeit.
Kapitel 3: Kausalität + Erklärbarkeit
Auf der Suche nach Erklärungen
Was hat die Vorhersage verursacht? Was würde sich bei einer anderen Intervention ändern?
Unsicherheit zeigt uns, wann Vertrauen begrenzt ist, erklärt aber nicht allein, was ein Ergebnis hervorgebracht hat oder was sich bei einer anderen Intervention ändern würde. Um ein System vertrauenswürdiger zu machen, müssen Grenzen, Gründe und Alternativen gemeinsam untersucht werden.
Kausales Denken, kontrafaktische Szenarien und Erklärbarkeit liefern diese Ebene von Gründen und Alternativen, die geprüft, hinterfragt und in Entscheidungen genutzt werden kann. An diesem Punkt erweiterte sich der Umfang unserer Forschung von sicherer zu vertrauenswürdiger KI.
Was würde sich unter einer anderen Bedingung ändern?
03
Erklärbarkeit
Was kann ein Mensch prüfen und anfechten?
04
Erklärungstreue
Spiegelt die Erklärung das Modell und die Entscheidung wider?
Kapitel 4: Recht + Regulierung + Standards
Wenn technisches Vertrauen nicht ausreicht
Technische und rechtliche Expertise für KI-Governance verbinden
Ein KI-System kann zuverlässig funktionieren und dennoch für einen bestimmten Einsatz ungeeignet sein, wenn rechtliche Pflichten wie Risikomanagement, Daten-Governance, Dokumentation & Standards, Grundrechtsprüfungen, Aufsicht oder Rechenschaftspflicht zu berücksichtigen sind.
TRAILAB bringt diese Anforderungen in den Forschungsprozess ein und übersetzt sie, wo möglich, in prüfbare Anforderungen und Evidenz. Das Ergebnis ist ein Governance-Rahmen, der die Systementwicklung unterstützt und ergänzt.
Die Kommission beschreibt das KI-Gesetz als risikobasierten Rechtsrahmen mit schrittweiser Anwendung: Verbotene Praktiken und KI-Kompetenz gelten seit Februar 2025, GPAI-Governance seit August 2025; Pflichten für Hochrisikosysteme sind im Rahmen des Vereinfachungspakets nun auf Dezember 2027 und August 2028 terminiert.
Die Kommission erläutert, wie harmonisierte Standards die Anforderungen des KI-Gesetzes in technische Sprache für Risikomanagement, Daten-Governance, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit, Cybersicherheit, Qualitätsmanagement und Konformitätsbewertung übersetzen.
CEN-CENELEC JTC 21 entwickelt europäische KI-Standards, darunter harmonisierte Standards zur Unterstützung des EU-KI-Gesetzes sowie Arbeiten zu Vertrauenswürdigkeit, Risikomanagement, Qualitätsmanagement und Konformitätsbewertung.
ISO/IEC 42001 legt Anforderungen für die Einrichtung, Umsetzung, Aufrechterhaltung und kontinuierliche Verbesserung eines KI-Managementsystems für Organisationen fest, die KI-Systeme bereitstellen oder nutzen.
ISO/IEC 23894 gibt Leitlinien für das Management KI-spezifischer Risiken und die Integration des KI-Risikomanagements in organisatorische Tätigkeiten und Funktionen.
Wie können technische Fähigkeiten verantwortungsvolles Urteilen stärken?
Ein System, das technische und rechtliche Anforderungen erfüllt, muss dennoch daraufhin geprüft werden, wie es Autonomie, Verantwortung, Urheberschaft oder institutionellen Zweck prägt. Ethik und Philosophie helfen zu bestimmen, was menschlich bleiben soll, wo Verantwortung liegt, welche Abwägungen zählen und welche Formen des Fortschritts erstrebenswert sind.
Fähigkeit
Kann es funktionieren?
Regelkonformität
Kann es gerechtfertigt werden?
Legitimität
Lohnt es sich, dies zu verfolgen?
01
Menschliche Handlungsfähigkeit
Autonomie, Urheberschaft und Kontrolle.
02
Rechenschaftspflicht
Verantwortung, Haftung und Fairness.
03
Soziale Grundlagen
Würde, Fürsorge, Verletzlichkeit und epistemische Gerechtigkeit.
04
Verantwortungsvolles Urteilen
Zweck und öffentliches Interesse.
Kapitel 6: Wissenschaft + Kultur + Gesellschaft
KI verändert die Bedingungen des Denkens
Was geschieht, wenn KI zur Infrastruktur des Urteilens wird?
KI ist zunehmend in Abläufe des Denkens, Gestaltens und Forschens eingebettet. Diese Interaktion prägt, wie Menschen Fragen formulieren, Alternativen prüfen und Verpflichtungen eingehen. KI kann zwar in unterschiedlichen Bereichen fertige Lösungen liefern, doch besteht das Risiko, dass Verständnis, koitisches Denken, Urheberschaft oder Verantwortung im Prozess umgangen werden.
Reflektierende KI fragt, wie KI die menschlichen Fähigkeiten verändert, von denen gutes Urteilen abhängt. TRAILAB schlägt RAIO, den Orchestrator für reflektierende KI, als Forschungsarchitektur vor, die während einer Mensch-KI-Interaktion Klärungen, Annahmen, Unsicherheit, Alternativen und Abwägungen koordiniert. Reflektierende KI wird zu einem Forschungsziel zur Stärkung von Urteilsvermögen, koitischem Denken, Kreativität, Verantwortung und ausdrücklicher menschlicher Verpflichtung.
Narayanans ICML-Keynote 2026 ordnet KI als Wandel dessen ein, woran Menschen arbeiten, und motiviert Werkzeuge und Rollen, die KI-generierte Lösungen in menschliches Verständnis und verantwortliches Handeln überführen.
Narayanan und Kapoor plädieren dafür, KI als leistungsfähige Allzwecktechnologie zu behandeln, bei der Einführung, Einsatz und menschliche Kontrolle ebenso wichtig sind wie die Leistungsfähigkeit des Modells.
Messeri und Crockett warnen, dass KI-Werkzeuge die wissenschaftliche Produktion beschleunigen können, zugleich aber Illusionen des Verstehens und wissenschaftliche Monokulturen erzeugen, wenn Erklärung, Validierung und Kritik umgangen werden.
02 / HandlungsfähigkeitUnsicherheit sichtbar machen, ohne Kontrolle abzugeben
03 / KreativitätAlternativen vor dem Abschluss erkunden
04 / VerantwortungWerte und Abwägungen vor einer Verpflichtung überprüfen
Menschliches Urteilsvermögen
Kapitel 7: Eine unabhängige multidisziplinäre Institution
Dieser wissenschaftliche Weg brauchte eine Institution
Warum TRAILAB gründen?
Die Probleme, mit denen wir uns befassen, sind über jede einzelne Disziplin hinausgewachsen, doch das relevante Fachwissen blieb über Universitäten, Forschungszentren, Wirtschaft, öffentliche Institutionen und Zivilgesellschaft verteilt.
Wir gründeten TRAILAB 2026 als unabhängige gemeinnützige Organisation, in der all diese Fähigkeiten um gemeinsame Forschungsfragen verbunden werden können, ohne die primären Zugehörigkeiten der beteiligten Personen und Institutionen zu ersetzen. Sie bündelt, erweitert und überträgt den dahinterstehenden Forschungsweg und baut Methoden, Evidenz, Pilotprojekte und institutionelle Kapazität für vertrauenswürdige und reflektierende KI auf.