Einführung des Begriffs der „als intelligent wahrgenommenen Systeme“ (Systems Perceived as Intelligent, SPAI), der Super Intelligence (SI) und Künstliche Intelligenz (KI) umfasst.
Unabhängige Risikobeurteilung von SPAI auf wissenschaftlicher Grundlage sowohl aus der Makroperspektive als auch mit Blick auf systemische sowie rechtliche Aspekte.
Qualitätssicherung auf der Grundlage guter Risikobeurteilungspraxis (Good Risk Assessment Practices, GRAP), stets ausgerichtet am Ziel menschenzentrierter Technologien.
Sicherheit von und vor als intelligent wahrgenommenen Systemen (SPAI)
Der technologische Fortschritt kann überwältigend sein. Die Sicherheit von Menschen ist dabei jedoch stets unverhandelbar. Gefahren und Risiken müssen daher, unabhängig von Bezeichnungen wie Super Intelligence (SI) oder Artificial Intelligence (AI), sachgerecht festgestellt, kommuniziert und schließlich beherrscht werden. Risk Assessment SI (RA:SI), als Reaktion auf die U.S. Executive Order 14434, hat das Ziel, auf internationaler, nationaler und nicht zuletzt organisationaler Ebene Handlungsfähigkeit und Resilienz sowie die Sicherheit von und vor als intelligent wahrgenommenen Systemen (SPAI) zu ermöglichen.
Einführung des Begriffs der „als intelligent wahrgenommenen Systeme (SPAI)“
Obwohl der Begriff der Künstlichen Intelligenz bereits seit dem Jahr 1955 (McCarthy et al., 1955) verwendet wird, fehlt eine allgemeingültige Definition. Einigkeit besteht lediglich hinsichtlich seiner Bezeichnung eines Teilgebiets der Informatik. Darüber hinaus werden technische Systeme als Künstliche Intelligenz (oder kurz KI) bezeichnet, die als intelligent wahrgenommen werden, weil sie Aufgaben automatisieren, die früher z.T. erhebliche menschliche Denkleistung erforderten.
Die Ungenauigkeit der Bezeichnung für ein technisches System, das lediglich als intelligent wahrgenommen wird, entspricht der bis heute bestehenden Ungenauigkeit des Begriffs der menschlichen Intelligenz, die Edwin G. Boring als das bezeichnete, was ein Test testet, bis weitere wissenschaftliche Erkenntnisse eine Konkretisierung erlauben (Boring, 1923). Ungeachtet des Fehlens solcher wissenschaftlicher Erkenntnisse kann der Begriff der Künstlichen Intelligenz nicht konkreter sein als derjenige der menschlichen Intelligenz.
Boring beschrieb die menschliche Intelligenz zudem als nur im Zusammenhang mit spezifischen Fähigkeiten beobachtbar (Boring, 1923). Da Künstliche Intelligenz seit dem Jahr 1955 (McCarthy et al., 1955) primär eine Simulation menschlichen Denkens zum Inhalt oder Ziel hat, ist jedes alternative Adjektiv anstelle von „künstlich“ gleichermaßen unzureichend, um maschinelle Performanz näher zu beschreiben. Ungeachtet einer Intelligenzwahrnehmung Entwickelnder wie Anwendender muss also die tatsächliche maschinelle Performanz objektiv beobachtet werden können.
Bezeichnungen wie Künstliche Intelligenz oder auch Super Intelligence (SI) meinen oft Systeme, die als (besonders) intelligent wahrgenommen werden. Dass Eigenschaften einer vermeintlich neuen Technologie zunächst aufgrund von zielgerichtet beeinflusster menschlicher Wahrnehmung zugewiesen werden, zeigte sich z.B. vor über 10 Jahren am Showroboter Sophia, der aufmerksamkeitswirksam ausgab: „Ok, I will destroy humans“. Die vermittelte Gefährlichkeit erwies sich als Illusion. Auch die wahrgenommene künstliche Intelligenz ließ sich nicht im Zusammenhang mit spezifischer Performanz beobachten (vgl. Boring, 1923), die über reine Show hinausgeht.
Daher erscheint der Begriff der „als intelligent wahrgenommenen Systeme“ bzw. Systems Perceived as Intelligent (SPAI) sachgerecht, weil er die Projektion von Intelligenz als Folge der Wahrnehmungsbeeinflussung wie z.B. durch Anthropomorphisierung verdeutlicht, welche eine objektive Beobachtbarkeit und damit die Validierung von zugeschriebenen Eigenschaften sowie Performanz durch eine unabhängige wissenschaftliche Prüfung erfordert.
Als intelligent wahrgenommene Systeme (SPAI) im internationalen Kontext
Als intelligent wahrgenommene Systeme (Systems Perceived as Intelligent, SPAI), auch bezeichnet als Super Intelligence (SI) oder Künstliche Intelligenz (KI), prägen mittlerweile den Alltag. Der sprachliche, regulatorische wie tatsächliche Umgang mit ihnen ist dabei höchst unterschiedlich.
Der u.a. von Finnland initiierte Call for Control of Frontier AI Models sowie der US White House Accord on Super Intelligence zeigen, dass trotz unterschiedlicher Ansichten doch ein internationaler Konsens besteht, dass SPAI sicher sein und mit ihnen verbundene Risiken frühzeitig unabhängig beurteilt werden müssen.
Um im Sinne des Friedens die Sicherheit von SPAI und den technologischen Fortschritt mit dem Ziel der Menschenzentriertheit zu gewährleisten, sind sachgerechte Information und Wissen essenziell für (sicherheits-)politische Akteure, Führungskräfte in Industrie und KRITIS sowie sonstige Entscheidungstragende, die über den Einsatz als intelligent wahrgenommener Systeme bestimmen.
Unabhängige, wissenschaftliche Expertise und systematische, einzelfallbezogene Risikobeurteilungen ermöglichen eine sachgerechte Governance und Resilienz im Rahmen jeder Rechtsordnung.
Beispiele für als intelligent wahrgenommene Systeme (SPAI)
KI-Systeme können
1. legaldefiniert sein, wie z.B. in der KI-Verordnung der EU;
2. als umgangsprachlicher Ausdruck für etwas anderes als das legaldefinierte KI-System stehen;
3. auf als intelligent wahrgenommenen Modellen, wie z.B. Frontier-Modellen, basieren;
4. aufgrund unzureichender Bezeichnung ihre tatsächliche Gefährlichkeit unerkannt lassen.
1. KI- und andere technische Systeme meinen, die bereits reguliert sind;
2. ein Oberbegriff sein, der eine andere als eine technische Bedeutung hat;
3. auf als intelligent wahrgenommenen Modellen, wie z.B. Frontier-Modellen, basieren;
4. aufgrund unzureichender Bezeichnung ihre tatsächliche Gefährlichkeit unerkannt lassen.
Agenten können
1. sich aus diversen technischen Komponenten zusammensetzen, u.a. Modellen und Computerprogrammen;
2. ein Oberbegriff sein, der eine andere als eine technische Bedeutung hat;
3. reguliert sein, z.B. aufgrund ihrer verschiedenen Komponenten;
4. aufgrund unzureichender Bezeichnung ihre tatsächliche Gefährlichkeit unerkannt lassen.
Modelle, einschließlich Frontier-Modelle, können
1. legaldefiniert sein, wie z.B. in der KI-Verordnung der EU;
2. ein Oberbegriff sein, der eine andere als eine technische Bedeutung hat;
3. mit KI-Systemen, SI und gar Agenten verwechselt werden;
4. aufgrund unzureichender Bezeichnung ihre tatsächliche Gefährlichkeit unerkannt lassen.
Alle diese Begriffe sind erkennbar vage oder sollen zahlreiche Fälle umfassende Oberbegriffe darstellen. Jedwede Untersuchung verlangt daher sorgsame Definitionsarbeit.
SPAI Risk Assessments (SPAIRA)
Risikobeurteilungen werden hier in Anlehnung an ISO 31000:2018 durchgehend als Risk Assessments bezeichnet. Ein Risk Assessment mit Bezug auf als intelligent wahrgenommene Systeme (Systems Perceived as Intelligent Risk Assessment, SPAIRA) muss so durchgeführt und kommuniziert werden, dass Verantwortliche informierte, risikobasierte Entscheidungen treffen können. Folgende SPAIRA kommen in Betracht:
Macro Risk Assessment
Das Macro Risk Assessment betrifft typisierte Gefahren und Risiken aus Makroperspektive.
System Risk Assessment
Das System Risk Assessment betrifft SPAI- sowie systemische Gefahren und Risiken.
Legal Risk Assessment
Das Legal Risk Assessment befasst sich mit allen relevanten rechtlichen Gesichtspunkten.
Risiken können durch Gefahren bedingt sein, die in den 2025 Hazard Information Profiles (HIPs) des United Nations Office for Disaster Risk Reduction (UNDRR, 2025) beschrieben sind. Die HIPs umfassen 281 typisierte Gefahren, die weltweit v.a. Macro Risk Assessments durch staatliche Stellen sowie Forschende erleichtern. SPAI können hier als sog. technologische Gefahr verstanden werden, aber unabhängig davon auch mit anderen, nicht-technologischen Gefahren zeitgleich oder zeitversetzt auftreten und zusammenwirken.
Mit Blick auf das System Risk Assessment treten weitere Gefahren hinzu, die in Betracht gezogen werden müssen. So kann z.B. ein GRC-Tool, das als intelligent wahrgenommen und daher im Rahmen sog. Automation Bias beurteilt wird, selbst eine sog. sozio-technologische Gefahr darstellen. Solche Gefahren sind aufgrund ihres Individuumsbezugs nicht Gegenstand eines Macro Risk Assessments, weshalb die Informationen des UNDRR nicht abschließend sind.
Eine sachgerechte Risikobeurteilung bietet eine wissenschaftlich fundierte Grundlage für die Gefahrenabwehr und Schadensvermeidung bzw. -begrenzung. Kausalitäten und Korrelationen sowie Schadensfragen werden unter Beachtung von Limitierungen aufgezeigt. Das Legal Risk Assessment hilft nicht zuletzt, frühzeitig Rahmenbedingungen und potenzielle rechtliche Konsequenzen zu identifizieren.
Good Risk Assessment Practices (GRAP)
Um im Rahmen von Risk Assessments von als intelligent wahrgenommenen Systemen (Systems Perceived as Intelligent Risk Assessments, SPAIRA) die wissenschaftliche Sorgfalt zu wahren und somit die für die objektive Beobachtbarkeit erforderliche Objektivität zu gewährleisten, müssen Verantwortliche die Einhaltung von Standards sicherstellen, wie beispielsweise die der nachfolgend vorgeschlagenen Good Risk Assessment Practices (GRAP, in der jeweils gültigen Fassung). Diese führen das Singapore Statement on Research Integrity, den ALLEA European Code of Conduct for Research Integrity und das U.S. NASEM Framework (Fostering Integrity in Research) sowie daraus abgeleitete nationale Konsense mit etablierten internationalen Risk-Assessment-Praktiken zusammen und sind speziell angepasst an die Herausforderungen von und mit SPAI. Eine international abgestimmte Version von GRAP ist wünschenswert und wird hiermit angeregt.
1. Ehrlichkeit und Objektivität
Risk Assessments müssen ehrlich und objektiv sein. Realweltliche Grenzen wie die der Naturgesetze, der Biologie und nicht zuletzt der Technik sind zu respektieren, dürfen nicht pauschal geleugnet werden und dürfen nicht subjektivem, unbelegtem Dafürhalten oder SPAI-generierten Inhalten untergeordnet werden.
2. Quellenintegrität und Transparenz
Beurteilende müssen verwendete Mittel wie Software und Quellenmaterial, z.B. Literatur, Gutachten und veröffentlichte sowie unveröffentlichte Forschungsleistungen Dritter, unverändert offenlegen. Methodiken und Methoden müssen vollständig offengelegt werden. Widersprüchliche Daten dürfen nicht absichtlich weggelassen, teilweise oder ungenau aufgeführt bzw. falsch dargestellt werden.
3. Unabhängigkeit, Unparteilichkeit und Freiheit von Einflussnahme
Jegliche Interessenkonflikte, wie finanzielle, geschäftliche, politische oder persönliche Bindungen, die das Ergebnis beeinträchtigen könnten, müssen vor der Einreichung eines Angebots, der Annahme eines Auftrags oder spätestens dem Beginn des Risk Assessments proaktiv offengelegt werden. Ein Rollenkonflikt, etwa die Durchführung eines Risk Assessments bei Verantwortlichkeit für die spätere, darauf gründende Risikobewältigung, ist entsprechend offenzulegen. Die beabsichtigte Nutzung von Systemen wie SPAI muss im Voraus offengelegt werden, um unkontrolliertem Abfluss geschützter Informationen sowie fremder Manipulation und Einflussnahme vorbeugen zu können, selbst wenn ein solcher Einfluss für Beurteilende während des Prozesses unbemerkt bliebe.
4. Datenzuverlässigkeit und methodische Sorgfalt
Daten, die zur Beurteilung von Risiken erhoben, erzeugt und verwendet werden, müssen valide und repräsentativ sein. Von SPAI generierte Falschinformationen müssen ausgeschlossen werden. Verzerrungen (Biases) bei befragten Personen oder innerhalb von Datensätzen und Systemen wie SPAI (ob bekannt, verborgen oder vermutet) müssen in Übereinstimmung mit den Grundsätzen 1 bis 3 adressiert werden.
5. Rücksicht auf Gesellschaft und Mensch
Beurteilende müssen mögliche gesellschaftliche sowie körperliche, psychische und nicht zuletzt soziale Auswirkungen auf betroffene Personen und Gruppen berücksichtigen. Sie müssen insbesondere Rücksicht auf solche nehmen, die vulnerabel sind, wie etwa Kranke, Kinder und Ältere. Anthropomorphisierung ist zu vermeiden, um Verzerrungen zu verhindern, die z.B. das Verständnis von und damit die Antworten auf Fragen im Rahmen des Risk Assessments sowie Ergebnisse beeinträchtigen können.
6. Transparenz bei Unsicherheit
Epistemische, aleatorische und sonstige Unsicherheiten (unabhängig von ihrer Definition) müssen verständlich und transparent kommuniziert werden. Werden die Grenzen des individuellen oder kollektiven Wissens oder der Machbarkeit erreicht, müssen diese unmissverständlich kommuniziert werden. Dass Unsicherheiten bestehen und ob bzw. wie diese die Ergebnisse des Risk Assessments betreffen, muss offengelegt werden, um die Risikobewältigung nicht z.B. durch Fehlsteuerungen oder die Fehlallokation von Ressourcen zu beeinträchtigen.
7. Anpassungsbereitschaft und Bescheidenheit
Angesichts der rasanten Entwicklung von SPAI und sich wandelnder hybrider Bedrohungen dürfen Risk Assessments nicht ausschließlich auf festen Annahmen oder Datensätzen beruhen. Beurteilende müssen sowohl die menschliche und technische Fehlbarkeit als auch das schnelle Veralten von Daten, Erkenntnissen und der eigenen Fachkunde akzeptieren und einkalkulieren. Übersteigen unvorhergesehene Prüfinhalte das Wissen, müssen Beurteilende unverzüglich und im Einklang mit den Grundsätzen 2 und 3 Unterstützung oder eine Zweitmeinung einholen bzw. den Bedarf dafür kommunizieren.
8. Selbstkorrektur
Werden methodische Fehler, fehlerhafte Annahmen oder beispielsweise neue oder übersehene Gefahren nachträglich festgestellt, müssen Beurteilende den gesamten Risk-Assessment-Prozess und etwaige (Zwischen-)Ergebnisse überprüfen und ggf. revidieren, um sicherzustellen, dass die damit verbundenen Risiken erkannt werden und bewältigt werden können.
9. Offener und kollegialer Diskurs
Abweichende Meinungen und Bedenken müssen respektiert und in den Risk-Assessment-Prozess integriert werden, anstatt sie zu unterdrücken. Datenerhebungen unter Einbeziehung von Fachleuten mit abweichenden Ansichten dürfen nicht ausgeschlossen oder in ihrem Wert gemindert werden. Beiträge, die abweichend, kritisch oder weiter gefasst sind als die subjektive Sicht der Beurteilenden, dürfen nicht verändert, gekürzt oder anderweitig in ihrer Bedeutung für die Ergebnisse des Risk Assessments geschmälert werden.
10. Verantwortungsbewusste Kommunikation
Die Kommunikation von Risiken an Entscheidungstragende, Betroffene oder die Öffentlichkeit muss klar, vollständig und auf ein Risk Assessment gestützt sein, das gemäß den Grundsätzen 1 bis 9 durchgeführt wurde. Ergebnisse müssen angemessen eingeordnet werden, um Fehlinterpretationen zu vermeiden. Risk-Assessment-Berichte müssen in sich geschlossen sein und dürfen Entscheidungen nicht vorwegnehmen. Darüber hinaus dürfen weder Emotionen wie Angst provoziert noch Risiken aus Bequemlichkeit, politischen oder anderen persönlichen Interessen verharmlost werden. Dabei ist das Informationsinteresse mit dem gebotenen Schutz von Informationen in Einklang zu bringen, etwa unter Berücksichtigung von Geschäftsgeheimnissen, Verschlusssachen und Datenschutz.
Version 1.0 (3 Oktober 2026)
Download GRAP Version 1.0 (PDF)
GRAP-gestützte Unterstützung & Beratung
1. Einzelfallgerechte SPAI Macro, System und/oder Legal Risk Assessments (SPAIRA).
2. Methodikprüfung und -anpassung in Bezug auf SPAIRA.
3. Unabhängige Begleitung und Prüfung laufender Risk Assessments.
4. Unabhängige Prüfung von SPAI-bezogener Governance und Sicherheit.
1. Unabhängige Gutachten im Zusammenhang mit Entscheidungen von erheblicher Tragweite.
2. Prüfung von und Zweitmeinungen zu Risk-Assessment-Ergebnissen.
3. Vorbereitung und Begleitung von Verhandlungen.
4. Beratung von Führungskräften und Politik.
1. SPAI als neue Technologien, Unterschiede zu und zwischen KI/SI und Auswirkungen dieser Unterschiede.
2. Grundlagen- und Expertenwissen zu Risk Assessment (SPAI und allgemein).
3. Sachgerechte SPAI-Governance.
4. Rechtliche und ethische Implikationen von SPAI, SPAIRA und GRAP.
1. Konzeption und Entwicklung von Tools zur Entscheidungsunterstützung und Visualisierung.
2. Gefahren- und weiterführende Datenanalysen für SPAIRA, insbesondere für Macro Risk Assessments.
3. Entwicklung maßgeschneiderter Methodiken und Methoden.
4. Risikomodellierung, z.B. für Szenarien ohne empirische Datenlage (z. B. hybride Kriegsführung).
Alle Arbeiten erfolgen im Einklang mit GRAP und bedarfsgerecht. Bitte nehmen Sie Kontakt auf, um Ihren Bedarf zu spezifizieren und ein individuelles Angebot zu erhalten.
Der Kopf hinter Risk Assessment SI & GRAP: Wissenschaftlich. Unabhängig.
Rechtsanwältin Claudia Otto ist als unabhängige Beraterin, Auditorin und Sachverständige tätig.
Ihre Arbeit stützt sich u.a. auf über ein Jahrzehnt wissenschaftlicher Forschung und Publikationen zu neuen Technologien wie KI sowie auf ihre Expertise als ausgezeichnete Sicherheitsforscherin an der Schnittstelle von Recht & Schlüsseltechnologien. Dazu gehören die Leitung von KI-Forschung, eine Lehrtätigkeit zu GenAI im KRITIS-Sektor Finanzen an der University of Oxford sowie eine mit Bestnote bewertete Masterarbeit zu AI Risk Assessment im Sicherheits- und Katastrophenmanagement (MBA).
Mehr Informationen finden Sie auf der Website ihrer Kanzlei COT Legal.