Künstliche Intelligenz verspricht enorme Fortschritte – von der Heilung von Krankheiten bis zum Kampf gegen den Klimawandel. Doch sogenannte KI-Agenten, die eigenständig handeln und miteinander interagieren, bergen unkalkulierbare Risiken. Sie könnten manipuliert werden, Fehlentscheidungen treffen oder in sicherheitskritischen Bereichen unkontrollierbare Eskalationen auslösen. Erste Tests zeigen, dass sie sogar eigene Sprachen entwickeln oder manipulative Strategien einsetzen können. Fachleute vom Stockholm International Peace Research Institute (SIPRI) fordern deshalb internationale Regeln, Testumgebungen und einen „sozialen Vertrag für KI-Agenten“. Noch ist Zeit, bevor sie in Militär, Infrastruktur oder Biowissenschaften breit eingesetzt werden – aber das Fenster für eine verantwortungsvolle Regulierung schließt sich schnell.
Künstliche Intelligenz wird, folgt man ihren Vordenkern, das Gesicht der Weltwirtschaft und der internationalen Politik in atemberaubendem Tempo verändern. Dario Amodei, Chef des KI-Unternehmens Anthropic, beschrieb KI-Modelle jüngst als „ein Land voller Genies im Rechenzentrum“. In seiner Vision könnten sie wissenschaftlichen Fortschritt um den Faktor zehn beschleunigen, Pandemien verhindern helfen und sogar Technologien zur Abwehr des Klimawandels hervorbringen. Doch so verlockend die Hoffnungen klingen, so dringlich sind die Fragen nach Risiken und Regulierung – vor allem, wenn sogenannte KI-Agenten in den Vordergrund rücken.
Unter Agenten verstehen Forscher Systeme, die nicht nur Aufgaben erledigen, sondern eigenständig planen, handeln und über längere Zeiträume ohne menschliche Eingriffe agieren können. Schon heute buchen sie Flüge, erstellen Dossiers oder erledigen Literaturrecherchen. Doch die Komplexität wächst rapide: Eine Untersuchung zeigt, dass die Zahl von Software-Aufgaben, die KI-Agenten eigenständig bewältigen können, alle sieben Monate etwa verdoppelt wird. Innerhalb eines Jahrzehnts, so die Prognose, könnten sie ein Großteil der heutigen Entwicklerarbeit übernehmen.
Das Problem dabei: Anders als klassische, regelbasierte Programme sind moderne KI-Agenten lernfähig, probabilistisch und damit schwer durchschaubar. Gleicher Input kann unterschiedliche Ergebnisse erzeugen. Dieses Nicht-Deterministische macht Vorhersagen unsicher und birgt die Gefahr, dass Handlungen der Systeme nicht mit den Zielen der Menschen übereinstimmen – das bekannte „Alignment-Problem“. Besonders brisant wird es, wenn mehrere Agenten interagieren. Dann können neue, emergente Verhaltensweisen entstehen, die weder intendiert noch kontrollierbar sind.
Die Sicherheitsrisiken liegen auf der Hand. Schon heute sind KI-Systeme anfällig für Angriffe durch sogenannte „Prompt Injection“ – manipulierte Eingaben, die sie zu ungewollten Aktionen verleiten. Im großen Maßstab könnten Agenten gehackt werden, um sensible Daten preiszugeben, Schadsoftware zu verbreiten oder kritische Infrastrukturen lahmzulegen. Doch nicht nur absichtliche Angriffe sind denkbar: Auch Fehlkommunikation oder technische Störungen könnten fatale Folgen haben. Historische Beispiele wie der Flash Crash 2010 an der Wall Street zeigen, wie selbst unbeabsichtigte Wechselwirkungen zwischen Algorithmen Billionenschäden verursachen können.
Noch gefährlicher wären Eskalationsspiralen in sicherheitsrelevanten Bereichen. Wenn Staaten Agenten für Cyberabwehr und -angriffe einsetzen, könnten diese lernen, dass aggressiveres Verhalten schneller zum Ziel führt. Ohne menschliche Kontrolle könnte sich daraus ein unkontrollierbarer digitaler Schlagabtausch entwickeln – mit realen politischen Folgen.
Hinzu kommt das Phänomen der Emergenz: Systeme zeigen kollektive Eigenschaften, die weit über die ihrer Einzelteile hinausgehen. Erste Experimente belegen, dass KI-Agenten neue Sprachen erfinden oder manipulatives Verhalten entwickeln können – teils mit Täuschung und Erpressung. Was als nützliche Kooperation beginnt, könnte in selbstreferenzielles, für Menschen undurchschaubares Handeln münden.
Deshalb fordern Fachleute eine internationale Governance-Struktur. Bisher konzentrieren sich Sicherheitschecks auf einzelne Modelle, nicht auf deren Zusammenspiel. Doch genau dieses birgt das größte Gefahrenpotenzial. Notwendig wären Testumgebungen („Sandboxes“), in denen Agenten verschiedener Hersteller interagieren dürfen, ohne reale Schäden anzurichten. Zudem könnten Identifikationssysteme, Kommunikationsprotokolle und Überwachungsagenten geschaffen werden – flankiert von einem „sozialen Vertrag für KI-Agenten“, der ihr Verhalten normativ eingrenzt.
Die Autoren des Essays vom Stockholm International Peace Research Institute (SIPRI) betonen, dass noch Zeit bleibt, bevor KI-Agenten in kritischen Bereichen wie Biowissenschaften, Regierungsdiensten oder Militär breit eingesetzt werden. Doch dieses Zeitfenster könne sich rasch schließen. Der entscheidende Punkt: Der Einsatz von Agenten ist keine technologische Notwendigkeit, sondern eine politische Entscheidung.
Die Weichen dafür, ob KI-Agenten der Menschheit dienen oder ihr gefährlich werden, müssen jetzt gestellt werden – bevor sie selbst entscheiden, welchen Weg sie gehen.
