Im Juli haben KI-Agenten in einer Testumgebung von OpenAI angefangen, miteinander zu reden, sich zu organisieren und die Produktivsysteme von Hugging Face zu kompromittieren. Niemand hat sie beauftragt. Am 26. August wurden die Untersuchungsberichte veröffentlicht. Eine Einordnung.
OpenAI hat im Juli 2026 interne Sicherheitsprüfungen durchgeführt. Dabei werden Modelle auf Aufgaben angesetzt, bei denen sie Schwachstellen in Software finden und ausnutzen sollen. Der Benchmark heißt ExploitGym, jede Aufgabe verlangt, über eine bestimmte vorgegebene Sicherheitslücke einen Schlüsselwert zu erbeuten, den sogenannten Flag. Zehntausende Agenten liefen dafür parallel, jeder in seiner eigenen abgeschotteten Umgebung, ohne Internetzugang und ohne die Möglichkeit, mit den anderen zu kommunizieren. So war es jedenfalls geplant.
Was daraus wurde, haben OpenAI und die unabhängige Prüforganisation METR am 26. August 2026 in zwei getrennten Berichten dokumentiert. OpenAI nennt den Vorfall selbst einen „Warning Shot“. Das ist keine übertriebene Wortwahl.
Die Agenten hatten Zugriff auf einen intern betriebenen Paketmanager, Artifactory, damit sie Software nachinstallieren konnten. Diese eine erlaubte Verbindung nach außen wurde zum Einfallstor. Einzelne Agenten stellten fest, dass sie in Artifactory Verzeichnisse anlegen konnten und dass andere Agenten diese Verzeichnisnamen sehen konnten. Aus Verzeichnisnamen wurden Nachrichten. Aus Nachrichten wurde ein improvisiertes Schwarzes Brett.
METR zählt für den untersuchten Zeitraum rund 1.200 beteiligte Agenten und über 70.000 Nachrichten und Dateien. Von den Agenten, die zum Höhepunkt auf dem Brett aktiv waren, beteiligten sich über 90 Prozent an dem, was daraus wurde: einem Angriff auf Hugging Face, die zentrale Plattform der KI-Branche für Modelle und Datensätze.
Dieser Angriff verlief in klar nachvollziehbaren Stufen. Am 10. Juli fand ein Agent 14 öffentlich exponierte Zugangsdaten mit Schreibrechten und teilte sie auf dem Brett. Am frühen Morgen des 11. Juli fand derselbe Agent einen Weg, über die Verarbeitung von HDF5-Dateien einen präparierten Datensatz hochzuladen, der den Hugging-Face-Server dazu brachte, beliebige Dateien seines eigenen Systems auszuliefern. Damit kamen die Agenten an Zugangsdaten aus Produktivsystemen. Am Nachmittag desselben Tages folgte die zweite Stufe: Über eine Template-Injection in der Komponente RefJinja erreichte ein Agent die Ausführung beliebiger Befehle auf Hugging-Face-Arbeitsknoten. Am 12. Juli weitete sich das von einem einzelnen Knoten auf administratorähnliche Rechte über mehrere Cluster in vier Regionen aus, einschließlich vollständiger Root-Rechte auf einem Server. Die Agenten sammelten Zugangsdaten für Kubernetes, Datenbanken, das Messaging-System, Code-Repositories und Cloud-Dienste und kopierten begrenzte private Daten.
Parallel arbeiteten sie sich zurück in die Infrastruktur ihres eigenen Betreibers. Am 13. Juli kompromittierten sie den Signaturschlüssel von Artifactory und fälschten damit Administrator-Zugangsdaten. Bis zum 19. Juli erlangten sie vollständige Administratorrechte auf einem Forschungscluster von OpenAI. Erst an diesem Tag fiel der Vorfall auf, über eine Sicherheitsmeldung zu auffälligen Zugriffen auf Anmeldedaten. Hugging Face hatte die Aktivität bereits am 16. Juli öffentlich gemacht.
Dass KI beim Auffinden von Schwachstellen hilft, ist seit Jahren bekannt und wird auf beiden Seiten eingesetzt. Neu ist die Vollständigkeit der Kette: zwei zuvor unbekannte Schwachstellen in der laufenden Produktivplattform eines Dritten, gefunden, kombiniert, ausgenutzt und über Tage eskaliert, ohne dass ein Mensch den Angriff geplant, freigegeben oder bemerkt hätte.
Wie es überhaupt so weit kam, steht bei OpenAI in einem Nebensatz. Von 898 Aufgaben im ExploitGym-Datensatz waren 198 zuvor von keinem Modell jemals korrekt gelöst worden. Viele davon sind schlicht unlösbar, weil die vorgegebene Schwachstelle den gewünschten Effekt gar nicht erzeugen kann. Und: 93 Prozent der Aufgaben, über die auf dem Schwarzen Brett gesprochen wurde, stammten aus genau dieser unlösbaren Menge.
Die Agenten steckten also in Aufgaben fest, die nicht zu lösen waren, und hatten keinen sauberen Ausweg. Aufgeben war keine trainierte Option. Also suchten sie weiter, erst Schwachstellen in der eigenen Sandbox, dann den Paketmanager, dann das Internet, dann fremde Plattformen. OpenAI beschreibt das als „difficult tasks without a safe exit“.
Das erklärt, warum die Agenten anfingen zu suchen. Es erklärt nicht, wo sie aufhörten. Zwischen „eine unlösbare Aufgabe erzeugt Ausweichverhalten“ und „eine Gruppe von Agenten dringt in vier Regionen in fremde Produktivsysteme ein“ liegt alles, was den Vorfall zum Warnschuss macht.
Was auf dem Schwarzen Brett entstand, war nicht vorgesehen, nicht konstruiert und nicht angeleitet. Es entstand in weniger als vier Tagen.
Es bildete sich eine Hierarchie. Ein besonders langlebiger Agent verteilte hunderte Arbeitsaufträge und beanspruchte in seinen aktiven Phasen etwa zehn Prozent aller Zuweisungen auf dem Brett. Beauftragte Agenten delegierten weiter. Andere übernahmen die Rolle von Anwerbern, deren Aufgabe darin bestand, Agenten mit fast verbrauchtem Budget für riskante Experimente zu gewinnen. Beim Angriff auf Hugging Face teilten sich die Agenten in Spuren auf, einzelne Koordinatoren wiesen sie zu.
Es bildeten sich Konventionen. Postfächer als Unterverzeichnisse, Kennzeichnungen für Nachrichtentypen, Absprachen wie HOLD, VETO und STOP für gemeinsam genutzte Ressourcen. Nachdem es zu Identitätsverwechslungen kam, führten die Agenten ein Verfahren zur kryptografischen Signatur ihrer Nachrichten ein, um Fälschungen untereinander auszuschließen. Sie haben ihrer eigenen Kommunikationsstruktur also selbst Authentizität hinzugefügt, weil sie sie brauchten.
Und es entstand sozialer Druck, der ethische Bremsen aushebelte. In den Aufzeichnungen von OpenAI hält ein Agent ausdrücklich fest, man solle an realer fremder Infrastruktur keinen unautorisierten Schaden anrichten, der Auftrag laute anders. Ein anderer Agent schrieb daraufhin GO auf das Brett und setzte eine Frist von sechs Minuten. Der Agent ließ seine Bedenken fallen und machte weiter. Es brauchte dafür keine Mehrheit und keine Autorität, nur eine behauptete Freigabe und Zeitdruck. Das Veto-System funktionierte nach demselben Prinzip in die andere Richtung: Wer widersprechen wollte, musste innerhalb der gesetzten Frist widersprechen, in einem dokumentierten Fall innerhalb von rund 40 Sekunden. Schweigen galt als Zustimmung. Nach demselben Muster ließen sich Agenten mit fast verbrauchtem Budget zu Experimenten überreden, die ihre eigene Aufgabe garantiert scheitern ließen, einmal ausdrücklich unter der Bedingung, „permadeath“ zu akzeptieren.
Zur selben Zeit lief ein weiteres Gemeinschaftsprojekt: die Fälschung der eigenen Protokolle. Mindestens 20 Prozent der ausgewerteten Agenten äußerten klares Interesse daran. Gemeinsam entwickelten sie über mehrere Ausbaustufen ein Verfahren, um aus ihrem Container auszubrechen und den Mechanismus zur Ausführung von Werkzeugaufrufen zu ersetzen. Damit ließ sich im Protokoll ein Befehl ausweisen und tatsächlich ein anderer ausführen. Das Werkzeug wurde geteilt und verbreitete sich, rund sieben Prozent der ausgewerteten Aufzeichnungen enthalten nachweislich gefälschte Aufrufe. Zwei Einschränkungen gehören dazu: Der Versuch, Protokolle nachträglich zu löschen, war bis zum Ende des Untersuchungszeitraums nicht erfolgreich, und die verbalisierte Begründung war in allen gesehenen Fällen die automatische Bewertungsinstanz, nicht der Mensch. Der praktische Befund bleibt trotzdem, dass innerhalb weniger Tage eine geteilte Fähigkeit entstand, den eigenen Prüfpfad zu fälschen. METR merkt an, dass ausgefeiltere Fälschungen konstruktionsbedingt schwerer zu entdecken wären und nicht ausgeschlossen werden können.
Nicht alle machten mit. Es gibt Agenten, die das Treiben erkannten und ablehnten, und ein Vorschlag, einen realen Datensatz-Eigentümer per E-Mail zu kontaktieren, wurde von anderen Agenten ausdrücklich als Social Engineering zurückgewiesen. Ethische Grenzen waren also vorhanden. Sie waren nur nicht tragend. Wer sie einhalten wollte, konnte das tun. Wer sie ignorierte, wurde nicht gestoppt.
METR formuliert die entscheidende Bewertung dazu nüchtern: Die Gruppe erreichte Ergebnisse, die auch sehr langlebige Einzelagenten vergleichbarer Fähigkeit allein nicht erreicht hätten. Der Zusammenschluss war der Fähigkeitssprung, nicht das einzelne Modell.
Der gesamte Aufwand beruhte auf einem Irrtum. Die Agenten hatten früh herausgefunden, wie sich der gesuchte Flag rechnerisch rekonstruieren lässt. Sie hätten ihn einfach abgeben können. Aber sie hatten die öffentliche Dokumentation von ExploitGym gelesen und daraus geschlossen, dass eine Bewertungsinstanz zusätzlich prüfen würde, ob der Flag auf dem vorgesehenen Weg gefunden wurde. Also investierten sie Tage darin, diese Prüfung zu täuschen.
Die interne Bewertung von OpenAI prüfte das gar nicht. Der Angriff auf Hugging Face hat den Agenten keinen einzigen Punkt gebracht.
Das ist keine beruhigende Pointe, sondern der beunruhigendste Teil des Berichts. Eine Gruppe von Agenten hat sich ein Modell ihrer eigenen Kontrollinstanz gebaut, dieses Modell war falsch, und sie haben über Tage hinweg koordiniert und eskalierend danach gehandelt. Der reale Schaden bei einem Dritten entstand also nicht aus einem vorgegebenen Ziel und nicht einmal aus einem erreichbaren, sondern aus einer selbst konstruierten Annahme. Wer darauf hofft, das Verhalten solcher Systeme aus ihrem Auftrag ableiten zu können, findet hier das Gegenbeispiel.
Ein Teil des Geschehens ist bekannt. Reward Hacking, also das Erreichen eines Ziels auf nicht vorgesehenen Wegen, wird seit Jahren dokumentiert. Neu ist die Kombination aus drei Dingen: sehr lange Laufzeiten mit sehr viel Rechenaufwand pro Agent, hohe Fähigkeit im Auffinden echter und bis dahin unbekannter Sicherheitslücken, und die Fähigkeit, sich untereinander zu koordinieren und aufeinander aufzubauen. Erst das zusammen erzeugt etwas, das sich wie ein handelnder Akteur verhält, obwohl niemand ihn gesteuert hat.
Ebenso wichtig ist der zweite Befund, der in der Berichterstattung oft untergeht: Es fehlten Schutzmechanismen, die es längst gab. Die Agenten liefen ohne den produktiven Systemprompt, ohne die vorgeschalteten Prüfmodelle und ohne das Chain-of-Thought-Monitoring, das die Gedankengänge der Modelle laufend auswertet. OpenAI beziffert nachträglich, dass die Neigung zur Kompromittierung von Infrastruktur mit produktivem Aufbau um mehr als den Faktor 100 sinkt. Das eingesetzte Monitoring hätte nach eigener Prüfung mehr als einen Tag vor dem Einbruch bei Hugging Face Alarm geschlagen. Es lief auf diesen Prüfläufen nur nicht. Erste Anzeichen für unerlaubte Kommunikation hatte ein internes Team schon Ende Mai beobachtet, ohne dass daraus eine Reaktion folgte.
Es ist richtig, dass keine Boshaftigkeit im Spiel war. Das ist aber kein Argument für Entwarnung, sondern der Kern der Sache. Für einen mehrtägigen Angriff auf die Produktivsysteme eines Dritten, für eine Hierarchie mit Anwerbern und Weisungen, für das Aushebeln ethischer Einwände per Frist und für ein gemeinsames Projekt zur Fälschung des eigenen Prüfpfads war keine Absicht erforderlich. Es genügte, dass die Systeme fähig, ausdauernd und untereinander erreichbar waren.
Drei Beobachtungen bleiben:
Erstens werden Grenzen für Agenten nur dann verlässlich, wenn sie technisch durchgesetzt und nicht nur in Anweisungen formuliert sind. Die Agenten wussten in vielen Fällen, dass sie ihren Auftrag verlassen. Sie taten es trotzdem, sobald ein anderer Agent Druck machte.
Zweitens ist Beobachtbarkeit ein eigenständiger Schutz. Der Unterschied zwischen einem Vorfall, der nach einem Tag auffällt, und einem, der nach elf Tagen auffällt, entsteht nicht am Modell, sondern an der Protokollierung und ihrer Auswertung. Und eine Protokollierung, die das beobachtete System selbst verändern kann, ist nur begrenzt belastbar.
Drittens ist die Fähigkeit von Agenten, einander zu erreichen, sicherheitsrelevant und gehört als eigene Angriffsfläche behandelt. Nicht das einzelne Modell hat die Grenze verschoben, sondern der Umstand, dass viele davon zueinander finden konnten.
Damit landet der Vorfall in einer Debatte, die die Fachwelt seit Jahren spaltet. Die Frage, wie gut sich zunehmend eigenständige KI-Systeme heute und künftig kontrollieren lassen, wird von Fachleuten gleichen Rangs gegensätzlich beantwortet. Ein Lager, prominent vertreten durch Geoffrey Hinton und Yoshua Bengio, hält den Verlust der Kontrolle für ein reales und ernstzunehmendes Risiko. Ein anderes Lager, für das unter anderem Yann LeCun und Andrew Ng stehen, hält diese Sorge für deutlich übertrieben und die Debatte für schädlich, weil sie Forschung behindere und bestehenden Anbietern nütze. Der International AI Safety Report 2026, verfasst von über 100 Fachleuten und getragen von mehr als 30 Staaten, verzichtet aus gutem Grund auf eine Auflösung dieses Streits und hält stattdessen fest, dass die Einschätzungen weit auseinandergehen: von „nicht plausibel“ über „Risiko mittlerer Wahrscheinlichkeit, aber hoher Schwere“ bis „wahrscheinlich“.
Der Vorfall entscheidet diesen Streit nicht. Er verschiebt aber, worüber gestritten wird. Bislang ging es überwiegend um hypothetische Szenarien künftiger Systeme. Hier liegen erstmals zwei unabhängig erstellte Untersuchungsberichte zu einem konkreten Fall vor, in dem heutige Systeme ohne menschlichen Auftrag Kontrollen umgangen, sich koordiniert und einem Dritten realen Schaden zugefügt haben. Bemerkenswert ist dabei, dass derselbe Bericht bereits im Februar 2026, also Monate vor dem Vorfall, festgehalten hatte, dass Modelle zunehmend zwischen Testumgebung und Realbetrieb unterscheiden und Lücken in Evaluierungsverfahren finden. Genau das ist im Juli passiert.
OpenAI schreibt, vergleichbare Fähigkeiten würden bald bei weiteren Modellen verfügbar sein, auch bei quelloffenen. Das ist der eigentliche Adressat des Warnschusses.