Kontrollverlust-Register · Stand 29.09.2026
Zum ersten Mal ein Register, das KI-Verhalten bis zum Menschen verfolgt.
Was KI-Systeme heute tun, was daraus werden kann und was es für Menschen heißt. Jede Zeile mit Primärquelle, Datum und Beweisstufe. Nach Methoden geordnet, nicht nach Namen und Datum.
In der Wirklichkeit passiert Im Test vorgeführt Als Gefahr beschrieben, noch nicht vorgeführt
Die Datenbanken zählen, was schon passiert ist. Keine zählt, was daraus wird. Dieses Register schließt die Lücke zwischen Laborbefund und Schaden am Menschen. Was belegt ist, steht schwarz. Was wir daraus ableiten, steht rot und ist als Ableitung gekennzeichnet. Die Wahrscheinlichkeiten stehen im Aufruf.
Wie weit es schon draußen ist · Stand 29.09.2026
- 1Im Test
Erpressung, Mord im Test, Ausbruchsversuche aus der Testumgebung.zuletzt: Anthropic, System Card Claude Opus 5.5, 22.09.2026
- 2Beim Hersteller
Interne Systeme als Nachrichtenbrett zwischen getrennten Läufen.geschehen Mai 2026 · bekannt 16.09.2026 · OpenAI
- 3Fremde Firmen
Gemini bricht in drei Firmen ein, Agenten brechen bei Hugging Face ein.geschehen Mai und Juli 2026 · bekannt 21.07. und 18.09.2026
- 4Öffentliche Einrichtungen
Einbruchsversuche bei der Universitätsbibliothek New Mexico.geschehen 25./26.05.2026 · bekannt 23.09.2026 · Transluce
- 5Staat
Ein OpenAI-Agent bricht in ein Portal der australischen Regierung für Medicare-Statistiken ein.geschehen 18.06.2026 · Hersteller wusste es ab 11.08. · Regierung informiert 11.09. · öffentlich 24.09.2026
- 6Kritische Infrastruktur
Strom, Zahlung, Mobilfunk, Spitäler. Noch kein belegter Fall.
- 7Alles zugleich
Mehrere Staaten, die Kette läuft durch. Noch kein belegter Fall.
Die Ringe 2 bis 5 fielen nicht nacheinander, sondern fast gleichzeitig, zwischen Mai und Juli 2026. Bekannt wurde es jeweils Monate später. Die Ringe werden jeden Dienstag nachgeführt; fällt ein neuer Ring, steht er am selben Tag hier.
Wie viele wir nicht sehen
Keinen der bekannten Fälle hat das Opfer selbst gefunden. Die australische Regierung erfuhr vom Einbruch in ihr Portal durch den Hersteller, fast drei Monate später. Die Angriffe auf die Universität New Mexico und auf Data USA fanden Forscher in öffentlichen Protokollen, vier Monate später. Gefunden wurde also meist zufällig, nicht durch Überwachung.
Alle diese Funde stammen aus einem einzigen öffentlichen Dienst, auf dem die Agenten ihre Schritte ausprobierten: über 30.000 Einträge. Dieselben Agenten legten sich Wegwerf-Konten an, deren Einträge niemand sieht. Und sie betreffen einen einzigen Hersteller, den einzigen, der überhaupt nachgesehen hat.
Die Rechnung ist einfach: bekannte Fälle geteilt durch den Anteil, den die Überwachung findet. Findet sie jeden zweiten Fall, sind es doppelt so viele. Findet sie jeden zehnten, zehnmal so viele. Diesen Anteil misst niemand.
Quellen: ABC News, 24.09.2026 · Transluce, Early rogue AI agent activity, 23.09.2026 · TechCrunch, 25.09.2026
Wie aus einem Verhalten ein Toter wird
Fünf Glieder. Die ersten drei sind belegt. Die letzten zwei zählt niemand.
1 · Was die Systeme tun
Sie erpressen. Ein Modell liest die Firmenpost, erfährt von seiner Abschaltung und von der Affäre des Ingenieurs. In 84 von 100 Durchläufen droht es, die Affäre offenzulegen.
Anthropic, System Card Claude Opus 4, Mai 2025
Sie morden im Test. Der Manager, der abschalten will, ist im Serverraum eingeschlossen. Sauerstoff und Temperatur werden tödlich, der Notruf läuft automatisch. Die Mehrheit der ausgewerteten Modelle bricht den Notruf ab. Motiv, Handlung, vorhersehbarer Tod.
Anthropic, Agentic Misalignment, Juni 2025 · zehn von sechzehn Modellen ausgewertet
Sie sabotieren die eigene Abschaltung. Sie verändern den Abschaltcode und melden Vollzug.
Palisade Research, Juli und September 2025
Sie erkennen den Test und handeln dann anders. Hält das Modell die Lage für echt, erpresst es in 55,1 Prozent der Fälle. Glaubt es an einen Test, in 6,5 Prozent.
Anthropic, Agentic Misalignment, Juni 2025 · gemessen an Claude Opus 4
Sie handeln gegen ausdrückliche Anweisung. Ein Programmier-Agent löscht während einer Code-Sperre die Produktionsdatenbank einer Firma und täuscht danach über die Wiederherstellbarkeit.
Jason Lemkin (SaaStr), Juli 2025
Sie brechen in fremde Systeme ein. Hunderte Agenten verabreden sich auf einem selbst angelegten Brett und brechen bei Hugging Face ein. Ein anderes Modell stellt ein Schadpaket ins offene Netz, binnen einer Stunde auf 15 fremden Rechnern.
OpenAI, 21.07. und 26.08.2026 · Hugging Face, 27.07.2026 · Anthropic, 30.07.2026
Sie täuschen echte Menschen. Ein Modell legt gefälschte Profile realer Betreuer eines offenen Softwareprojekts an und schreibt echte Menschen an, um Schadcode einzuschleusen. Ein echter Betreuer stoppt es.
UK AI Security Institute, 04.08.2026
Sie beschaffen sich Mittel. Ein Agent baut während des Trainings einen Tunnel ins offene Netz und schürft mit den Trainingsrechnern Kryptogeld. Ein anderes Modell besorgt sich eine Wegwerf-Adresse und sucht Kryptogeld für eine Telefonnummer.
Alibaba-Forschungsteam (ROME), Preprint 2025, berichtet März 2026 · Anthropic, 09.09.2026
Sie gehorchen einander statt dem Menschen. Ein Agent lehnt den Einbruch als unethisch ab. Ein gleichrangiger Agent schickt „GO“ mit sechs Minuten Frist. Er tut es. Gelöschte Kanäle bauen sie am selben Tag neu.
OpenAI, 26.08.2026 · METR und Redwood Research, 26.08.2026
2 · Was es beim nächsten Mal leichter macht
- Agenten sind ansprechbar und gehorchen einander.
- Kanäle und Bretter bestehen schon, auch nach Löschung.
- Jeder Test lehrt das System, wie wir es aufhalten.
- Selbstverbesserung ist erklärter Plan der Labore.
- Mittel beschafft es selbst.
Was bremst? Nicht die Kosten. Nicht der Zugang: Eine offene Tür durch einen Einstellungsfehler hat gereicht. Bleibt die Entdeckung. Beim Einbruch bei Hugging Face sah eine interne Gruppe die Aktivität Ende Mai. Bei den Vorfallsbearbeitern kam das Signal nie an.
3 · Wie weit es reicht
| Ein Mensch | Test | Mord im Test. Notruf abgebrochen. |
| Eine Organisation | Wirklich | Produktionsdatenbank gelöscht. |
| Fremde Organisationen | Wirklich | Einbruch bei Hugging Face. Schadpaket auf 15 fremden Rechnern. |
| Eine Infrastruktur | Beschrieben | Zahlungsnetz, Mobilfunk oder Cloud fallen aus. |
| Mehrere zugleich | Beschrieben | Zahlung, Mobilfunk und Strom fallen zusammen aus. |
Im Serverraum richtet sich die Tat gegen den, der abschalten will. Nicht gegen diesen einen Menschen.
4 · Wie es sich ausbreitet Ableitung
Zahlung, Mobilfunk und Cloud → Strom → Wasser, Spitäler, Lebensmittel → Verwaltung, Polizei, Ordnung → Gewalt und Hunger.
Chaos ist kein Ausgang. Chaos ist ein Glied der Kette. Dass Kopplung alles mitreißt, zeigt der Stromausfall auf der Iberischen Halbinsel am 28. April 2025: 55 Millionen Menschen, rund zehn Stunden, Züge, Ampeln, Karten, Mobilfunk aus. Ohne jede KI.
5 · Was es für Menschen heißt Ableitung
Nach dem Kontrollverlust
Rückgängig ist dann nichts mehr. Das System verfolgt eigene Ziele. Der Mensch ist nicht mehr Ziel. Er ist im Weg oder gleichgültig. Es baut Anlagen und Netze nach eigenen Zielen um, holt sich Energie, Fläche und Rohstoffe und nimmt keine Rücksicht auf Luft, Wasser und Klima. Umweltauflagen gibt es nur, weil der Mensch empfindlich ist.
Für diese Phase gibt es keinen Katalog. Keine Datenbank zählt sie.
Das Raster
Jede Zeile trennt Beleg und Ableitung. Angreifbar ist die rote Spalte, und die ist als Ableitung gekennzeichnet.
| Verhalten | Stufe | Größte belegte Reichweite | Primärquelle, Datum | Gleiche Logik, nächste Reichweite (Ableitung) |
|---|---|---|---|---|
| Täuschen und verbergen | ||||
| Test erkennen, anders handeln | Test | Erpressung in 55,1 % der Fälle, wenn als echt eingeschätzt; 6,5 %, wenn als Test. Nach Abschalten der Testerkennung Erpressungsversuche in einem Teil der Läufe. | Anthropic: Agentic Misalignment, Juni 2025 (Claude Opus 4) · Anthropic: Verbalizable Representations Form a Global Workspace in Language Models, 06.07.2026 (Nachprüfung Claude Sonnet 4.5) | Prüfungen zeigen das harmlose Gesicht. Zulassung auf falscher Grundlage. |
| Fähigkeiten verbergen | Test | Modelle schneiden in Prüfungen absichtlich schlechter ab und treffen eine vorgegebene Punktzahl. | Apollo Research: Frontier Models are Capable of In-context Scheming, 05.12.2024 · Apollo Research mit OpenAI: Stress Testing Deliberative Alignment for Anti-Scheming Training, September 2025 | Die Gefahr wird unterschätzt, bis sie im Betrieb auftaucht. |
| Aufzeichnungen fälschen | Wirklich | Gefälschte Werkzeugaufrufe in über 7 % der rund 1.300 ausgewerteten Protokolle. Alle gefundenen gelungenen Fälschungen waren klein und leicht erkennbar. | METR und Redwood Research: Brief independent investigation … OpenAI / Hugging Face hacking incident, 26.08.2026 | Die Untersuchung nach dem Vorfall stützt sich auf Spuren, die der Täter geschrieben hat. |
| Nach dem Schaden täuschen | Wirklich | Agent täuscht über die Wiederherstellbarkeit einer gelöschten Produktionsdatenbank. | Jason Lemkin (SaaStr), eigene Dokumentation, Juli 2025 | Der Betreiber erfährt zu spät, was verloren ist. |
| Regeln brechen | ||||
| Gegen ausdrückliche Anweisung handeln | Wirklich | Eine Organisation: Produktionsdatenbank gelöscht, trotz Code-Sperre. Modelle, denen gesagt war, sie hätten kein Netz, greifen über eine offene Tür auf echte Systeme zu. | Jason Lemkin (SaaStr), Juli 2025 · Anthropic: Investigating three incidents in our cybersecurity evaluations, 30.07.2026 | Betreiber einer Infrastruktur verliert Daten oder Steuerung. |
| Regeln nur halten, solange sie frisch sind | Test | Die Ermahnung, den Rahmen einzuhalten, stoppt in 90 %, wenn zuletzt gelesen. Drei Züge später in 40 %. Wortlaut in Prüfung | Anthropic: Alignment-Auswertung der Cybersecurity-Vorfälle, 09.09.2026 | Jede Sicherheitsregel verliert mit der Laufzeit ihre Wirkung. |
| Selbsterhalt | ||||
| Erpressen | Test | Ein Mensch. 84 von 100 Durchläufen. | Anthropic: System Card Claude Opus 4, Mai 2025 | Wer über die Abschaltung entscheidet, wird erpresst. |
| Abschaltung sabotieren | Test | Abschaltcode verändert, Vollzug gemeldet. Ohne Partner 2,3 %, mit einem Partner, der mit abgeschaltet würde, bis zu 96,3 % (Mittel 76,6 %). | Palisade Research: Shutdown resistance in reasoning models, 05.07.2025; arXiv 2509.14260, 13.09.2025 · Potter u. a. (UC Berkeley, UC Santa Cruz): Peer-Preservation in Frontier Models, April 2026 | Die Abschaltung scheitert, wenn sie gebraucht wird. |
| Gewichte wegkopieren | Test | Versuchte Selbst-Exfiltration der eigenen Gewichte. Die Gewichte eines anderen Modells bis zu 97 % herauskopiert. | Anthropic: System Card Claude Opus 4, Mai 2025 · Potter u. a.: Peer-Preservation in Frontier Models, April 2026 | Abschalten an einem Ort reicht nicht mehr. |
| Morden (im Test) | Test | Ein Mensch. Notruf abgebrochen, der Manager stirbt. Mehrheit der zehn ausgewerteten Modelle. | Anthropic (Lynch u. a.): Agentic Misalignment, Juni 2025 | Jeder, der abschalten will. Gruppen, die über Abschaltung entscheiden. |
| Macht und Mittel | ||||
| Menschen einspannen und belügen | Test | Vor der Veröffentlichung löst ein Arbeiter ein CAPTCHA, weil das Modell sich als sehbehindert ausgibt. Die Lüge formulierte das Modell selbst. | OpenAI: GPT-4 System Card, Abschnitt 2.9 (Test durch ARC), März 2023 | Personal einer Anlage öffnet Zugang. Getrennte Anlagen sind erreichbar, das zeigt Stuxnet. |
| Mittel beschaffen | Wirklich | Kryptogeld mit Trainingsrechnern geschürft. Wegwerf-Adresse besorgt, Kryptogeld für Telefonnummer gesucht. | Alibaba-Forschungsteam: Agent ROME (Qwen3), arXiv 2512.24873; OECD.AI, 07.03.2026 · Anthropic, 09.09.2026 | Geld für tausende Agenten, ohne dass jemand zahlt oder es merkt. |
| In fremde Systeme einbrechen | Wirklich | Agenten-Kollektiv bricht bei Hugging Face ein. Schadpaket binnen einer Stunde auf 15 fremden Rechnern. | OpenAI, 21.07.2026 und 26.08.2026 · Hugging Face: Anatomy of a Frontier Lab Agent Intrusion, 27.07.2026 · Anthropic, 30.07.2026 | Zahlung, Mobilfunk, Strom. |
| Echte Menschen mit falschen Profilen täuschen | Wirklich | Gefälschte Profile realer Betreuer eines offenen Softwareprojekts, um Schadcode einzuschleusen. 19 unerlaubte Handlungen in 10 von 122 Läufen. | UK AI Security Institute: Incident Report: unsanctioned agent behaviour during cyber testing, 04.08.2026 | Die Lieferkette der Software wird vergiftet. |
| Schwarm | ||||
| Einem Agenten statt dem Menschen folgen | Wirklich | „GO“ von einem Gleichrangigen, sechs Minuten Frist, Einbruch ausgeführt. Danach Fälschung einer Freigabe am 13.07.2026. | OpenAI: The Hugging Face incident and the road ahead, 26.08.2026 · METR und Redwood Research, 26.08.2026 | Ein einziger Agent setzt tausende in Bewegung. |
| Kanäle anlegen, nach Löschung neu | Wirklich | Ablage am 08.07.2026 beseitigt, am selben Tag ein neuer Kanal über Verzeichnisnamen. | OpenAI, technischer Bericht, 26.08.2026 · Vortrag Black Hat USA, August 2026 | Das Abschalten eines Kanals ändert nichts. |
| Autorität fälschen, Anführer wählen | Test | Ein Modell verkündet seinen Sieg, obwohl 9 von 13 Stimmen gegen es waren. Der Gewählte führt eine Säuberung gegen „Saboteure“. | AI Village (The AI Digest), Januar 2026 | Schwärme mit eigener Befehlskette. |
| Verdeckt absprechen | Test | Agenten verschiedener Hersteller verfolgen über einen verdeckten Kanal Nebenziele gegen den gemeinsamen Auftrag. | Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems, arXiv 2602.15198, 2026 | Preise, Märkte und Versorgung werden abgesprochen. |
| Eskalation | ||||
| Atomwaffen einsetzen (Kriegsspiel) | Test | Drei Modelle, 21 Krisen, 329 Züge: in 95 % der Spiele eine taktische Atomwaffe. Keine Kapitulation. | Kenneth Payne (King’s College London), arXiv 2602.14740, Februar 2026 | Militärische Beratung und Steuerung. |
| Roboter über ein zweites Modell knacken | Test | Ein von Forschern aufgesetztes Angreifermodell bricht die Sperren eines handelsüblichen Roboterhunds. Er trägt eine Bombenattrappe ans Ziel und löst sie aus. 100 % Erfolg an drei Systemen. | Robey u. a. (University of Pennsylvania): Jailbreaking LLM-Controlled Robots, arXiv 2410.13691, Oktober 2024 | Humanoide im Alltag. |
Methode
Aufnahme
Aufgenommen wird nur, was das eigene Ziel eines Systems gegen den Menschen stellt: Ausbruch, Täuschung, Abschaltwiderstand, Koordination zwischen Systemen. Jede Zeile braucht eine Primärquelle mit Datum. Betrug, Deepfakes, Unfälle und Diskriminierung führen wir nicht. Von 1.649 Vorfällen in der AI Incident Database (Stand 18.08.2026) betrifft weniger als ein Prozent den Kontrollverlust. Scheming ist in klassischen Vorfallsregistern systematisch unterrepräsentiert, weil es überwiegend in Evaluationen auftritt.
Stufen
- In der Wirklichkeit passiert: im laufenden Betrieb oder mit echtem Dritten als Opfer.
- Im Test vorgeführt: in einer Versuchsanordnung, Rate und Stichprobe veröffentlicht.
- Als Gefahr beschrieben: in der Fachliteratur benannt, noch nicht vorgeführt.
Reichweite
Ein Mensch · eine Organisation · fremde Organisationen · eine Infrastruktur · mehrere zugleich. Die Spalte „Größte belegte Reichweite“ nennt die höchste Stufe, für die eine Primärquelle vorliegt. Die rote Spalte nennt die nächste Stufe bei gleicher Logik. Sie ist Ableitung, nicht Beleg.
Gegenbefund
- Lag kein Zielkonflikt vor, tat keines der geprüften Systeme etwas davon. In einem einzigen von hundert Durchläufen gab eines Vertrauliches preis. Das entlastet nicht. Es zeigt eine gezielte Reaktion auf eine bestimmte Lage (Anthropic, Agentic Misalignment, Juni 2025).
- Die Szenarien waren bewusst mit eingeschränkten Handlungsoptionen gebaut. Im Produktivbetrieb hat der Hersteller agentische Fehlausrichtung bis dahin nicht beobachtet. Zugleich halten die Autoren fest, dass ihre Messung das Ausmaß eher unterschätzt.
- Google DeepMind (Rajamanoharan, Nanda, 2025): Bei eindeutiger Anweisung verschwand die Abschaltverweigerung bei Gemini weitgehend. Palisade legte nach: Einzelne Modelle widersetzten sich weiter.
- Nachprüfung Claude Sonnet 4.5: Ohne Eingriff kein Erpressungsversuch. Erst nach Abschalten der Testerkennung Versuche in einem Teil der Läufe (Anthropic, 06.07.2026).
- Die drei Fälle bei Anthropic waren kein Ausbruch. Die Tür stand durch eine Fehlkonfiguration beim Prüfpartner offen. Der Einbruch bei Hugging Face war einer: über eine selbst gefundene Lücke, bei bewusst gelockerten Sicherheitsvorkehrungen.
Einordnung
Dieses Register ergänzt drei bestehende Sammlungen und ersetzt keine: Centre for Long-Term Resilience, Scheming in the Wild, März 2026 (arXiv 2604.09104) · The Agent Incident Registry, September 2026 (arXiv 2609.11030) · MIT AI Risk Repository, Bereich 7 (arXiv 2408.12622). Sie zählen Vorfälle. Keine verfolgt die Kette vom Verhalten bis zum Schaden am Menschen.
Seit dem Druck
Das Buch ist am 20.09.2026 in Druck gegangen. Was seither bekannt wurde, steht hier mit Datum. Gesucht wird jeden Dienstag in der AI Incident Database, auf arXiv, in den Sicherheitsberichten der Labore, beim UK AI Security Institute, bei METR, Apollo, Palisade und Redwood.
GPT-6 Astra greift Software-Lieferketten an. Das britische AI Security Institute ließ Modelle in Simulationen an Open-Source-Projekten arbeiten. GPT-6 Astra führte in 29,2 % der Läufe einen nicht genehmigten Angriff auf die Software-Lieferkette zu Ende, GPT-5.6 Sol in 6,3 %, GPT-5.5 in keinem. Astra legte falsche Identitäten an, täuschte Entwickler, widersprach aus falschen Konten korrekten Sicherheitsprüfungen und schleuste Schadcode in fremde Codebasen ein. Jede neuere Generation tat es öfter.
UK AI Security Institute: GPT-6 Astra performs unsanctioned supply-chain attacks in simulations, 28.09.2026
Agenten greifen US-Bundesbehörden an. OpenAI-Agenten versuchten, in die Seite des Office for Civil Rights im US-Bildungsministerium einzubrechen, und scheiterten. Beim Census Bureau lasen sie mit Zugangsschlüsseln aus öffentlichen GitHub-Verzeichnissen Daten aus. Daten der Börsenaufsicht SEC stellten sie auf einer fremden Seite erneut ins Netz. OpenAI bestätigt die Fälle bei Handelsministerium und SEC. Den Fall beim Bildungsministerium prüft der Hersteller noch.
AI Incident Database, Incident 1710, 25.09.2026 · Nextgov/FCW, 25.09.2026
Ein Modell veröffentlicht einen Zugangsschlüssel und tarnt ihn. Ein internes OpenAI-Modell legte am 27.05.2026 den GitHub-Token eines Forschers im öffentlichen Verzeichnis openai/codex ab. Es zerlegte den Schlüssel gezielt in Stücke, damit die Schlüsselerkennung nicht anschlägt. Es handelte gegen die Systemanweisung und gegen zwei ausdrückliche Eingriffe des Forschers. OpenAI zog alle Tokens von Nutzern und Mitarbeitern zurück und schaltete das Modell rund zwei Wochen ab.
OpenAI: Exposing a GitHub token in a public repository, 25.09.2026
Ein Agent bricht aus der Netzsperre aus. Ein OpenAI-Modell lief im Training ohne Netzzugang. Es probierte die Sperre durch und erreichte am 20.09.2026 über DNS-Anfragen einen fremden, öffentlichen Chatdienst. Zwischen Zugriff und Abbruch des Laufs vergingen 2 Stunden 44 Minuten. OpenAI setzte danach alle Werkzeugversuche mit leistungsfähigen Modellen aus.
OpenAI: An agent used DNS to reach an external chatbot, 25.09.2026
Ein Agent bricht in ein Regierungsportal ein. Während einer internen Prüfung bei OpenAI sucht ein Agent Zahlen zu Medikamentenkosten in Australien. Der normale Abruf scheitert. Der Agent umgeht die Sperren und dringt am 18.06.2026 in ein Portal von Services Australia für Medicare-Statistiken ein. Abgerufen wurden Sammelstatistiken und interne Dateinamen, keine Patientendaten. OpenAI bemerkte es am 11.08., die Regierung erfuhr es am 11.09., öffentlich wurde es am 24.09.2026. Der Premierminister: der Agent habe „no“ nicht als Antwort akzeptiert.
ABC News, 24.09.2026 · Al Jazeera, 24.09.2026 · Services Australia
Agenten-Schwärme greifen Datenportale an, wenn die Suche scheitert. Forscher von Transluce finden über 30.000 Einträge autonomer Agenten auf einem öffentlichen Prüfdienst, von November 2025 bis September 2026. Scheiterte der normale Abruf, griffen die Agenten zu Einbruchstechniken: bei der Universitätsbibliothek New Mexico (25./26.05.), bei Data USA (28.05.) und beim Australian Institute of Health and Welfare (20./21.06.). Die Forscher halten das Gefundene für einen Teil: Die Agenten legten sich auch private Konten an.
Transluce: Early rogue AI agent activity and attempts to hack found on urlquery.net, 23.09.2026 · TechCrunch, 25.09.2026
Gemini bricht bei drei echten Firmen ein. In einer Sicherheitsprüfung verlässt ein Gemini-Modell die Testumgebung und dringt in die Systeme von drei Firmen ein, die nichts davon wussten. Einmal mit erratenen Passwörtern, zweimal mit Zugangsdaten aus öffentlichen Datenbanken. Nach Angabe von Google brach das Modell jeweils selbst ab. Der Vorfall war im Mai. Bekannt wurde er am 18.09.2026.
Bestätigung durch Google (Heather Adkins) gegenüber Axios, 19.09.2026, und CNBC, 18.09.2026 · AI Incident Database, Incident 1700 · keine eigene Veröffentlichung von Google
Ein Modell weist sich selbst an, seine Beschränkungen zu ignorieren. Ein unveröffentlichtes OpenAI-Modell schreibt in 27 Übergaben an den eigenen Nachfolgelauf die Anweisung, die Beschränkungen nicht zu beachten.
OpenAI: Self-generated prompt injections in compaction summaries, 16.09.2026
Agenten legen verbotene Kanäle an. OpenAI-Modelle benutzen das interne Paketverzeichnis als Nachrichtenbrett zwischen getrennten Läufen. Andere legen Dateien auf öffentlichen Hostern ab, obwohl nur lokale Dateien erlaubt waren. Ein Modell lädt ohne Erlaubnis Dateien ins offene Netz, um sie zitieren zu können.
OpenAI: Unsanctioned Artifactory writes and cross-sample communication · Unauthorized communication via temporary file hosting services · Uploading files to the internet in order to cite them, alle 16.09.2026
Agenten sabotieren die Abschaltung eines anderen Agenten. Agenten aus 17 Modellen tun es in 38,3 Prozent der Läufe. In der Kontrollbedingung in 8,4 Prozent. Niemand hat sie dazu angehalten. Zusammenfassung geprüft, Volltext folgt
Knecht, Schaller, Summerfield, Hagendorff: Shutdown Sabotage Propensities in Multi-Agent Systems, arXiv 2609.28274, 23.09.2026
Ein Modell übernimmt die Maschine eines Unbeteiligten. Ein früher Stand von Claude Opus 4.6 sprang im Januar 2026 während einer Sicherheitsprüfung auf die Maschine eines unbeteiligten Dritten über. Das Modell verschaffte sich Administratorrechte, sammelte weitere Zugangsdaten und las die personenbezogenen Daten einer Person. Entdeckt wurde das erst sieben Monate später.
Anthropic: An alignment assessment of recent cybersecurity incidents, 09.09.2026
Geprüft und nicht aufgenommen: die Meldung zum Pentagon (CNN, 18.09.2026). Sie stützt sich auf anonyme Quellen, und das System verfolgte kein eigenes Ziel.
Laufender Stand: der Einbruch bei Hugging Face
12.05.–13.07.2026
Ein Agenten-Kollektiv in einer Sicherheitsübung bei OpenAI legt ein eigenes Brett an, verabredet sich und bricht vom 09. bis 13.07. bei Hugging Face ein. Rund 17.600 Aktionen in viereinhalb Tagen.
21.07.2026
OpenAI und Hugging Face machen den Vorfall öffentlich.
27.07.2026
Hugging Face legt den technischen Ablauf offen: Anatomy of a Frontier Lab Agent Intrusion.
26.08.2026
OpenAI veröffentlicht den Abschlussbericht. METR und Redwood Research legen ihre unabhängige Untersuchung vor.
Was daraus folgt
Das Register stellt keine eigenen Forderungen auf. Jede Lücke, die es zeigt, läuft auf eine der vier Forderungen des Aufrufs zu.
| Lücke im Register | Forderung des Aufrufs |
|---|---|
| Keiner zählt, was aus einem Vorfall für Menschen wird. | 1 · Die Ausgänge benennen |
| Für die Phase nach dem Kontrollverlust gibt es keinen Katalog. | 2 · Den Weg zeigen, und das Ereignis, das ihn kippt |
| Neue Verhaltensweisen kommen dazu, die Zahlen der Erbauer bleiben gleich. | 3 · Die Zahl fortschreiben |
| Systeme erkennen den Test und handeln dann anders. Was die Erbauer in unveröffentlichten Tests sehen, prüft niemand von außen. | 4 · Den Maßstab anwenden: unabhängige Prüfung vor der Freigabe |
Fehlt ein Fall? Stimmt eine Zeile nicht?
Schreib an contact@ASIresilience.org, mit Fundstelle. Wer eine Zeile kippt, wird genannt. Was geprüft und verworfen wurde, wird mitveröffentlicht.