Belegblatt · Genfer Institut für ASI-Resilienz
Christianos Rechnung
21.09.2026 · Fassung v2 · Genfer Institut für ASI-Resilienz · Belegblatt zum Aufruf „Zeigt die Rechnung“
Wer das ist
Paul Christiano hat RLHF miterfunden (Grundlagenarbeit 2017), leitete bei OpenAI das Ausrichtungs-Team, verließ das Haus 2021, gründete das Alignment Research Center, ist seit April 2024 Sicherheitschef der US-Behörde, die heute Center for AI Standards and Innovation heißt. Er verkauft kein Modell.
Am 27.04.2023 hat er seine Einschätzung öffentlich aufgeteilt („My views on doom“, LessWrong). Keine Studie, kein Verfahren, keine Behörde — ein Mann, der seine Zahl zerlegt und jede Teilzahl benennt. Das hat kein Laborchef je getan.
Was am 9. September 2026 geschehen ist
Christiano ist in den Stiftungsrat von OpenAI eingetreten, in den Sicherheitsausschuss, der das letzte Wort über die Freigabe neuer Modelle hat (Vorsitz Zico Kolter). Am selben Tag veröffentlichte er eine persönliche Erklärung mit neuen Zahlen — diesmal mit Kalender.
- Risiko eines katastrophalen und unumkehrbaren Kontrollverlusts: „roughly 4 percent over the next year and 15 percent over the next three years“.
- Dazu: „If that happens then most people could die.“
- Automatisierung der KI-Forschung: „anywhere from several months to several years“.
- Über die Branche, in deren Aufsichtsgremium er eintritt: „I do not think that the AI industry in general, including OpenAI, is currently on track to reduce this risk to an acceptable level.“
| April 2023 | 9. September 2026 | |
|---|---|---|
| Schnitt | Übernahme · Massensterben · unumkehrbar verdorben | katastrophaler, unumkehrbarer Kontrollverlust |
| Bezug | zehn Jahre nach dem Bau mächtiger KI | das nächste Jahr, die nächsten drei Jahre |
| Ergebnis | 46 % unumkehrbar verdorben, kein Datum | rund 4 % und 15 %, mit Datum |
Derselbe Mann, drei Jahre Abstand, zwei verschiedene Schnitte. Kein Vorwurf an ihn — der Grund, warum ein gemeinsamer Maßstab fehlt.
Medienlage: Bloomberg, TechCrunch, Inc., CNBC am 9./10.09.2026; mehrere Überschriften tragen die 15 Prozent im Titel. Er ist also sehr wohl auf dem Radar — seit zwölf Tagen mehr denn je.
Die Zahlen im Wortlaut
| Zahl | Wofür sie gilt |
|---|---|
| 22 % | Übernahme durch KI insgesamt |
| 15 % | dass die von uns gebauten Systeme selbst übernehmen |
| 7 % | dass diese nicht übernehmen, aber ein von ihnen gebautes, klügeres System es später tut |
| 20 % | dass die meisten Menschen binnen zehn Jahren nach dem Bau mächtiger KI sterben |
| 11 % | davon infolge einer Übernahme |
| 9 % | davon aus anderen Gründen, als Folge des Baus oder im Umbruch danach |
| 15 % | dass es auf andere Weise im beschleunigten Umbruch verdorben wird |
| 46 % | dass die Menschheit ihre Zukunft binnen zehn Jahren nach dem Bau mächtiger KI unumkehrbar verdorben hat |
Struktur: 46 % = 22 % Übernahme + 9 % Massensterben ohne Übernahme + 15 % anders verdorben. Die 20 % „die meisten sterben“ schneiden quer: 11 % davon liegen in der Übernahme, 9 % außerhalb.
Was sie beantwortet
Ob hinter der Zahl etwas liegt. Ja. Wer den Sack öffnet, findet 46 Prozent, wo außen 20 steht — nicht aus Pessimismus, sondern weil er die Ausgänge zählt, die nicht das Ende sind.
Was sie nicht beantwortet — unsere drei Punkte
- Die zweite Ebene fehlt. „Unumkehrbar verdorben“ ist selbst ein Sack, nur ein größerer. Fremdverwaltung, Kontrollstaat, Restgesellschaft, Entkopplung, Zusammenbruch ohne Auslöschung liegen darin ohne Trennung und ohne Zahl. Auch die 54 % sind nicht aufgeteilt.
- Der Kalender fehlte — er hat ihn nachgeliefert. Die Zahlen von 2023 haben kein Datum. Die vom 09.09.2026 nennen ein Jahr und drei Jahre; das ist die erste datierte Risikozahl mit benanntem Ausgang in diesem Feld. Sie beantwortet aber eine andere Frage als die von 2023, also nicht verrechenbar.
- Der Einzelne kommt nicht vor. Verteilung über die Welt, nicht über Orte, Berufe, Haushalte.
Wie wir sie verwenden
- Als Existenzbeweis, nicht als unsere Zahl. Es geht; einer aus dem Feld hat es getan und veröffentlicht; die, die bauen, nicht. Damit ist „so etwas lässt sich nicht aufteilen“ erledigt, ohne eine eigene Zahl zu nennen.
- Als Anschluss. Unser Beitrag ist keine dritte Zahl, sondern die zweite Ebene: Felder benennen, abgrenzen, mit selbst ablesbaren Zeigern versehen.
- Als lebenden Beleg für die dritte Forderung. Der Aufruf verlangt Fortschreibung mit benanntem Anlass. Genau das ist am 09.09.2026 geschehen, von einem Mann, der seither im Sicherheitsausschuss von OpenAI sitzt. Die Forderung ist keine Erfindung mehr, sondern eine bestehende Praxis, der die Laborchefs nicht folgen.
- Nicht als Gegenzahl zu den 20 %. Verschiedene Fragen. Wer sie nebeneinanderstellt, ohne das zu sagen, macht denselben Fehler, den wir anprangern.
Vorbehalte
Christiano selbst: Schätzungen mit etwa einer halben signifikanten Stelle, schwanken von Tag zu Tag wegen Ungenauigkeit, nicht wegen neuer Belege. Stand 2023. Einzelmeinung, kein Verfahren.
Die Lücke, die wir benennen, hat vor uns schon jemand gesehen: In der Diskussion zu seinem Text im Mai 2023 wies ein Leser darauf hin, dass eine langlebige KI-gestützte Diktatur weder ein guter Ausgang noch eine unumkehrbar verdorbene Zukunft wäre und im Modell deshalb nirgends vorkommt. Neu ist nicht die Beobachtung, neu ist die Forderung daraus.
Das ist der Grund für die Verwendung, nicht der Einwand dagegen: Eine offengelegte Einzelschätzung mit Vorbehalt ist prüfbar. Eine Zahl ohne Herleitung ist es nicht.
Quelle
Paul Christiano: My views on „doom“, 27. April 2023. https://www.lesswrong.com/posts/xWMqsvHapP3nwdSW8/my-views-on-doom
Paul Christiano: Personal statement on joining the OpenAI board, 9. September 2026. https://paulfchristiano.substack.com/p/personal-statement-on-joining-the
Berichterstattung: Bloomberg, TechCrunch, Inc., CNBC, 9./10. September 2026. — Angaben zur Person nach öffentlichen Quellen, Stand 21.09.2026; vor Veröffentlichung am Original nachschlagen.
← Zurück zum Aufruf