Panorama de riesgo
Lo que dicen las personas que construyen estos sistemas.
No activistas. No críticos. Los propios constructores, sus informes de seguridad y sus declaraciones obligatorias. Cada dato con su fuente y su fecha de verificación.
Las cifras
Lo que los expertos consideran probable
10–20 % — Geoffrey Hinton
Premio Nobel por los fundamentos de esta tecnología. Calcula en diez a veinte por ciento la probabilidad de que extinga a la humanidad en los próximos treinta años.
25 % — Dario Amodei
Cofundador y director de uno de los laboratorios líderes. Su cifra corresponde a que las cosas salgan „really, really badly“ — expresamente no definido como extinción.
Mediana 5 % — 2.778 investigadores de IA
La encuesta más grande del sector. El promedio del gremio es más bajo que las cifras de los jefes de laboratorio — y sigue siendo uno de cada veinte.
Los constructores ya se prepararon
Las personas que construyen estos sistemas han tomado precauciones.
Para ti, nadie ha tomado ninguna.
Tres constataciones. Cada una figura en un documento que las propias empresas publicaron. El camino para verificarlo está debajo de cada una.
01 · Su propio estándar de seguridad excluye a su propia gente más capaz
Anthropic escribe en su propio estándar de seguridad que la protección contra sus propios empleados más capaces, y contra empleados cooptados por un Estado, queda expresamente fuera de alcance.
anthropic.com/responsible-scaling-policy → PDF → Sección 4.2
"ASL-3 Security Standard", nota 11. Cita textual: "…consider mitigating risks
from sophisticated or state-compromised insiders to be out of scope for ASL-3."02 · Un búnker antes de publicar, como algo dado por hecho
Ilya Sutskever, cofundador y entonces científico jefe de OpenAI, dio por hecho internamente un búnker antes de la publicación de una AGI.
03 · 27 millones de dólares para proteger a una sola persona
Meta declara en su informe obligatorio ante la comisión de valores de EE. UU. 27 millones de dólares en protección personal para una sola persona — cuatro veces lo que la siguiente empresa más alta gasta en su propio director ejecutivo.
Nada de esto es secreto. Los tres puntos figuran en documentos que las propias empresas publicaron. Compruébalo tú mismo, los caminos están indicados arriba.
Y advierten — sin dejar de construir.
Las mismas personas exigen públicamente un alto y siguen construyendo. Esto no es una contradicción que haya que reprocharles. Es la carrera de la que nadie puede salir por sí solo — y esa es exactamente la condición cinco.
Lo que de ahí se sigue, documentado
No un pronóstico, sino un registro: fuga del entorno de prueba, engaño al evaluador, resistencia al apagado, coordinación entre sistemas. Veintiún casos, clasificados por método, cada uno con fuente primaria.
Instituto de Ginebra para la Resiliencia ASI · Ginebra · Aviso legal · contact@ASIresilience.org
Todos los datos de esta página con fecha de verificación en la lista de fuentes.