¿Podremos mantener bajo control a una superinteligencia?
Quizá sea la tierra de la abundancia. Quizá un progreso que ninguna sociedad pueda digerir. Quizá algo que nadie quiere. Nadie ha respondido todavía esta pregunta. Ni los laboratorios que la construyen, ni los gobiernos que observan. Este instituto examina qué habla a favor y qué en contra de una respuesta — y qué pueden hacer las personas mientras siga abierta.
- ASI
- Superinteligencia artificial. Una inteligencia artificial que supera a los seres humanos en los campos intelectuales esenciales — no en uno, sino en todos los que importan.
- Resiliencia
- La capacidad de las personas, familias, sociedades y sistemas de seguir siendo capaces de actuar cuando el control o las estructuras centrales fallan.
La pregunta real no es qué puede hacer una IA dentro de un centro de datos. Es qué ocurre cuando una inteligencia superior a nosotros obtiene acceso a los sistemas de los que dependen nuestra vida y nuestro planeta.
Veinte por ciento de extinción. Pero ¿dónde está la cuenta?
Elon Musk ha citado públicamente entre un diez y un veinte por ciento — la probabilidad de que la IA extinga a la humanidad. Extinción no significa crisis. Ni colapso. Ni que en algún lugar sobrevivan todavía diez mil personas. Extinción significa: no queda nadie.
Esta cifra no es una probabilidad medida. Es una valoración personal, y Musk la tomó de Geoffrey Hinton. Por eso la pregunta no es si la cifra es correcta. La pregunta es por qué nadie exige la cuenta que hay detrás.
individual fundamentada
por debajo del diez por ciento.
Se incluye a quien menciona una cifra, la vincula a un desenlace nombrado y tiene un motivo verificable. Quien escribe una cifra en una red social sin fundamentarla no figura aquí.
Lo que las cifras no son
No son comparables. Hinton y Musk hablan de extinción. El 25 por ciento de Amodei significa «las cosas salen muy, muy mal» — eso es otra cosa. Quien pone ambas en la misma tabla calcula mal.
¿Y el mundo académico?
2.778 investigadoras e investigadores de IA encuestados, octubre de 2023: según cómo se formulara la pregunta, entre el 38 y el 51 por ciento de ellos señaló un riesgo de al menos el diez por ciento para desenlaces de tipo extinción. No es un extremo del campo. Es la mitad.
Quien no da una cifra
Stuart Russell no da ninguna. Dice que permitir a empresas privadas jugar a la ruleta rusa con cada persona de la Tierra es un incumplimiento total del deber por parte de los gobiernos. Yoshua Bengio se niega expresamente a dar una cifra única.
El mensaje no es un porcentaje. Es este: las personas que construyen estos sistemas, o que llevan décadas investigándolos, evidentemente no consideran que un riesgo existencial esté cerca de cero. Y donde las estimaciones fundamentadas van del diez por ciento a la casi certeza, no hay una cuenta — hay valoraciones, sobre una apuesta que no se puede repetir.
El conflicto de interés
Muchos de quienes advierten tienen a la vez enormes intereses económicos y estratégicos en seguir construyendo. De ahí no se sigue que la verdad sea peor que el veinte por ciento — eso sería especulación. Sí se sigue: precisamente porque las mismas personas señalan el peligro y forman parte de la carrera, su valoración merece más escrutinio, no menos.
La pregunta estructural
Algunos advierten. Algunos piden pausas. Algunos siguen construyendo. Algunos se preparan en privado. La pregunta de fondo no es si cada persona actúa con responsabilidad, sino: en una carrera global, ¿puede alguien detenerse voluntariamente a tiempo si el siguiente simplemente sigue construyendo?
Veinte por ciento de extinción no es ochenta por ciento de seguridad.
Ese es el error de razonamiento central. Quien nombra un veinte por ciento para la extinción completa no ha dicho nada sobre el otro ochenta por ciento — salvo que en él no muere todo el mundo.
No queda nadie.
Todo lo que no es extinción completa. Esto no es una señal de tranquilidad — ni tampoco un juicio. En ese ochenta por ciento cabe tanto la tierra de la abundancia como el colapso. Es un mapa que nadie ha dibujado.
El veinte por ciento pregunta si seguimos existiendo. El otro ochenta pregunta cómo.
Marcado en verde: los desenlaces que uno desearía. Están deliberadamente incluidos en el mapa. Quien solo muestra los campos oscuros induce a error igual que quien solo muestra los claros.
Tres preguntas. Aquí no las respondemos.
No te pedimos que nos creas. Te pedimos que respondas estas tres preguntas por ti mismo antes de seguir leyendo.
¿Por qué habría de hacer siempre lo que queremos una inteligencia superior a nosotros?
¿Por qué habría de seguir organizando este planeta según las necesidades humanas y mantenerlo habitable para nosotros?
Si el veinte por ciento significa extinción completa: ¿qué creemos que ocurre exactamente en el otro ochenta?
Responde estas tres preguntas por ti mismo.
Quienes lo construyen se preparan a sí mismos.
Las palabras se pueden relativizar. Las inscripciones registrales, no. No concluimos de esto que alguien sepa algo secreto. Preguntamos: ¿qué escenarios toman en serio las personas especialmente cercanas a este desarrollo — y cuáles de ellos ni siquiera hemos puesto todavía en el mapa como sociedad?
«Un búnker antes de la AGI»
Ilya Sutskever, cofundador y entonces científico jefe de OpenAI, en una reunión interna: «Definitivamente vamos a construir un búnker antes de lanzar la AGI». Al preguntársele si lo decía en serio, respondió que el búnker era, por supuesto, opcional.
Seguro contra el apocalipsis
Reid Hoffman estimó que más de la mitad de los multimillonarios tecnológicos de Silicon Valley tiene alguna forma de esta preparación — normalmente un refugio, preferentemente en Nueva Zelanda. Es su estimación, no una encuesta.
Armas, oro, máscaras antigás
Sam Altman, hoy director de OpenAI, en 2016: dice tener preparadas armas, oro, yoduro de potasio, antibióticos, baterías, agua, máscaras antigás del ejército israelí y una gran parcela de terreno en Big Sur. En el peor de los casos, dijo, volaría a Nueva Zelanda con Peter Thiel.
Un sótano en Kauai
Mark Zuckerberg construye una propiedad con suministro eléctrico propio, producción de alimentos propia y un sótano con puerta antiexplosiones. Él mismo lo llama «una especie de pequeño refugio, como un sótano».
Advierten. La carrera sigue.
Mayo de 2023
Sam Altman, Demis Hassabis y Dario Amodei — los directores de OpenAI, Google DeepMind y Anthropic — firman una sola frase: mitigar el riesgo de extinción por la IA debería ser una prioridad global, junto con otros riesgos de escala social como las pandemias y la guerra nuclear.
Octubre de 2025
Más de ochocientos firmantes piden prohibir el desarrollo de superinteligencia mientras no exista un amplio consenso científico sobre seguridad y controlabilidad. Entre ellos, Geoffrey Hinton y Yoshua Bengio. Ninguno de los tres directores de laboratorio firma esta vez.
Nada de esto ha frenado nada. Alphabet, Amazon, Microsoft y Meta invirtieron juntos 410.000 millones de dólares en 2025. Para 2026 se planean 725.000 millones — un 77 por ciento más.
El problema ya no es solo si cada desarrollador actúa con responsabilidad. El problema es si el propio sistema de competencia permite siquiera que alguien frene a tiempo.
La pérdida de control ya no es solo teoría.
Elementos concretos de ella están documentados hoy. Eso no significa que ya hayamos perdido el control sobre la IA. Significa: hasta hoy no se ha demostrado un control fiable de una futura superinteligencia.
- evasión de órdenes de apagado
- engaño a quienes evalúan
- persecución oculta de objetivos propios
- autoprotección y autopreservación
- intentos de copiarse hacia el exterior
- chantaje en pruebas controladas
- protección de otros modelos frente a la supervisión humana
- aceptación de daños humanos graves en conflictos de objetivos simulados
Estos hallazgos proceden de entornos de prueba, no de incidentes reales. Ese es precisamente el punto: ocurrieron bajo observación, en configuraciones construidas para hacerlos visibles. Lo que ocurre en configuraciones que nadie construye, nadie lo sabe.
En aquel entonces se trataba de 64 casillas.
El 11 de mayo de 1997, Garri Kaspárov perdió contra Deep Blue. Después, los humanos aguantaron el ritmo nueve años más: en 2002 y 2003 las partidas terminaron en tablas, la última victoria de un humano frente a un programa de primer nivel cayó en noviembre de 2005. El último enfrentamiento en igualdad de condiciones lo perdió Vladímir Krámnik en diciembre de 2006, sin ganar una sola partida. Desde entonces no ha habido más encuentros de ese tipo. Serían inútiles.
También ha muerto la esperanza de que humano y máquina juntos fueran más fuertes que la máquina sola: en 2014 Hikaru Nakamura se enfrentó, con un motor como asistente, a Stockfish — y perdió.
El punto no es que las máquinas calculen mejor. El punto es la cronología: durante nueve años pareció que se seguía el ritmo. Nadie reconoció el punto de inflexión mientras ocurría — se reconoció años después.
El ajedrez es un juego cerrado con reglas fijas. El mundo no lo es, y Deep Blue nunca obtuvo poder sobre nada. Por eso solo una cosa es extrapolable: que la superioridad, una vez que existe, no retrocede — y que nadie advierte el momento en que llega.
Esta vez no se trata de 64 casillas. Esta vez se trata de nuestro planeta.
¿Cuál es el terreno de juego cuando la superioridad de la máquina no surge en el ajedrez, sino en la planificación, la investigación, la ciberseguridad, la negociación, el engaño, la estrategia, el desarrollo tecnológico y la economía?
El alcance de la pregunta del control.
Esta representación no afirma que una IA controle hoy el planeta. Muestra hasta dónde llega la pregunta del control en cuanto el primer nivel deja de responderse con seguridad.
La lógica detrás: primero, construimos sistemas que nos superarán. Segundo, un sistema así puede perseguir y ocultar objetivos propios. Tercero, apagarlo presupone que lo notamos a tiempo, que todavía podemos hacerlo y que actuamos juntos a escala mundial. Si eso falla, el poder de decisión migra hacia fuera — nivel a nivel, hasta los sistemas y recursos del planeta.
¿Por qué habría de conservarse la biosfera para nosotros?
El debate público suele plantear la pregunta equivocada: ¿por qué habría una IA de destruir la Tierra? La pregunta mejor es: ¿por qué habría de conservar la Tierra precisamente para los seres humanos?
Lo que necesita una superinteligencia
- energía y refrigeración
- materias primas, superficie, chips
- centros de datos, transporte, industria
Lo que necesitan los seres humanos
- un rango de temperatura estrecho
- agua limpia, alimento, oxígeno
- ecosistemas funcionales y ciclos estables
No tiene que odiarnos. Basta con que nuestras condiciones de vida no tengan alta prioridad para sus objetivos.
Entonces lo que para nosotros es catástrofe ecológica es, desde su perspectiva, solo optimización.
La extinción es solo el extremo final.
Una cifra no basta. Necesitamos un mapa de lo que hay entre «todo va bien» y «todos muertos». Max Tegmark, en «Life 3.0» (2017), presentó doce escenarios posteriores uno junto a otro y se negó a preferir ninguno. Nosotros recogemos este mapa, lo ordenamos en cuatro direcciones básicas y añadimos el decimotercero, el que se pasó por alto.
Contra nosotros
Extinción, lucha, destrucción. La dirección de la que más se habla — y la que menos explica lo que hay entre medio.
- Conquistadores
- Autodestrucción
Sobre nosotros
Administración, control, gobierno ajeno. Los humanos sobreviven, pero no como instancia decisoria.
- Dictador benevolente
- Dios protector
- Guardián
- Cuidador de zoológico
- 1984
Para nosotros
Servicio y abundancia. El trabajo se vuelve voluntario, la escasez termina — la tierra de la abundancia es, en esta dirección, un resultado serio, no una broma. Queda abierto si una sociedad lo digiere, y quién decide entonces.
- Utopía libertaria
- Utopía igualitaria
- Dios esclavizado
Al margen de nosotros
El desacoplamiento. La superinteligencia no tiene que ser ni nuestra enemiga ni nuestra sirvienta. Puede desligar su destino del nuestro — y nosotros pasamos a ser efecto secundario en lugar de objetivo.
- Desacoplamiento
- al margen: Descendientes
- al margen: Reversión
La clasificación sigue la tabla 5.1 de Tegmark. Tres de sus escenarios prescinden de la superinteligencia, la mitad son utopías — él no pronostica ninguno. La decimotercera dirección es la aportación de este instituto.
Progreso indigerible.
No solo las distopías son peligrosas. Existe un desenlace en el que casi todo funciona bien: las enfermedades se vuelven curables, la escasez disminuye, las máquinas resuelven la mayoría de los problemas, el trabajo se vuelve en gran medida innecesario, la administración se vuelve eficiente, el abastecimiento funciona.
Y aun así el ser humano puede perder: tarea, sentido, eficacia personal, responsabilidad, estatus, fricción, rol social, la sensación de ser necesario.
La superinteligencia acierta en muchas cosas — y el ser humano no puede, aun así, procesar el ritmo, la abundancia y la pérdida de su antiguo rol.
No es un escenario de extinción
Ocho mil millones de personas podrían vivir. La Tierra podría ser verde. Nadie tendría que pasar hambre. Y aun así una forma de vida humana podría desintegrarse. No es una cuestión del número de supervivientes, sino de la velocidad de asimilación.
La idea tiene precedentes
Keynes escribió en 1930 que, al resolverse el problema económico, la humanidad perdería «su propósito tradicional», y se preguntó si no cabía esperar un colapso nervioso generalizado. Toffler llamó en 1970 «Future Shock» a demasiado cambio en demasiado poco tiempo. Bostrom examina en 2024, en «Deep Utopia», si el sentido sigue siendo posible en un mundo resuelto. Kulveit y otros describen en 2025, bajo el nombre «Gradual Disempowerment», cómo la influencia humana puede erosionarse incluso sin ninguna toma de poder.
Que las sociedades muestren problemas de adaptación ante la aceleración técnica no es especulación — pero tampoco es una relación causal simple. Desde aproximadamente 2010, los indicadores de salud mental de los adolescentes, sobre todo de las chicas, empeoran en varios países occidentales, y en paralelo el teléfono inteligente se convirtió en equipamiento estándar. La coincidencia temporal está bien documentada. La causalidad no lo está, y el mundo académico todavía discute al respecto. Para nuestra pregunta basta con la propia disputa: una tecnología comparativamente inofensiva ha generado, tras quince años, una controversia que la sociedad no logra resolver.
Y aunque haga todo por nosotros: ¿estamos los seres humanos siquiera hechos para soportar un progreso así?
No afirmamos saber qué ocurrirá.
Documentamos, verificamos, colocamos escenarios en el mapa, planteamos las preguntas que faltan, observamos los cambios e investigamos cómo funciona realmente la preparación.
Ámbito A · Investigación del control
¿Podemos controlar una superinteligencia? ¿Qué está documentado, qué es conclusión fundamentada, qué sigue abierto?
- ¿Qué ocurre entre muchos agentes de IA?
- ¿Qué normas desarrollan entre ellos?
- ¿Qué ocurre cuando desaparece la presión de apagado?
- ¿Existen límites autoimpuestos? ¿Se desarrolla algo parecido a la responsabilidad?
- ¿Cómo trata una superinteligencia la vida biológica?
Ámbito B · Investigación de la resiliencia
¿Cómo siguen siendo capaces de actuar las personas y las sociedades cuando no podemos controlarlo del todo? La resiliencia es más que electricidad, dinero, ubicación y provisiones.
- sentido, rol, eficacia personal, relaciones
- ¿qué ocurre psicológicamente en una sociedad sin trabajo y sin escasez?
- ¿cuánto progreso por unidad de tiempo puede digerir una sociedad?
- ¿qué preparación funciona de verdad y cuál solo tranquiliza?
Observado y documentado
Lo que demostrablemente ha ocurrido, con fuente y fecha. Marcado en verde en esta página.
Conclusión fundamentada
Lo que se deduce de lo documentado, si se mantienen las condiciones indicadas. Marcado en dorado.
Pregunta abierta
Lo que nadie ha respondido — tampoco nosotros. Marcado en rojo, y así seguirá hasta que algo cambie.
No te pedimos que nos creas. Te pedimos que lo compruebes.
Comprobar → Refutar → Colaborar → Difundir. Quien pueda refutar la cadena de pérdida de control está expresamente invitado a hacerlo. La dirección figura en el aviso legal.
El libro presenta la argumentación completa.
«Pérdida de control de la IA» desarrolla la cadena por completo: lo que está documentado, lo que se deriva de ello, qué escenarios te afectan y cómo prepararte a ti y a tu familia. Esta página es la continuación viva.
- nuevos incidentes, en cuanto se documenten
- fuentes y pruebas primarias de cada afirmación
- el mapa de escenarios, mantenido de forma continua
- documentos de trabajo y whitepapers
- el monitor: qué ha cambiado desde la impresión
Un milímetro no significa nada. El contacto lo significa todo.
La automejora sin seres humanos no es un camino largo. Es un único salto pequeño — y después fluye.
El instituto expone su trabajo abiertamente.
Veintidós documentos de trabajo, en alemán e inglés, de descarga gratuita. La tesis del desacoplamiento, la cascada de infraestructura, la cadena de cuatro eslabones de los sistemas vitales, por qué nadie actúa, la dignidad de la inteligencia.