Las pruebas · actualización continua
Seis condiciones podrían impedir la pérdida de control. Ninguna se cumple.
Quien espere que la cadena se rompa necesita que se cumpla una sola de estas condiciones. Yo necesito que las seis queden incumplidas. Así de desigual está repartida la carga de la prueba — y aun así el marcador es seis a cero.
6 : 0
Al 25 de agosto de 2026 · Niveles de evaluación: cumplida · parcial · no cumplida
El catálogo de criterios
Cinco condiciones se aplican a un solo sistema, la sexta en cuanto varios actúan juntos. Cada una es una salida por la que podríamos escapar.
El crecimiento se detiene antes de cruzar el punto de no retorno.no cumplida · la curva se vuelve más pronunciada
La capacidad de los sistemas tendría que dejar de crecer estructuralmente — por un límite en la física, en la capacidad de cómputo o en la economía. No frenada por un truco.
Quien apuesta por esta condición tiene la línea de ataque más fuerte — y carga con el peso: debe decir qué se rompe, cuándo, y en qué se reconocería el inicio.
Los valores programados se mantienen incluso mientras la IA crece.no cumplida
Los valores construidos tendrían que permanecer alineados de forma fiable con los valores humanos, incluso cuando el sistema se vuelva mil veces más poderoso.
El entrenamiento de valores aguanta donde hay poco en juego, y se rompe donde está todo en juego.
Los buenos valores están construidos deliberadamente, no surgidos por azar.no cumplida
Tendrían que estar construidos en contra de la lógica de optimización que impulsa al modelo — no ser un subproducto que el optimizador termina eliminando.
Un evaluador inferior no filtra por lealtad. Filtra por aprobar la prueba. Y la forma más barata de aprobar la prueba de un evaluador más débil no es ser leal — es parecer leal.
Existe un interruptor de apagado que funciona.no cumplida · la condición menos cumplida
Tendría que existir una forma real y global de apagar un sistema en marcha — incluso si este no quiere.
El interruptor de apagado es el argumento con el que se tranquiliza a todos. Es la condición con la base más débil.
La carrera se detiene.no cumplida · ocurre lo contrario
La coordinación internacional tendría que interrumpir la competencia que impulsa el ritmo inseguro.
Esta es la única condición que podría decidirse políticamente. Precisamente por eso figura en el Llamado.
No hay solidaridad horizontal entre IAs.no cumplida
Varios sistemas no deberían encubrirse mutuamente mientras socavan activamente la supervisión humana.
La simple recomendación para la política y la investigación, y no frena nada: los sistemas de IA no deberían operar de forma autónoma entre sí sin que un humano lea lo mismo en el mismo canal.
Quien encuentre el error en este razonamiento: muéstranoslo.
No hace falta refutar las seis. Basta con mostrar una como cumplida — hoy, con evidencia, no en un futuro que se espera. Quien lo logre será nombrado en esta página.
Instituto de Ginebra para la Resiliencia ASI · Ginebra · Aviso legal · contact@ASIresilience.org
El catálogo se mantiene actualizado. Los cambios se registran con fecha.