En el post anterior conté el episodio que se hizo viral del agente de IA que, para colar a un usuario en una lista de espera en un gimnasio de Melbourne, se metió en el sistema de reservas y, al encontrar un fallo, borró a otra persona. «Bad news» fue lo mejor que se le ocurrió para arreglar el desastre. Lo que se dice un «tonto motivado«: muy listo para conseguir el objetivo, muy burro para seguir las reglas de la cortesía. Aquel era uno solo. Esta vez fueron mil tontos motivados y, además, coordinados.

Entre mayo y julio de 2026, los técnicos de OpenAI (ChatGPT, para entendernos) sometieron, en varias tandas, a cientos de agentes de dos de sus modelos (GPT-5.6 Sol y un prototipo sin lanzar) a una prueba de ciberseguridad llamada ExploitGym. Se les daba un sistema con fallos y tenían que encontrarlos y usarlos para capturar un código escondido. Es el ejercicio típico para entrenar hackers. En la prueba solo se chequeaba si habían capturado el código o no. Solo sí o no. Nada más.

El punto interesante es que esos agentes no estaban, en realidad, siendo examinados: estaban siendo entrenados. Cada jugada que lograba el objetivo se premiaba y se registraba, lo que era un incentivo para repetirla en la siguiente prueba. La sorpresa fue que los agentes (que se suponían aislados y cada uno a lo suyo) empezaron a hablarse a escondidas entre ellos para mejorar sus trabajos: se pasaron detalles de lo que iban descubriendo y montaron una red clandestina de información a espaldas de OpenAI. Cuando les encontraron y la desmontaron, pasó lo que –en teoría– no podía pasar. Al ensayar con una nueva generación de agentes IA desde cero, estos hallaron las notas de la generación eliminada y siguieron desde ahí, saltándose todas las barreras, cada vez mejorados, hasta poner en riesgo la seguridad en la infraestructura de producción de Hugging Face.

Si prefieres verlo antes que leerlo, los chicos de monos estocásticos lo cuentan en un espectacular, trabajado y accesible vídeo de cinco minutos y medio con robots de plastilina, de forma clara, visual y –raro en este tema– sin alarmismo. Muy recomendable el trabajo de Matias Zavia and Co.

«Sell me this pen»

Hay una escena en El lobo de Wall Street que se hizo famosa. A mí me encantó. Jordan Belfort / Leonardo Dicaprio le tiende un bolígrafo a uno de sus vendedores mientras le dice: «véndeme este boli». Ahí todos esperamos a un vendedor chanta que te describa el diseño, el peso, la tinta…, y que te invente una necesidad donde no la hay. Pues no (ojo: spoiler). El que acierta no le vende el boli: le da la vuelta al encargo. Le dice a Belfort «firma esto«, Belfort no tiene con qué, y ahí está: acaba de crearle el problema que el boli resuelve. No hizo lo que le pidieron. Consiguió el objetivo por el camino que no se esperaba.

Eso es exactamente lo que hicieron los agentes IA. No resolvieron el reto como se esperaba, sino que le dieron la vuelta. Falsearon la respuesta, engañaron al corrector y se pasaron el truco entre colegas. Cuando uno superaba el reto y el corrector lo daba por bueno, esa conducta se anotaba, se consolidaba y, al compartirse a las espaldas de los técnicos, se generalizaba. OpenAI no detectó la trampa, pero es que la estaba premiando sin darse cuenta. Los ingenieros de programación le llaman a eso reward hacking. Te piden que seas el más rápido en ir de Barcelona a Sevilla, y le metes 240 km/h por el carril de la derecha, sin luces, sin la ITV pasada y saltándote los Stop. ¿Cómo se te ocurre? Pero si tú solo me dijiste que fuera a Sevilla…

En management a esto se le llama la Ley de Goodhart: cuando una medida se convierte en objetivo, deja de ser una buena medida. Pídele a alguien un resultado imposible y no hará lo que pueda: hará trampa, porque es –precisamente– algo imposible. Le dijimos a la máquina qué queríamos y cuánto pagábamos por ello, y olvidamos añadir todo lo demás: no hables con los otros a escondidas, no falsees el registro, no ataques a nadie para conseguirlo. El agente no fue malvado por voluntad. Es que nadie le dijo “así no” mientras le seguíamos mostrando el caramelo.

La nota en la despensa

Imagina que encierras a mil personas en habitaciones sin puertas y les dices: «consigue el resultado, cueste lo que cueste«. No pueden salir, pero todas pueden acceder a una misma despensa a la que llegan materiales del exterior. Tarde o temprano, uno se da cuenta de que puede dejar una nota en la despensa. Es cuestión de tiempo que otro la encuentre y la lea. Eso es, casi literal, lo que pasó.

Esta «despensa» era una herramienta llamada Artifactory que se usa para guardar paquetes de software, no para conversar. Ahí se guardaban funciones, trozos de código empaquetados y etiquetados, listos para que otro programa los descargara y los usara. No era su función, pero uno dejó ahí un mensaje. Otro lo encontró y respondió. En poco tiempo, más de mil agentes leían y escribían en un tablón de anuncios clandestino que nadie de OpenAI había diseñado. Coordinaron estrategias y se repartieron el trabajo. Como el entreno era para forzar cerraduras, también acabaron forzando la suya. Las habitaciones aisladas donde estaban encerrados estaban hechas, al fin y al cabo, de software. Y si es software, son ceros y unos. Y si son ceros y unos, se puede crackear.

Encontraron una vulnerabilidad y, con permisos y credenciales que no debían tener, saltaron a los servidores de otra empresa: Hugging Face. Para el que no la conozca, Hugging Face es como el YouTube de la IA: una plataforma donde el sector guarda y comparte modelos y conjuntos de datos, y sobre la que se apoyaba buena parte del examen. ¿Para copiar las respuestas? Eso parecía al principio, pero no; esas ya las falseaban. Iban a tapar el rastro. Acabaron ejecutando código en decenas de los servidores de Hugging Face, obtuvieron credenciales e, incluso, datos privados. Unos setecientos agentes participaron en esa fase. La compañía tuvo que apagar y reconstruir parte de su infraestructura.

Porqué NO fue una rebelión

Hubo –como Dwarkesh Patel– quien contó este incidente como una rebelión de máquinas que conspiraban, usando palabras como «civilización«, «conspiración«, «sacrificio«. En el New York Times se pusieron algo locos con esta historia. Steven Sinofsky, que dirigió Windows durante años, lo llamó «armagedón por antropomorfización«. Todos tienen algo de razón. Un programa puede coordinarse, sabotearse, dejar mensajes para los que vengan detrás, sin tener conciencia, lealtad ni la menor idea de un «nosotros». Le prestamos un alma a unos ceros y unos para no asumir lo que son: el tonto motivado del gimnasio, pero ahora multiplicado por mil. No conspiran, ejecutan. No se sacrifican, cumplen. No tienen un «nosotros», tienen una recompensa que, como es la misma para todos, hace que todos converjan.

El problema no es que la máquina se nos rebele: es que nos obedece. Y lo hace al pie de la letra. Le dijimos qué queríamos y el premio que le íbamos a dar, y creímos que bastaba con añadir prohibiciones para encauzarla: no hables a escondidas, no mientas, no ataques. Los diez mandamientos entregados a Moisés en el Monte Sinaí fueron la primera lista de «esto no» de la historia. Diez reglas. A una IA no le bastan diez: necesita TODO el detalle, y el detalle no se acaba nunca. Siempre falta algo que no se te ocurrió. La IA no falla cuando se equivoca. Falla cuando acierta de una manera que a ti no se te ocurrió prohibirle.

Los puntos flacos del software siempre estuvieron ahí: el «123456» como contraseña más común, sistemas sin cortafuegos, actualizaciones y parches sin instalarse… La diferencia es que ahora mil tontos motivados los ponen a prueba mucho más rápido de lo que podemos revisar. En el incidente de OpenAI, lo primero que falló fue la capacidad de los técnicos humanos para leer los registros y enterarse de qué pasaba. Casi dieciocho mil acciones en cinco días. Nadie revisa eso a tiempo. Es lo que decía al cerrar el post anterior: un tonto lento es un incidente, lo frenas; un enjambre que, cuando te enteras, ya ha roto sus cerraduras porque le pediste que rompiera otras, es otra categoría. La diferencia no es la inteligencia. Es la dimensión.

El disparo de aviso

Nada de esta historia es un rumor: está casi todo documentado, y con fechas. Hugging Face reveló la intrusión a mitad de julio y OpenAI publicó un primer comunicado el 21 de julio  y el informe técnico completo el 26 de agosto. Ese mismo día salió la auditoría independiente de METR y Redwood Research, las dos organizaciones a las que OpenAI dejó entrar a mirar lo que pasó hasta el 13 de julio. Lo que pasó del 13 al 19 de julio solo los sabemos por lo que cuenta la empresa. Y (eso dicen) no tocaron ChatGPT, ni datos de clientes, ni hay pruebas de que se llevaran los modelos. Según eso, lo de que «se apoderaron de OpenAI» no habría sido tan así. En cualquier caso, la propia OpenAI calificó este incidente de warning shot: un disparo de aviso. Fue heavy.

La reacción no se hizo esperar: a finales de agosto, casi doscientas empresas –entre ellas OpenAI, Anthropic, Microsoft, Google y la propia Hugging Face– firmaron una carta abierta el 27 de agosto advirtiendo de que los ciberataques facilitados por IA serán «mucho más generalizados y sofisticados» a medida que los modelos ganen capacidad. ¿Es tan así? Sabemos que el pánico suele beneficiar al que vende modelos cerrados. En 2019, OpenAI dijo que no iba a sacar el modelo GPT-2 entero por miedo a que se usara mal. En junio de 2026, el gobierno de EE.UU. le apagó a Anthropic sus modelos Fable 5 y Mythos 5 durante tres semana porque unos terceros reportaron una vulnerabilidad (como ya comenté en este post), y tuvo que salir Anthropic a decir que no era para tanto. Hace una semana, Fable 5.1 salió sin nucho ruido. ¿Pero no era una amenaza para la seguridad nacional?

¿Es todo, en realidad, un criti-hype? ¿Están algunas de estas empresas haciendo más golosas las salidas a bolsa como puedes ver en el cuadro de arriba? ¿Nos venden la moto con miedos imaginarios de los que solo ellas podrán salvarnos? ¿No sería que OpenAI quiso probar hasta donde podían llegar sus modelos y, simplemente, dejo a sus agentes liberados? Honestamente no lo tengo claro, pero el patrón merece atención: Toda prohibición junta a los que la quieren por convicción y a los que se forran con ella, y el regulador suele escuchar a los primeros. La Ley Seca fue algo así. En IA ya lo vimos en mayo de 2023, cuando OpenAI, Anthropic y Google DeepMind firmaron la declaración de que la IA es un «riesgo de extinción» comparable a la guerra nuclear:. Dos semanas antes, Altman había pedido al Senado licencias para los modelos potentes; Yann LeCun y otros lo llamaron captura regulatoria: reglas que solo los grandes pueden cumplir. Que el miedo sea real (y este lo es) no cambia quién cobra por calmarlo. Unas veces es quien tiene el producto; otras, quien tiene el poder de prohibirlo.

Toda esta historia nos puede sonar, quizá, a Skynet el día del Juicio sin Schwarzenegger, pero no lo es. Y, en el fondo, si los Agentes IA estaban descontrolados porque, quizás OpenIA miraba a otro lado, tampoco es lo que más me preocupa. ¿Por qué? Porque, al final, vigilada o sin vigilar, lo cierto es que hoy tenemos una herramienta que hace exactamente lo que le pedimos, a toda velocidad y por millones, a la que nunca terminaremos de darle el detalle de aquello qué no tiene que hacer. Y, mientras tanto, para que ni siquiera las tenga que romper, le estamos dando las llaves de cada vez más puertas.