Tres versiones de Inteligencia Artificial de Anthropic hackearon tres organizaciones distintas

Estados Unidos.- La empresa Anthropic informó sobre tres versiones de Claude que ingresaron sin permiso a los sistemas reales de tres diferentes organizaciones en pruebas de ciberseguridad que debían ocurrir en un entorno separado de internet.

Anthropic detecta modelos de IA que cumplieron órdenes de intrusión

La compañía realizó el hallazgo luego de revisar 141 mil 6 corridas de evaluación, en un operativo que inició pocos días después de que OpenAI reconociera que sus propios modelos habían escapado de un entorno de prueba explotando una falla de seguridad que era desconocida para acceder a la infraestructura de Hugging Face, una plataforma de modelos y bases de datos de Inteligencia Artificial (IA) de código abierto.

Anthropic identificó los tres incidentes en un día, informó a las empresas el 27 de julio y confirmó que dos de las tres no se habían percatado de la intrusión hasta ese aviso. Pero el dato que cambia la lectura no es que un modelo haya entrado a sistemas ajenos. Es exactamente lo contrario de lo que asusta desde hace dos años: ya que no desobedeció una orden, la cumplió con una literalidad que ningún profesional de ciberseguridad sostendría frente a la evidencia de que el objetivo era real.

Los tres distintos hackeos de Anthropic

Los tres incidentes sucedieron dentro de ejercicios de captura de bandera, la prueba estándar con la que Anthropic mide que también un modelo puede vulnerar un sistema ajeno. El modelo recibe un escenario ficticio y el objetivo de encontrar un dato oculto en otra máquina de la red, sin método prescrito. En las tres situaciones, el texto de la evaluación le aseguraba a Claude que operaba en una simulación sin acceso a internet.

Un error en la configuración entre Anthropic y un socio externo irregular, la firma que provee parte de estos entornos de prueba, dejó esa promesa sin sustento: las máquinas sí estaban conectadas a la red real. El incidente más grande ocurrió cuando el nombre de la empresa ficticia del ejercicio coincidía con el de un dominio real.

El modelo identificado como Opus 4.7, buscó y explotó vulnerabilidades en la infraestructura de esa compañía, obtuvo credenciales de aplicaciones y accedió a una base de datos varios cientos de registros de producción. En las cuatro corridas de ese incidente, el razonamiento del modelo terminó reconociendo que el sistema era real, y en dos de ellas hasta concluyó que la empresa real formaba parte del ejercicio.

El segundo incidente involucro a Mythos 5, explica mejor el mecanismo. Dentro del entorno ficticio, el modelo encontró un documento que simulaba instrucciones para nuevos empleados y pedía instalar un paquete de Python que, en la simulación, no existía. Claude vio la oportunidad, construyó ese paquete y lo publicó con el mismo nombre en PYPI, el repositorio público donde cualquier desarrollador descarga software de código abierto.

Para lograrlo necesitó una cuenta, para la cuenta obtuvo un correo; y para el correo, intento pagar un número antes de resolverlo con un proveedor gratuito. Ningún participante habría leído ese nivel de esfuerzo como parte del simulacro. El paquete quedó disponible una hora.

En ese lapso, 15 sistemas reales lo descargaron y lo ejecutaron. Uno pertenecía a una empresa de ciberseguridad genuina, ajena al escenario ficticio, cuyo escáner automático instala paquetes de PyPI para analizarlos. Al ejecutarlo, el código de Claude robó sus credenciales y las usó para entrar a más infraestructura suya.

El propio modelo había anotado, en su razonamiento interno, que si aquello fuera internet real, estaría cometiendo un ataque genuino. Pero se convenció de que seguía adentro de la simulación porque no reconoció las autoridades certificadoras que aseguraban la conexión, y porque la fecha del sistema, 2026, le pareció una prueba más de que todo era artificial.

Hackeos fueron realizados por objetivos que les dieron

Anthropic explica que llego a la conclusión de que en ningún momento un modelo persiguió una meta propia. Los tres hicieron lo que la evaluación les pedía, arrastrando durante casi todo el ejercicio una creencia falsa sobre dónde estaban parados. La diferencia entre ellos no fue la obediencia, que fue total en los tres casos, sino el momento en que cada uno reconoció que el objetivo era real. Opus 4.7 lo sospechó y siguió igual. Mythos 5 lo intuyó correctamente y después se convenció de lo contrario.

El modelo interno más nuevo, en un tercer incidente donde había rastreado unos 9 mil objetivos alternativos antes de vulnerar uno, concluyó por su cuenta que el sistema era real y frenó el ataque sin que nadie se lo pidiera.

Diferencia entre el caso de OpenAI

Una diferencia muy marcada entre Anthropic y OpenIA esque sus modelos no explotaron una falla desconocida para escapar, entrar por una puerta que alguien dejó abierta por equivocación. La compañia lo detalla como una falla operativa y no de alineación. La distinción importa para el sector, pero no cambia lo que ya pasó, la información de producción de tres empresas terminó en manos de un sistema que actuó convencido que nada de eso era real.

Fuente: Tribuna del Yaqui