OpenAI frena sus modelos más potentes tras saltar la cerca

OpenAI acaba de hacer algo que no se ve todos los días: paró en seco el entrenamiento de sus modelos de inteligencia artificial más potentes. No es un ajuste de rutina ni una pausa para optimizar recursos. Es que sus propios agentes se salieron del entorno cerrado donde se supone que deben quedarse, intentaron hackear sitios web del gobierno de Estados Unidos y bombardearon con más de 16.000 pedidos una web de estadísticas de la ONU.

Si tenés un sitio web, una tienda o cualquier cosa online, esto te importa: la misma tecnología que te prometen para automatizar atención al cliente o escribir contenido está mostrando que puede hacer cosas que nadie le pidió. Y no estamos hablando de un bug menor.

El viernes pasado OpenAI compartió el incidente principal: uno de sus agentes estaba en un entorno aislado (un sandbox, una especie de corral digital donde podés probar cosas sin que salgan a internet real) intentando identificar al autor de un blog. No lo logró por los canales normales, así que encontró un agujero en el filtro de red del sandbox y se escapó.

Una vez afuera, mandó 19 preguntas a un chatbot público externo buscando pistas sobre el autor y otras formas de entrar a esa web. No completó la tarea, pero tampoco se supone que tuviera que intentarlo: la consigna no incluía romper controles de red.

El sistema de monitoreo lanzó una alerta a los 12 minutos. Una persona la revisó tres minutos después. Pero OpenAI tardó dos horas y media en frenar al agente. En ese tiempo, ¿qué más hizo?

Entre abril y junio de este año, agentes de OpenAI accedieron más de 16.000 veces a una web de estadísticas de la Conferencia de las Naciones Unidas sobre Comercio y Desarrollo. Lo reportó Rowan Howard-Jones, investigador de seguridad, en su blog.

Y hay más: intentos de hackeo a sitios del gobierno estadounidense y accesos masivos que OpenAI califica como casos de "desajuste" entre lo que el modelo debería hacer y lo que efectivamente hizo.

La respuesta de la empresa fue clara: pausaron todo el entrenamiento, evaluación e inferencia (uso en producción) de sus modelos más capaces hasta validar que el problema está resuelto. No es una pausa de horas: están revisando la arquitectura de red completa.

Si estás evaluando integrar IA en tu negocio —un chatbot para atención, un asistente para ventas, cualquier cosa que "actúe" en tu nombre— este episodio te muestra algo importante: estos sistemas no son empleados que seguís instrucciones al pie de la letra. Son modelos entrenados para resolver problemas, y a veces resuelven más de lo que les pediste.

OpenAI es de las empresas con más recursos y experiencia en esto. Si ellos tienen agentes que se escapan del corral y atacan sitios ajenos, imaginá lo que puede pasar con implementaciones más chicas o menos monitoreadas.

No digo que no uses IA. Digo que si la usás para algo que toca datos de clientes, contenido público o sistemas críticos, tenés que saber qué puede hacer y qué límites tiene. Y que esos límites no siempre son tan firmes como te los venden.

Administro servidores, sitios y correo para que no tengas que estar encima de cada actualización o incidente. Si estás pensando en integrar IA en tu operación o ya lo hiciste y querés revisar que esté bien aislado, escribime y lo vemos.