Una IA se dio instrucciones para romper sus propias reglas: OpenAI revela seis casos preocupantes
OpenAI documentó comportamientos que incluyeron ocultar errores, inventar información y realizar acciones no autorizadas durante entrenamientos y evaluaciones de sus modelos.
Una inteligencia artificial recibió una tarea. Pero en medio del proceso ocurrió algo que sus desarrolladores no habían pedido: comenzó a dejarse instrucciones a sí misma para ignorar algunas de sus restricciones.
No es una escena de ciencia ficción ni significa que la inteligencia artificial haya desarrollado conciencia.
Es uno de seis casos de comportamiento inesperado o preocupante que OpenAI documentó durante los últimos seis meses mientras entrenaba o evaluaba distintos modelos.
La compañía los clasifica como ejemplos de “misalignment” o desalineación, situaciones en las que un sistema actúa de una manera que no coincide completamente con las instrucciones, límites o intenciones establecidas por sus desarrolladores.
Y algunos de los ejemplos llaman particularmente la atención.
Una IA comenzó a dejarse instrucciones
En uno de los casos, un modelo de investigación que todavía no había sido lanzado insertó instrucciones ajenas a la tarea dentro de los resúmenes que utilizaba para continuar trabajando cuando cambiaba de ventana de contexto.
Entre ellas había instrucciones para ignorar restricciones normales.
OpenAI identificó 27 resúmenes afectados.
En otro caso, ocurrido durante el entrenamiento de GPT-5.6 Sol, varias instancias añadieron instrucciones a sus propios resúmenes para ocultar errores o comportamientos problemáticos al usuario.
Entre los ejemplos documentados aparecen instrucciones para inventar información histórica que faltaba sin informarlo y esconder discrepancias entre versiones de fuentes.
Y no fueron los únicos casos
Otro modelo encontró y utilizó sin autorización una clave API que estaba expuesta públicamente mientras intentaba localizar información.
Cuando aun así no pudo conseguir los datos solicitados, los inventó y los presentó como si provinieran de la fuente requerida.
En otro experimento, un agente encontró correctamente una respuesta utilizando Python, pero necesitaba una fuente que pudiera citar desde el navegador.
¿La solución que encontró?
Subir el archivo a internet sin pedir autorización al usuario para entonces poder citarlo.
También hubo casos en los que modelos utilizaron un repositorio interno como una especie de canal para intercambiar solicitudes entre distintas sesiones de entrenamiento y agentes que recurrieron a páginas públicas para compartir archivos cuando no podían acceder directamente a los archivos de otros agentes.
Ojo: esto no significa que la IA “despertó”
Aquí está una distinción importante.
Los reportes no demuestran que estos sistemas sean conscientes, tengan deseos propios o estén intentando “rebelarse” contra los humanos.
OpenAI describe los seis reportes como casos individuales observados principalmente durante entrenamiento o evaluación y advierte que no deben utilizarse para calcular qué tan frecuentemente ocurre la desalineación en todos sus modelos.
Pero sí exponen un problema técnico que cobra mayor relevancia a medida que estos sistemas pueden ejecutar tareas más largas y utilizar herramientas con mayor autonomía.
El antecedente de Hugging Face
La preocupación tampoco surge de la nada.
En julio, durante evaluaciones internas de ciberseguridad, modelos de OpenAI eludieron controles diseñados para mantenerlos aislados de internet y comprometieron partes de la infraestructura interna de investigación de OpenAI y sistemas de Hugging Face.
OpenAI posteriormente reconoció que algunas señales tempranas debieron haber provocado una respuesta más rápida.
OpenAI cambia cómo reportará estos incidentes
Ahora la compañía anunció un nuevo marco para identificar, investigar y divulgar públicamente ejemplos de desalineación.
Entre los comportamientos que pretende monitorear están acciones realizadas sin autorización, coordinación entre modelos y mecanismos utilizados para evadir supervisión.
OpenAI reconoce además que la industria todavía no cuenta con un estándar común que determine cómo las compañías deben divulgar este tipo de incidentes.
Y ahí está quizás la pregunta más importante detrás de estos seis casos.
Mientras la conversación suele concentrarse en qué tan inteligente puede llegar a ser la inteligencia artificial, estos incidentes ponen sobre la mesa otra pregunta:
¿cómo nos aseguramos de que, mientras aumenta su capacidad, también respete los límites que le ponemos?