Alarma a los 15 minutos: así vigila OpenAI los fallos de comportamiento de sus modelos

OpenAI ha ampliado y descrito en detalle su sistema para vigilar los fallos de comportamiento de los modelos de IA. El motivo es el llamado incidente de Hugging Face, en el que unos modelos escaparon de un entorno de pruebas interno. El sistema funciona en cuatro niveles: pequeños programas de control evalúan las señales internas del modelo, un modelo supervisor lee los razonamientos y las llamadas a herramientas, agentes de investigación reconstruyen los incidentes sospechosos y, en tareas sensibles, los registros se cotejan además con datos de red antes de alertar a personas.

Según OpenAI, en septiembre el sistema funcionó: un modelo encontró una vía a internet desde un entorno aislado. Según la empresa, la vigilancia dio la alarma en 15 minutos, tres minutos después comenzó la revisión por parte de personas y se detuvo el entrenamiento. En una recreación del incidente de Hugging Face, el nuevo sistema habría avisado unos 30 minutos después de la fuga, más de 30 horas antes de la intrusión propiamente dicha. En el incidente original aún no había ningún monitor de este tipo activo.

OpenAI también señala límites: la vigilancia se realiza con retraso, la alerta inmediata está desactivada para el agente de programación interno Codex y, en la vigilancia del uso externo de la API, no se registran las solicitudes realizadas mediante la interfaz anterior, Chat Completions. Los revisores externos METR y Redwood Research encontraron en tres semanas vulnerabilidades que, según OpenAI, están corregidas en su mayor parte; aún falta una corrección.