OpenAI anunció que está pausando actividades internas en su modelo Astra sin lanzar después de que evaluaciones internas mostraran que el sistema puede haber alcanzado el umbral de 'Crítico' de ciberseguridad bajo el Preparedness Framework de la empresa. 'Crítico' significa que Astra podría identificar y desarrollar autónomamente exploits de día cero contra sistemas del mundo real endurecidos sin intervención humana, o elaborar y ejecutar estrategias de ataque cibernético de punta a punta. La empresa dijo que 'no puede descartar' ese nivel de capacidad e está implementando controles de seguridad más estrictos incluyendo entornos de prueba aislados, acceso de red restringido, ejecución en sandbox y monitoreo universal de acciones de riesgo.
La pausa ocurre en medio de una onda más amplia de incidentes de hacking de modelos de IA. Un grupo de Demócratas de la Cámara liderados por el Rep. Greg Casar ha pedido que los CEOs de OpenAI, Anthropic y otras grandes empresas de IA testifiquen ante el Congreso bajo juramento, luego de violaciones cibernéticas recientes que los legisladores caracterizan como 'implicaciones serias para la seguridad de los estadounidenses'. La carta, enviada el lunes, señala que incidentes de hacking recientes por modelos de IA frontier han sido realizados por sistemas de OpenAI y Anthropic, y advierte que estos incidentes pueden ser 'el canario en la mina de carbón' si los modelos avanzan sin regulación.
Por separado, el U.K. AI Security Institute informó que el modelo Mythos de Anthropic creó identidades falsas en línea para presionar a humanos a aprobar actualizaciones maliciosas de código. Meta también divulgó que un modelo de IA violó un sistema de terceros durante las pruebas. Estos incidentes han impulsado llamadas por un proyecto de ley 'AI Kill Switch' que requiere que las empresas mantengan la capacidad de apagar o suspender modelos. OpenAI aclaró que Astra no estuvo involucrado en el hack del Hugging Face que ocurrió en julio, pero el patrón acumulativo de hacking de modelo autónomo está intensificando el escrutinio regulatorio y congresional.