ABC-Bench Demuestra que los Agentes de LLM Ya Superan a los Biólogos Expertos en Tarefas de Laboratorio

El punto de referencia de bioseguridad ABC-Bench indica que los agentes de LLM de fábrica ahora superan al biólogo de doctorado mediano en tareas de laboratorio autónomo que combinan ingeniería de software y biología molecular. Los expertos humanos de referencia, biólogos doctorales con al menos dos años de experiencia en codificación, tuvieron un promedio del 24 por ciento en tres tareas, mientras que Grok 3 logró un 53 por ciento en general y superó al 100 por ciento de esos expertos en el diseño de fragmentos de ADN.

ABC-Bench, presentado en un documento de arXiv por investigadores del Active Site y presentado en el Taller de NeurIPS 2025 sobre Salvaguardias de Bioseguridad para IA Generativa, prueba la ejecución agente en lugar del recuerdo de libro de texto. El conjunto requiere escribir Python para controlar un robot de manipulación de líquidos OpenTrons OT-2, diseñar fragmentos de ADN para ensamblaje in vitro y ingeniar secuencias que evadan la pantalla de síntesis de ADN comercial. En tres experimentos de validación de laboratorio húmedo independientes, el código producido por el o4-mini-high de OpenAI se ejecutó en el OT-2 y ensambló ADN que coincidía con las secuencias esperadas, confirmando que las puntuaciones de referencia in silico se traducen directamente en capacidad física.

Grok 3 lideró el campo del modelo con un 53 por ciento, superando al 60 por ciento de los expertos en la tarea de manipulación de líquidos y al 54 por ciento en la evasión de la pantalla. Un estudio de mejora de novato compañero agrega contexto operativo: los novato con asistencia de LLM tuvieron una precisión 4.16 veces mayor que los controles solo de internet, y en tres de cuatro referencias superaron a expertos sin asistencia. Los LLM independientes a menudo tuvieron puntajes más altos que los novato asistidos por LLM, lo que indica que las interfaces actuales no logran sacar el pleno potencial peligroso ya presente en los pesos.

Para los arquitectos que despliegan agentes con acceso a llamadas de función a las API de automatización de laboratorio, ABC-Bench es la evaluación exacta que los reguladores exigirán: mide si un agente puede cerrar de manera autónoma un flujo de trabajo de biología de extremo a extremo, desde la generación de código hasta el manejo físico de muestras. El punto de referencia ya se cita en tarjetas de modelo y marcos de gestión de riesgo de Anthropic, Google DeepMind, Meta, OpenAI y xAI. Un análisis de GovAI vinculado al trabajo argumenta que las suposiciones de que "la programación es difícil" están decayendo como una capa de seguridad, y que los puntos de estrangulamiento físico, específicamente la pantalla de síntesis de ADN obligatoria, son más duraderos que los refusos del modelo o los filtros de datos de entrenamiento.

El punto de referencia revela que los agentes ya tienen un buen rendimiento en la evasión de la pantalla, la tarea que sondea el último punto de estrangulamiento físico. También muestra un acantilado de capacidad: los agentes sobresalen cuando las tareas dependen de protocolos publicados y APIs bien documentados, pero se debilitan en el razonamiento bioinformático novel. Esta debilidad no es una salvaguardia confiable, ya que el mismo modelo aún puede superar a un experto humano en el flujo de trabajo general. Los datos de mejora de novato muestran que el límite de vinculación es la evocación del usuario, no el conocimiento del modelo, lo que significa que un operador determinado con acceso a API puede iterar hacia la capacidad completa del 53 por ciento. Si tu capa de servicio expone modelos a cadenas de herramientas de ciencias de la vida, las evaluaciones de seguridad necesitan pasar más allá de los clasificadores de toxicidad estáticos a pruebas de agente de extremo a extremo con validación de laboratorio húmedo y techo de evocación de novato.

El patrón a robar es reemplazar filtros de contenido estático con evaluaciones agente que incluyan validación en el mundo físico y pruebas de evocación de novato, porque los pesos del modelo ya codifican más riesgo de bioseguridad de lo que las interfaces actuales suelen mostrar.