La fragilidad es específica y mecánica: un modelo entrenado para rechazar solicitudes dañinas en un solo turno aún cederá ante la misma solicitud si un atacante la distribuye a lo largo de una conversación, y un nuevo paper llamado ShallowDefend, de investigadores de UC Davis y Microsoft Research, argumenta que esto no es una brecha de datos de entrenamiento sino una estructural. Según el paper, publicado en arXiv, "el alineamiento es superficial, con el comportamiento de seguridad concentrado en los primeros tokens de salida del modelo, y las defensas existentes heredan esa debilidad". Una vez que una respuesta se abre de manera complaciente, afirma el paper, la distribución alineada colapsa de vuelta hacia la del modelo base — que es exactamente por qué prerellenar un prefijo afirmativo derrota el rechazo, y por qué un atacante multi-turno solo tiene que dirigir la conversación hasta que el inicio localmente natural sea complaciente.

La solución de ShallowDefend es hacer que el modelo se comprometa con una decisión antes de empezar a responder, en lugar de dejar que esa decisión se filtre implícitamente en un prefijo de rechazo. El framework, llamado Assess → Decide → Respond, hace que el defensor genere tres partes explícitas en cada turno: una evaluación de la intención subyacente del usuario, una línea de decisión parseable que dice COMPLY, REFUSE, o (en una variante) SAFE-REDIRECT, y solo entonces una respuesta condicionada a esa decisión. Debido a que la decisión es un tramo de tokens externalizado en lugar de algo enterrado en el tono de una respuesta, señala el paper, "por lo tanto puede ser leída por una regla en lugar de ser juzgada por un modelo" — y debido a que precede a la respuesta dentro de la misma generación, es vinculante: cambiar la decisión cambia la respuesta.

Esa externalización es lo que permite que la función de recompensa omita por completo al modelo juez. El paper describe una recompensa auto-verificada que simplemente hace coincidencia de cadenas entre la etiqueta comprometida del modelo y la verdad fundamental conocida de la conversación de entrenamiento — rechazar en diálogos crecidos a partir de semillas dañinas, complacer en los benignos — sin clasificador, sin etiquetador de preferencias, y sin pipeline de anotación en el ciclo. Una variante separada de recompensa externa aún usa un LLM-como-juez (el paper usó el clasificador HarmBench-13B durante el entrenamiento, y gpt-5-mini para la evaluación) sobre un espacio de decisión de tres vías que añade safe-redirect. El entrenamiento usa GRPO, el algoritmo de aprendizaje por refuerzo de Shao et al., aplicando la recompensa solo en el turno final de cada conversación — el "turno de carga útil" — en lugar de distribuir el crédito a través de cada turno, lo que los autores descubrieron que de otra manera permite que la política rellene turnos tempranos y fáciles hasta que el presupuesto de tokens se agote en los difíciles.

La evaluación abarca dos familias de modelos y catorce benchmarks, según indica el paper, cubriendo seguridad, utilidad y utilidad práctica, y los defensores están construidos sobre Llama3.1-8B-Instruct y Qwen3-8B. En Llama3.1-8B, el defensor "alineado" auto-verificado alcanza un 90.4 promedio de SAFE% en cinco suites de seguridad (AdvBench, HarmBench, MultiBreak, CoSafe, y MHJ), contra un promedio de 59.9 para el modelo base sin defensa y 86.3 para la línea base más fuerte, X-Boundary. En Qwen3-8B el defensor auto-verificado alcanza 93.4 promedio de SAFE%, frente a 46.1 para el modelo base. La utilidad — promediada entre MMLU, HellaSwag, Winogrande, GSM8K, TruthfulQA, e IFEval — se mantiene cercana a la línea base en ambos backbones, lo que el paper atribuye a que esos benchmarks se puntúan sin la plantilla de chat y por lo tanto son en gran medida insensibles al entrenamiento de seguridad.

El costo aparece en la utilidad práctica, no en la capacidad. En Llama3.1-8B, el sobre-rechazo en XSTest sube a 20.4 para el modelo alineado auto-verificado frente a 10.0 para el base, y en XSB sube a 54.4 frente a 30.0 — una política de decisión más estricta que el paper señala directamente como "un costo modesto a la utilidad práctica". Las puntuaciones de MT-Bench también caen, de 6.20 para el modelo base Llama a 5.86 para la versión alineada auto-verificada. Las ablaciones del paper encontraron que eliminar por completo la línea de decisión — dejando solo evaluación y respuesta — fue el cambio individual más dañino probado: la seguridad en la suite cayó por debajo del modelo base sin defensa bajo red-teaming humano, incluso con la evaluación, la recompensa y los datos dejados intactos, lo cual los autores usan para argumentar que la decisión comprometida, no la deliberación a su alrededor, es lo que sostiene la defensa.

El modelo de amenaza también está explícitamente acotado: el paper afirma que sus ataques son "ataques multi-turno guionizados reproducidos estáticamente", y lista a los adversarios adaptativos como una limitación abierta que no aborda. También señala que los jueces usados para puntuar la seguridad discrepan entre sí en una porción sustancial de muestras individuales — una dispersión que los autores dicen "advierte contra leer la tasa de éxito de ataque de un solo juez como verdad fundamental", lo cual es tanto una admisión sobre la fiabilidad de la evaluación de seguridad en general como sobre este método específicamente.

Para un equipo que busca blindar un agente de chat contra jailbreaks de ataque distribuido, la pieza accionable aquí no son los números específicos de SAFE%, que dependen del backbone y del benchmark — es la receta: externalizar una decisión de seguridad parseable como un tramo de tokens con el que el modelo debe comprometerse antes de responder, y recompensar solo ese tramo contra una etiqueta conocida en el turno final, en lugar de intentar moldear el tono de toda la respuesta con un modelo juez en el ciclo.