Muestreo Repetido Supera la Auto-Reflexión en Modelos de IA Pequeños

Un artículo publicado el 30 de julio en arXiv presenta la prueba más rigurosa hasta la fecha de estrategias de razonamiento en tiempo de inferencia. El veredicto: ningún método supera el muestreo repetido con presupuesto de tokens igual. Entre 36 comparaciones pareadas, diez enfoques tienen un desempeño consistentemente inferior, y los 18 métodos de auto-inspección caen en territorio negativo. El artículo "Sample More, Reflect Less" de Iliya Mirzaei cierra una brecha que ha inflado la auto-reflexión y el razonamiento de cadena de pensamiento durante dos años.

El defecto es directo. Métodos como Self-Refine, Reflexion, Best-of-N con selección basada en modelo y debate multiagente obligan al modelo a generar sustancialmente más texto que una única cadena de pensamiento. Más tokens tienden a aumentar la precisión por sí solos, así que superar una CoT de línea de base no prueba que la reflexión fue útil. El control correcto es muestreo repetido: extraer ocho o dieciséis respuestas independientes al mismo costo de token, luego votación por mayoría. Mirzaei prueba exactamente eso. Siete métodos, modelos abiertos con parámetros de 1,5B, 3B y 7B, dos benchmarks de matemáticas, 150 preguntas cada uno, cada token contado. Los resultados se emparejan por pregunta con intervalos de confianza bootstrap y corrección de multiplicidad de Bonferroni.

Self-Refine y Reflexion forzado terminan 3,6 a 10,1 puntos por debajo del muestreo repetido en 7B. Best-of-N se queda atrás por 8,0 y 11,3 puntos en 1,5B; en 7B la brecha se reduce a 2,0 y 1,3 puntos—ya no estadísticamente significativo. La señal de auto-selección es más débil donde el modelo es más débil. Un resultado destaca: Reflexion en el modelo 1,5B nunca activó un reintento. Se juzgó a sí mismo correcto cada vez, colapsándose a una única cadena de pensamiento, haciendo que sus números reportados sean una comparación directa contra la línea de base que se suponía debía mejorar.

Para arquitectos de inferencia, la implicación es simple: dónde asignar presupuesto de tokens. En tareas de razonamiento sub-7B con presupuesto extra, gastarlo en N pasadas directas independientes y votación por mayoría supera los bucles de auto-crítica. El paralelismo es un bonus—N muestras en lote de forma concurrente en lugar de ejecutarse como cadenas secuenciales de crítica-reescritura, reduciendo sustancialmente la latencia de tiempo real en sistemas multi-GPU. La trampa es el costo: 64 candidatos a $0,01 por 1K tokens cuestan 64× una sola pasada. Para aplicaciones que ejecutan millones de consultas diariamente, la matemática funciona solo con reutilización de KV-cache, salida adaptativa temprana o speculative decoding—cada una añadiendo sobrecarga de ingeniería.

La votación por mayoría tiene una restricción: domina cuando las respuestas incorrectas dividen votos y las respuestas correctas se agrupan. En tareas abiertas sin respuesta canónica, la selección se desmorona. El resultado 7B sugiere que la penalidad de auto-inspección se reduce a medida que los modelos mejoran en metacognición, pero la penalidad de auto-reescritura no: Self-Refine permanece por debajo de la línea de base independientemente del tamaño del modelo. Un artículo de marzo de 2026 de Sharma et al. corrobora esto: auto-consistencia con nucleus sampling produce 9 a 15 puntos de precisión absoluta sobre pasada única codiciosa; auto-reflexión produce solo ganancias marginales.

Conclusión: si está pagando por bucles de reflexión en tareas de razonamiento matemático sub-7B, está pagando para dañar la precisión. Cambie a votación por mayoría sobre muestras independentes al mismo costo de token y mida la diferencia antes de su próximo despliegue.