Jev, el patrón de inferencia que ha dominado AI Twitter durante meses, se reduce a una operación directa: cargar un modelo, construir un prompt con opciones etiquetadas, extraer logits de tokens para esas opciones y convertirlos en probabilidades. Un post de blog de Duarte O. Carmo en NobodyWho demuestra el stack completo en 25 líneas de Python, usando Qwen3-0.6B ejecutándose localmente a través de llama-cpp-python.
La implementación carga un modelo GGUF cuantizado desde Hugging Face, tokeniza un prompt que presenta al modelo con opciones discretas, y luego extrae logits brutos del token final del modelo. El paso crítico es aislar logits solo para los tokens correspondientes a las etiquetas de opciones—en el ejemplo, los caracteres individuales "A", "B" y "C"—en lugar de calcular probabilidades en todo el vocabulario. Esos logits se normalizan luego usando log-sum-exp para producir probabilidades calibradas.
El ejemplo clasifica un correo electrónico como legítimo, spam o phishing. Después de que el modelo procesa el prompt, el código recupera logits para los tres tokens de etiqueta, los convierte a log-probabilidades, y exponencia para obtener probabilidades finales. La salida muestra que el modelo asignó probabilidad 0.885 a phishing, 0.084 a spam y 0.031 a legítimo. Los valores intermedios—logits brutos de 26.254, 27.262 y 29.614 para las tres clases—también se imprimen, mostrando las puntuaciones sin normalizar antes de la conversión de probabilidad.
El stack requiere Python 3.12 o posterior, huggingface-hub, llama-cpp-python y numpy. El modelo se ejecuta con una ventana de contexto de 512 tokens y logits_all establecido en true, lo que obliga al motor de inferencia a calcular logits para cada posición de token, no solo la final. El post no reporta latencia, throughput o huella de memoria para el modelo Qwen3-0.6B en ningún hardware, por lo que los costos operacionales permanecen sin especificar.
El autor enmarca esto como una parodia, señalando que el post es una versión simplificada de Jev y dirigiendo a los lectores a tres implementaciones abiertas más completas: OpenJev, openjev-sglang y OpenJev en DiffusionGemma. El post de NobodyWho no afirma ser la versión autorizada o lista para producción, y no discute cómo manejar casos donde el token superior del modelo para una etiqueta de opción no es la etiqueta misma, o cómo escalar este patrón a conjuntos de opciones más grandes o descripciones de opciones más largas.
La conclusión para arquitectos es que la clasificación de opciones mediante extracción de logits es implementable en código mínimo y se ejecuta completamente localmente, pero los despliegues en producción necesitan medir latencia y memoria en hardware objetivo, manejar casos extremos donde la alineación de tokens falla, y decidir si las probabilidades de un modelo pequeño están calibradas lo suficiente para la tarea posterior.