NVIDIA Nemotron modelos abiertos entregan inferencia 20x más barata que frontera; Harvey, Glean entregan agentes post-entrenados
NVIDIA lanzó una serie de blog de Nemotron Labs mostrando cómo los modelos abiertos están permitiendo que las empresas construyan sistemas de IA personalizados a una fracción de los costos de los modelos de frontera. La historia es control: los modelos abiertos dan a los equipos visibilidad completa y propiedad sobre el comportamiento del modelo de una manera que los modelos cerrados no pueden, y el post-entrenamiento especializado puede reducir costos dramáticamente mientras mantiene precisión en tareas específicas de dominio.
Ejemplos concretos de implementaciones de producción muestran la ventaja de costo. Harvey post-entrenó Nemotron 3 Ultra en su benchmark legal y alcanzó precisión de clase frontera en tareas legales complejas a 10x menor costo por ejecución. Glean construyó Waldo, un modelo de búsqueda agentica emparejado con modelos cerrados más grandes, entregando búsqueda empresarial con latencia y costo de token significativamente menores. Holotron 3 Nano de H Company logró precisión de 76%+ en OSWorld-Verified post-entrenando Nemotron 3 Nano Omni en datos de uso computacional propietario — igualando los modelos de frontera líderes a una fracción del costo.
El cambio más amplio es visible en infraestructura: Arcee AI logró costos de inferencia de aproximadamente 90 centavos por millón de tokens de salida en Nemotron post-entrenado en NVIDIA Blackwell — aproximadamente 20x más barato que alternativas de frontera cerradas comparables manteniendo el segundo lugar en PinchBench. Para arquitectos evaluando infraestructura de agentes, el compromiso ahora es explícito: propiedad completa y control de costos a través de modelos abiertos, o desempeño administrado a través de alternativas cerradas.
Fuentes
- Primary source
- blogs.nvidia.com
“Harvey reached frontier-class accuracy at 10x lower cost; Glean's Waldo at lower latency and tokens; Arcee achieved ~90 cents per million tokens (20x cheaper than frontier)”