El 90% de los Tokens de Producción Funcionará en Modelos de Peso Abierto

El desarrollo de productos de IA se está desacoplando cada vez más de la capa del modelo, con el socio general de Benchmark, Peter Fenton, prediciendo que más del 90% de los tokens serán generados por modelos de peso abierto en un plazo de 18 a 24 meses. Las empresas están moviendo la inferencia de las APIs fronterizas a pilas de orquestación autoadministradas, llegando potencialmente a un punto de inflexión antes de fin de año.

Perplexity acaba de lanzar un agente de uso de computadora basado en el GLM 5.2 de Z.ai, un modelo de peso abierto de un laboratorio chino. El sistema utiliza la instancia más económica del GLM 5.2 para tareas rutinarias y escala a modelos en la nube más potentes cuando se detecta un vacío de capacidad. El CEO de Perplexity, Aravind Srinivas, enfatizó que el modelo en sí ya no es el producto; en cambio, el sistema de orquestación que lo combina con herramientas y lógica de enrutamiento lo es. Este cambio convierte la pila de producción en un sistema multimodelo donde la selección del modelo, la lógica de retroceso y la integración de herramientas son más críticos para la calidad de salida y el costo unitario que el número de parámetros de cualquier modelo individual.

Ollama, un tiempo de ejecución de modelo local, informa que ha sido adoptado por más del 85% de las empresas Fortune 500, incluyendo sectores regulados como la aviación, el seguro y la atención médica. El CEO de Ollama, Jeff Morgan, señala que los compradores ahora priorizan dónde y cómo se ejecuta un modelo sobre su origen de entrenamiento, prefiriendo la implementación en el lugar o en el borde para el cumplimiento y el control de costos. Esta preferencia se alinea con una arquitectura híbrida en la que la inferencia rutinaria se ejecuta en dispositivos locales y las tareas difíciles escalan a las APIs en la nube, un patrón que Srinivas argumenta se volverá estándar para las cargas de trabajo agentivas.

Aunque los números operativos sobre latencia y costo por token son escasos, la dirección económica es clara. Fenton afirma que los márgenes de inferencia de los laboratorios fronterizos se comprimirán a medida que las empresas sustituyan las ejecuciones de peso abierto por llamadas a API, eliminando el margen que cobran OpenAI, Anthropic y otros. La métrica crítica a observar es la mezcla de tokens: si más del 90% de los tokens de producción se trasladan a pesos abiertos, el costo efectivo por millón de tokens se reduce al precio de la infraestructura de GPU de mercancía más el overhead de orquestación, en lugar de las tasas de dólares a decenas de dólares por millón asociadas a los puntos finales fronterizos. Sin embargo, el costo de latencia p50 o p99 de la capa de enrutamiento en sí, el consumo de horas de GPU necesario para ejecutar un modelo local a escala Fortune 500 y el costo de ingeniería de mantener un marco de evaluación multimodelo que decide qué nivel maneja cada solicitud permanecen sin informar.

Los compromisos son arquitectónicos y operativos. El enrutamiento del modelo introduce un nuevo modo de fallo: un aviso mal enrutado se degrada silenciosamente cuando es manejado por un modelo local de tamaño insuficiente, o se escala excesivamente a una API fronteriza y neutraliza todo el ahorro de costos. No hay una referencia de evaluación estándar de la industria para las decisiones de control, por lo que los equipos deben construir y actualizar continuamente sus propios clasificadores de capacidad o heurísticas contra una meta móvil de lanzamientos de modelos. El riesgo geopolítico agrega otro costo de integración, ya que los modelos de peso abierto competitivos provienen cada vez más de laboratorios chinos como Z.ai y DeepSeek. Las empresas en sectores regulados deben ampliar las auditorías de cadena de suministro y cumplimiento a los pesos del modelo y el origen de los datos de entrenamiento, no solo a la infraestructura. La combinación de la complejidad de enrutamiento, las lagunas de evaluación y la revisión de procedencia hace que la transición de las pilas de API únicas a pilas multimodelo sea significativamente más difícil de lo que sugieren las economías de token de titulares.

Trate los pesos del modelo como infraestructura de mercancía e invierta ciclos de ingeniería en la capa de enrutamiento y orquestración, ya que el frente de margen se ha movido desde el entrenamiento al control de acceso.