Un nuevo artículo de Avijit Roy y Proma Roy, publicado en arXiv el 12 de agosto de 2026, mapea dónde la infraestructura de IA falla con hablantes de lenguajes subrepresentados. La respuesta: en todas partes aguas arriba. Tokenización, corpus de entrenamiento y benchmarks de evaluación imponen penalizaciones que se componen. Bengali sirve como estudio de caso—un lenguaje hablado por aproximadamente el 4% de la población global, con números lo suficientemente específicos para ser operacionales.

Bengali representa menos del 0,5% del contenido web global, una subrepresentación de 8:1 contra su participación poblacional. En grandes corpus de entrenamiento multilingües, el déficit de tokens de entrenamiento de inglés a Bengali es de 67:1. Un modelo entrenado en datos multilingües estándar ve 67 tokens en inglés por cada token Bengali antes de que se actualice un solo peso. Esto no es sesgo descendente de RLHF o fine-tuning; está integrado en el pipeline de datos.

Tokenización añade una segunda penalización. Bengali utiliza un script silabario que los tokenizadores BPE entrenados en corpus pesados en inglés fragmentan en significativamente más tokens por palabra—mayor fertilidad—que texto en inglés equivalente. El artículo Token Tax (analizando 16 lenguajes africanos en 10 LLMs) confirma la consecuencia mecanicista: la fertilidad predice confiablemente la precisión, con mayor fertilidad correlacionando con menor precisión. La razón es estructural. El cálculo de atención se escala cuadráticamente con la longitud de la secuencia. Duplicar el recuento de tokens cuadruplica el costo de entrenamiento y el tiempo de inferencia. Un déficit de datos de 67:1 combinado con fertilidad elevada significa que las tareas en lenguaje Bengali enfrentan tanto entrenamiento insuficiente como penalización computacional en cada transformer estándar.

Una auditoría complementaria comparando GPT-4o, Qwen2.5-7B y Mistral-7B encontró penalizaciones de tokenización lo suficientemente grandes para importar en IA educativa de lenguajes desatendidos—incluyendo sistemas de tutoría offline en Bengali y herramientas comerciales de API. El artículo también señala Yoruba, un lenguaje de script latino con diacríticos tonales, produce una fragmentación de tokens de GPT-4o más alta que Bengali en el mismo corpus. El script no latino no es la única vulnerabilidad; cualquier script mal cubierto en datos de entrenamiento del vocabulario del tokenizador está expuesto.

La capa de conectividad agrava el problema. La penetración de internet en Bangladesh rural es del 36,5% versus el 71,4% urbano, lo que significa que la población más dependiente de herramientas de IA offline-first es la menos representada en corpus de entrenamiento. Roy y Roy argumentan que el deployment offline-first debe tratarse como infraestructura de equidad, no como una solución de bajo ancho de banda. Los modelos cuantizados y la inferencia en el borde no son optimizaciones de nicho; son el único mecanismo de entrega viable para usuarios sin conexión confiable.

Para equipos que construyen pilas de inferencia multilingües, emergen tres puntos de auditoría. Primero, mida las proporciones de fertilidad del tokenizador por lenguaje objetivo antes de seleccionar un tokenizador—no infiera de benchmarks en inglés. GPT-4o, Qwen2.5 y Mistral divergen significativamente en scripts no latinos, y la elección se propaga a través del tamaño de la ventana de contexto, presión de memoria y costos de API. Segundo, audite la composición del corpus contra la participación poblacional, no solo la disponibilidad de datos. Una proporción de 67:1 no es una restricción presupuestaria; es una opción de diseño que persiste durante la vida útil del modelo. Tercero, los benchmarks de evaluación construidos principalmente en inglés o lenguajes de alto recurso no surfacearán estas brechas. Un modelo que obtiene el 90% en MMLU aún puede fallar sistemáticamente en entrada morfológicamente compleja de lenguajes subrepresentados.

El ángulo regulatorio está en vivo. Las obligaciones EU GPAI activas desde agosto de 2025 requieren que los proveedores publiquen resúmenes de datos de entrenamiento. La Ley de IA de la UE Artículo 10, que rige sistemas de alto riesgo incluyendo IA en educación (aplicación completa en diciembre de 2027), ordena que los conjuntos de datos de entrenamiento sean suficientemente representativos y examinados para sesgos que podrían discriminar—con penalizaciones hasta €15M o el 3% de la facturación global anual. La subrepresentación estructural del lenguaje a nivel de corpus es precisamente la brecha que una auditoría de representatividad surfaceará.

El sesgo estructural en IA multilingüe no comienza en la inferencia y no puede ser parcheado en fine-tuning. Audite el tokenizador, audite el corpus, y espere que los reguladores pidan documentación de ambos.