Fabricantes de chips persiguen fotónica para aliviar cuello de botella de ancho de banda de inferencia de IA
Los fabricantes de chips están invirtiendo en interconexiones fotónicas para eludir los límites de ancho de banda eléctrico que degradan la inferencia de IA a escala. Las conexiones ópticas entre clusters de GPU ofrecen 3-10x más throughput que la señalización de cobre, reduciendo la latencia de servicio de modelos en despliegues grandes.
NVIDIA, Intel y startups están integrando E/S fotónico en aceleradores de IA de próxima generación. Conforme los clusters de inferencia crecen y los presupuestos de latencia por token se aprietan, la señalización basada en luz pasa de curiosidad de investigación a necesidad de producción en operaciones de inferencia a hiperescala.