Intel Clearwater Forest sacrifica Ancho de Vector por rendimiento de inferencia

El procesador insignia de Intel Clearwater Forest Xeon 6+, diseñado para aliviar pipelines de inferencia limitadas por GPU, cuenta con 288 núcleos de Darkmont E-cores de hilo único y 576 MB de caché L3 dentro de un envoltura de TDP de 450 W. El procesador omite el multihilo simultáneo y AVX-512 para maximizar la densidad de núcleos. Basado en la tecnología de proceso 18A de Intel, el Xeon 6990E+ de nivel superior incluye doce mosaicos de cálculo 18A, tres mosaicos base de Intel 3 y dos mosaicos de E/S de Intel 7 de Granite Rapids, interconectados por enlaces EMIB 2.5D. El socket LGA 7529 es compatible con sistemas Xeon 6900P existentes, permitiendo una actualización basada en actualización de BIOS sin reconfiguración del rack. La capacidad de memoria alcanza 1.5 TB por socket a través de doce canales DDR5-8000, y el procesador proporciona 96 canales PCIe 5.0 y 64 canales CXL 2.0 para conectividad de aceleradores. Intel complementa el silicio con hardware dedicado para criptografía (QAT), equilibrio de carga (DLB) y movimiento de datos (DSA, IAA), enfocándose en las capas escalares que típicamente ocupan recursos de GPU.

Intel posiciona el Xeon 6990E+ para rendimiento por watt en orquestación de IA en lugar de tareas de entrenamiento pesadas en vector. La empresa afirma un aumento de rendimiento del 2.26 veces y un rendimiento mejor 1.55 veces por watt sobre el Sierra Forest 6780E de 144 núcleos, y una ventaja del 30% por hilo sobre el EPYC 9965 de AMD en sus benchmarks. Sin embargo, el análisis de ServeTheHome indica una mejora generacional del 13% por núcleo, sugiriendo que la mayoría del aumento de rendimiento se debe a una mayor densidad de núcleos en lugar de núcleos más rápidos. El TDP varía de 330 W a 450 W para las SKU de 288 núcleos, con una frecuencia de turbo de todo el núcleo de 2.8 GHz. Notablemente, los núcleos están limitados a AVX2, sin soporte para AVX-512 o AVX10, lo que significa que los kernels de inferencia compilados para vectores de 512 bits recurrirá a tuberías más estrechas.

La oferta y la topología presentan desafíos significativos. El vicepresidente de Ingeniería de Silicio de Centro de Datos de Intel, Tim Wilson, declaró que la asignación de wafer 18A se maneja diariamente, aconsejando a los equipos de adquisición que vean la disponibilidad de volumen como una reserva de capacidad en lugar de un artículo de catálogo garantizado. Kira Boyko, directora de la línea de productos Xeon E-Core de Intel, señaló que los clientes con inversiones significativas en GPU están experimentando GPUs inactivos debido a una infraestructura de CPU insuficiente para alimentarlos rápidamente con datos. La memoria de 5.33 GB por núcleo en el insignia de Clearwater Forest también puede limitar el almacenamiento en caché de inferencia de modelos grandes o la densidad de contenedores. Dado que los núcleos Darkmont son estrictamente de hilo único, los programadores y modelos de licencia que asumen dos procesadores lógicos por núcleo físico deben ser reajustados, ya que el SMT no volverá hasta Coral Rapids, la tercera generación de Xeon 6+, después de Diamond Rapids (próxima generación, estado de SMT no divulgado). La limitación de AVX2 significa que los kernels de inferencia nativos de CPU compilados para AVX-512 o bien recaerán en tuberías más estrechas o necesitarán ser desplazados a aceleradores.

Clearwater Forest introduce Application Energy Telemetry (AET), un bloque de hardware que informa el consumo de energía por hilo, por contenedor y por VM. Boyko indicó que esta función se incluirá en futuros modelos de Xeon, proporcionando plataformas de inferencia multi-inquilino con una métrica de potencia basada en hardware para cargos en lugar de confiar en la asignación TDP tosca.

Los arquitectos deben considerar la compensación explícita de densidad por ancho de vector: traten la CPU como un orquestrador de rendimiento para inferencia adjunto a GPU en lugar de un motor de cómputo vectorial, y dimensionen los grupos de hilos asumiendo un trabajador por núcleo físico mientras gestionan la asignación de 18A como una reserva de capacidad escasa.