Métricas de rendimiento de la Intel Arc Pro B70: significativamente más rápida que la RTX 4000 Pro de Nvidia a mitad de precio y con un 33% más de VRAM
Intel lanzó ayer las GPU de alto rendimiento para estaciones de trabajo Arc Pro B65 y B70 destinadas al entrenamiento / inferencia de IA LLM sin proporcionar información específica sobre el rendimiento en el comunicado de prensa inicial. Unas horas más tarde, la compañía publicó gráficos de rendimiento que comparan el modelo B70 con las GPU RTX 4000 Pro de Nvidia, que ya tienen unos cuantos años. Intel argumenta que la comparación sigue siendo válida dado el precio inferior a 1.000 dólares de la tarjeta B70, y Team Blue respalda las cosas con impresionantes afirmaciones sobre el rendimiento general.
Incluso sin mirar los gráficos de rendimiento, que pueden o no ser precisos al más puro estilo Intel, la GPU Arc B70 se eleva inmediatamente por encima de la competencia de Nvidia con su mayor capacidad de VRAM (32 GB frente a 24 GB) y el precio de lanzamiento que parte de 949 dólares (frente a 1.800 dólares). Es cierto que la VRAM es de sólo 19 Gbps GDDR6 con bus de 256 bits y un ancho de banda de 608 GB/s, pero al menos la mayor capacidad ayuda a entrenar e inferir en modelos más grandes.
Con la capacidad superior de la VRAM, la B70 presume de una ventana de contexto 2,2 veces mayor que la tarjeta RTX 4000 Pro. La diapositiva de Intel muestra que la B70 admite longitudes de contexto de hasta 93.000 tokens frente a la RTX 4000 Pro que se queda sin memoria con hasta 42.000 tokens cuando se utiliza con el Llama 3.1 8b Modelo BF16.
Los flujos paralelos multiagente que se ejecutan en el Ministral Instruct 2410 8B (BF16) proporcionan un rendimiento de tokens un 85% superior para múltiples usuarios o solicitudes con el B70 en un entorno de sistema operativo Linux. Además, el B70 es capaz de producir respuestas más rápidas para múltiples usuarios o solicitudes con un tiempo hasta el primer token 6,2x más rápido, e Intel menciona que estas velocidades superiores son posibles gracias a la oneAPI mejorada de la compañía y a la pila de software propietaria. El aumento del rendimiento con respecto a la competencia de Nvidia también se amplía con las configuraciones multi-GPU, ya que Intel afirma un incremento de hasta el doble de tokens por dólar en configuraciones de una, dos y cuatro GPU.
Por desgracia, las diapositivas no muestran ninguna métrica de rendimiento ni información sobre el precio del B65 GPU. Sería interesante ver si Intel permite a los socios de AIB lanzar versiones orientadas al juego de las GPU B65 y B70 con capacidades de VRAM ligeramente inferiores. Esto también significaría que Intel tiene que proporcionar controladores gráficos mejorados.
