El chip de IA Microsoft Maia 300 llega con una descomunal memoria HBM4 de 288 GB y un ancho de banda de 18 TB/s

Microsoft ha presentado oficialmente el Maia 300, su último acelerador de IA de diseño propio destinado a reducir la dependencia de la compañía del hardware de Nvidia y AMD. Llega poco después de que OpenAI presentara su chip de desarrollo interno, Jalapeno.  El chip sucede al Maia 200, que se lanzó a principios de este año. El primer chip Maia, el Maia 100, apareció en 2023. 

El Maia 300 utiliza un diseño de múltiples chiplets que incluye una sección principal de cómputo fabricada con el avanzado proceso N2P (2 nm) de TSMC. El encapsulado también incorpora chiplets independientes de memoria y E/S, lo que permite a Microsoft fabricar distintos componentes mediante procesos adecuados a sus respectivos requisitos. Según Reuters, parte de los chips auxiliares utiliza un proceso de fabricación de 3 nm menos costoso.

El acelerador ofrece hasta 13,8 PFLOPS de rendimiento de cómputo en FP4 y 6,9 PFLOPS con precisión FP8. La potencia nominal de su SoC es de 950 W, considerablemente superior a los 750 W del Maia 200. Microsoft ha equipado el Maia 300 con ocho pilas de HBM4, que ofrecen un total de 288 GB de memoria y 18 TB/s de ancho de banda. Cada pila aporta 36 GB de capacidad, y la memoria HBM4 funciona a 9 Gb/s por pin. En comparación, el Maia 200 cuenta con 216 GB de memoria HBM3E y 7 TB/s de ancho de banda, lo que hace que el nuevo acelerador sea útil para cargas de trabajo de inferencia con un uso intensivo de memoria.

Microsoft también ha mejorado las capacidades de interconexión del acelerador. El Maia 300 ofrece 3,2 TB/s de ancho de banda bidireccional para escalado vertical y utiliza una red de dos niveles basada en Ethernet con un protocolo de transporte personalizado para IA. Un solo rack alberga 96 aceleradores Maia 300, mientras que la arquitectura de escalado vertical admite clústeres de aproximadamente 12.000 aceleradores.

Más allá de sus especificaciones técnicas, Microsoft afirma que Maia 300 puede generar un 40% más de tokens por megavatio que los principales sistemas de IA basados en GPU. Según se informa, una configuración completa de 96 aceleradores ofrece hasta siete veces la capacidad de procesamiento de tokens por rack de Maia 200. Sin embargo, la empresa no ha proporcionado suficientes detalles sobre las configuraciones de GPU de la competencia para determinar de forma independiente el alcance de su ventaja en eficiencia.

Microsoft tiene previsto comenzar a desplegar Maia 300 en entornos de producción en 2027, con planes de ampliar eventualmente la infraestructura hasta alcanzar varios gigavatios de capacidad. Reuters informa de que la empresa podría desplegar más de un millón de chips Maia 300 el próximo año, lo que pone de relieve sus ambiciones de reducir su dependencia de los aceleradores de IA de terceros.