Notebookcheck Logo

d-Matrix presenta la tarjeta Corsair C8 9 veces más rápida que la GPU H100 de Nvidia en cargas de trabajo de IA generativa

Diseñado específicamente para ML e inferencia (Fuente de la imagen: d-Matrix)
Diseñado específicamente para ML e inferencia (Fuente de la imagen: d-Matrix)
El acelerador de IA Corsair C8 aprovecha la potencia de la tecnología de ordenador digital en memoria (DIMC) patentada por d-Matrix. Con 2.048 de estos DIMC que cuentan con la ayuda de 256 GB de memoria RAM LPDDR5 y una SRAM adicional de 2 GB, un solo acelerador puede alcanzar velocidades de hasta 9600 TFLOPS.

Mientras TSMC advierte que las GPU de IA H100 de Nvidia seguirán escaseando en los próximos 18 meses debido a la insuficiente capacidad de empaquetado de chips en obleas sobre sustrato (CoWoS), otras empresas están viendo la oportunidad de intervenir y satisfacer la abrumadora demanda de hardware de IA generativa. Una de ellas es una nueva empresa llamada d-Matrix, que recientemente ha conseguido 110 millones de dólares de inversores como Microsoft demostrando las velocidades sin precedentes de su tarjeta de cálculo Corsair C8, que se dice que tiene 9 veces el rendimiento de una Nvidia H100 En cargas de trabajo de IA generativa.

Estas impresionantes velocidades se consiguen gracias a la tecnología DIMC (digital-in-memory computer) de d-Matrix. A diferencia de la Nvidia A100 y H100 de Nvidia, diseñadas para una amplia variedad de tareas informáticas de alto rendimiento, las tarjetas Corsair C8 de d-Matrix se han creado específicamente para cargas de trabajo de IA generativa e inferencia. Una sola tarjeta Corsair C8 integra 2.048 núcleos DIMC agrupados en 8 chiplets con un total de 130.000 millones de transistores, y también cuenta con 256 GB de memoria RAM LPDDR5 para albergar fácilmente modelos enteros de IA en la memoria. Todos los chiplets están interconectados mediante PCIe 5.0 con un ancho de banda de 1 TB/s, lo que da un total de 8 TB/s de ancho de banda entre chips. d-Matrix incluye también 2 GB de SRAM con un ancho de banda de 150 TB/s. Dependiendo de la carga de trabajo de IA, el Corsair C8 proporciona entre 2400 y 9600 TFLOPS.

Gracias a la capacidad de escalado optimizada y a la naturaleza sin fricciones de la pila de software de código abierto, d-Matrix afirma que un clúster de tarjetas Corsair C8 podría conseguir una eficiencia energética 20 veces mayor, una latencia 20 veces menor y unos costes hasta 30 veces inferiores a los de soluciones similares de Nvidia.

 

Comprar la webcam Lumina 4K con IA en Amazon

Fuente(s)

Please share our article, every link counts!
> Análisis y pruebas de ordenadores portátiles y móviles teléfonos > Noticias > Archivo de noticias > Archivo de noticias 2023 09 > d-Matrix presenta la tarjeta Corsair C8 9 veces más rápida que la GPU H100 de Nvidia en cargas de trabajo de IA generativa
Bogdan Solca, 2023-09- 8 (Update: 2023-09- 8)