Talaas HC1: un chip eficiente supera a cualquier GPU en aceleración local de IA

En la industria tecnológica, especialmente en el diseño de procesadores, se puede alcanzar un cierto equilibrio entre universalidad y rendimiento. Aunque los chips o sistemas informáticos pueden construirse para ofrecer universalidad y ejecutar así una amplia variedad de tareas, también suele ser posible diseñar y optimizar sistemas para aplicaciones muy específicas. En el caso de un chip informático, toda su arquitectura puede diseñarse en torno a tipos de datos definidos, sin ningún mecanismo para tratar casos especiales. Puede que este concepto les suene familiar a algunos de ustedes: En la minería de criptomonedas, por ejemplo, las CPU y GPU de propósito general han sido sustituidas en gran medida por ASIC, que son extremadamente eficientes en su única tarea pero inutilizables para cualquier otra cosa.

Un desarrollo similar está surgiendo en la aceleración de la IA. Los procesadores con NPU integradas ya han llegado al mercado de consumo. La empresa Taalas presentó recientemente el HC1, un chip no diseñado para acelerar cualquier modelo de IA, sino uno muy específico: el relativamente pequeño Llama 3.1 8B. A pesar de su especialización, sigue siendo posible cierto grado de ajuste fino. Según Taalas, el chip puede alcanzar 16.960 tokens por segundo, frente a los 353 tokens por segundo que proporciona el Nvidia B200. En comparación con el Cerebras WSE-3, el HC1 ofrece, según se informa, diez veces más rendimiento y consume menos energía, por no mencionar que cuesta aproximadamente 20 veces menos. Todavía no se ha anunciado el precio ni la disponibilidad.