China presenta SpikingBrain 1.0, un LLM inspirado en el cerebro que funciona con chips MetaX nacionales

El Instituto de Automatización de la Academia China de las Ciencias en Pekín ha presentado recientemente https://www.scmp.com/news/china/science/article/3324851/brain-ai-said-run-100-times-faster-ultra-long-tasks-using-chinese-chips su más reciente modelo de gran lenguaje SpikingBrain 1.0. Se afirma que este LLM es el primer LLM "similar a un cerebro" del mundo, diseñado para consumir mucha menos energía que los sistemas de IA convencionales, como ChatGPT. En lugar de depender del hardware de Nvidia, funciona íntegramente con chips MetaX de fabricación china, lo que supone un avance significativo en la computación neuromórfica.

El sistema utiliza la tecnología "spiking computation", que imita los patrones de disparo de las neuronas del cerebro humano. Esta tecnología permite que sólo se activen las neuronas necesarias, en lugar de toda la red, como en los modelos tradicionales. Este enfoque basado en eventos también mantiene la eficiencia energética del sistema, reduciendo el consumo de energía. El sistema también puede aprender a partir de un minúsculo dos por ciento de los datos de entrenamiento necesarios en comparación con los sistemas convencionales. Se han desarrollado dos versiones: una con 7.000 millones y otra con 76.000 millones de parámetros.

Los investigadores informan de un rendimiento hasta 100 veces más rápido en comparación con los modelos tradicionales en determinadas tareas, con el modelo más pequeño respondiendo a una consulta de 4 millones de tokens al menos 100 veces más rápido que los sistemas estándar. Además, hay una mejora de la velocidad de 26,5 veces respecto a las arquitecturas Transformer convencionales para la primera generación de tokens. El nuevo modelo se entrenó con aproximadamente 150.000 millones de tokens, sólo una fracción de los requisitos típicos de los sistemas convencionales. A pesar de estos reducidos datos de entrenamiento, el sistema sigue teniendo un rendimiento comparable al de otras alternativas populares de código abierto.

El nuevo sistema tiene una importancia estratégica para China, dado que el LLM opera enteramente dentro del ecosistema de IA autóctono de China, utilizando la plataforma de chips MetaX. Esto adquiere especial importancia a medida que EE.UU. endurece los controles a la exportación de chips avanzados de IA. La investigación también demuestra que es posible entrenar un gran modelo eficiente en plataformas que no sean de Nvidia. El investigador principal, Li Guoqi, también destaca la optimización de la arquitectura de los chips chinos. Las aplicaciones potenciales de estos sistemas incluyen documentos legales, historiales médicos e incluso simulaciones científicas.

El equipo ha puesto a disposición del público la versión reducida del modelo, mientras que la versión ampliada sólo está disponible en línea para pruebas públicas a través de un sitio de demostración. La investigación también se ha publicado como artículo no revisado por pares en el repositorio arXiv, por lo que es mejor tomarse todas estas afirmaciones con cautela. No obstante, este avance podría allanar el camino hacia sistemas de IA más eficientes desde el punto de vista energético y avanzar en los enfoques informáticos inspirados en el cerebro.