LLM-8850: La tarjeta de expansión convierte Raspberry Pi 5 en una plataforma de IA local

Los modelos de IA basados en la nube son bastante cómodos para los usuarios típicos. Sin embargo, algunos casos de uso pueden requerir ejecutar estos modelos localmente para garantizar la privacidad de los datos o para trabajar en torno a una conexión a Internet lenta o inexistente. Dicho esto, se necesita un cierto rendimiento para ejecutar grandes modelos lingüísticos o incluso análisis de vídeo asistidos por IA. Esto último podría ser útil para contar las personas que pasan por la entrada de un edificio, por ejemplo.

Con la M5Stack LLM-8850ha llegado al mercado otra tarjeta de expansión que acelera exactamente estas aplicaciones de IA. Está impulsada por un SoC Axera AX8550 con cuatro núcleos Cortex-A55 y una NPU con un rendimiento de 24 TOPs. En comparación, las NPU integradas en las CPU modernas de AMD e Intel ofrecen aproximadamente el doble de rendimiento. También lleva integrada una VPU que puede decodificar simultáneamente hasta 16 flujos de vídeo con resolución Full HD. La tarjeta cuenta además con 8 GB de RAM y viene con un disipador térmico y un ventilador.

La tarjeta se conecta a través de una ranura M.2 Key M y utiliza dos carriles PCIe 2.0. La tarjeta mide 1,68 x 0,94 x 0,38 pulgadas y es compatible con la Raspberry Pi 5 y otros ordenadores de placa única o incluso mini PC, así como con diversos marcos de IA. Por último, pero no por ello menos importante, la M5Stack LLM-8850 tiene un precio oficial de 99 dólares, pero pueden aplicarse gastos adicionales de envío e importación.