Nvidia RTX 5090 funciona en macOS con el nuevo controlador personalizado de Tiny Corp

Apple y Nvidia pusieron fin a su asociación hace muchos años, dejando a los usuarios de Mac sin soporte oficial para GPU. Esta caída efectivamente mató CUDA en la plataforma y obligó a los desarrolladores e investigadores hacia Apple 's propio marco Metal. Sin embargo, un nuevo controlador de código abierto de Tiny Corp ha solucionado por fin ese problema al devolver el hardware Nvidia Blackwell al ecosistema macOS.

El proyecto utiliza una extensión personalizada del kernel denominada Tiny GPU. Permite que las GPU externas, como la RTX 5090, interactúen directamente con los Mac Apple Silicon a través de Thunderbolt 5 o USB4. Se trata de un gran salto técnico en sí mismo, ya que evita por completo la necesidad de máquinas virtuales. En la demostración de Alex Ziskind, una RTX 5090 con 32 GB de VRAM se emparejó con éxito con un Mac Mini M4 Pro (actual. 1399 $ en Amazon para la variante de 24 GB/512 GB, aquí está nuestra reseña detallada).

Aunque la conexión es estable, la pila de software actual se encuentra en sus primeras fases. El controlador depende del compilador Tiny Grad en lugar de las optimizaciones nativas Metal o CUDA. Esto crea una brecha de rendimiento durante las tareas de cálculo pesadas. Al ejecutar el modelo Llama 3.1 8Bla configuración alcanzó aproximadamente 7,48 tokens por segundo. Aunque esto es una gran victoria para la compatibilidad, sigue siendo más lento que el CPP nativo de Llama en Metal, dice Alex, que es casi diez veces más rápido en hardware equivalente.

En cualquier caso, el verdadero valor de este proyecto es su potencial para futuras optimizaciones. El cuello de botella actual no es el cable Thunderbolt 5, que gestiona eficazmente la transferencia del peso del modelo, sino la eficacia de los núcleos autogenerados. En el caso de las interfaces de chat sencillas, la instalación de Blackwell es ágil y ofrece velocidades de tiempo hasta el primer token entre tres y cuatro veces más rápidas que las soluciones Metal nativas.

El proceso de instalación incluye la aprobación de una extensión del sistema y la ejecución de un pipeline compilador basado en Docker. Está claro que no es un sustituto (todavía) de los flujos de trabajo Metal racionalizados, pero aun así, es el primero funcional en años.