IA sin la nube: este modelo de lenguaje ya cabe en su iPhone

Los modelos de lenguaje a gran escala suelen requerir un centro de datos o, como mínimo, un ordenador potente con mucha memoria. La startup estadounidense PrismML, fundada por investigadores del Caltech y financiada por Google y Khosla Ventures, entre otros, ha presentado el Bonsai 27B el 14 de julio: un modelo de IA con 27 000 millones de parámetros cuya versión más pequeña ocupa tan solo 3,9 GB. Por primera vez, un modelo de esta categoría cabe en la memoria de un iPhone 17 Pro. Nuestra guía IA sin la nube le muestra cómo configurar un modelo de lenguaje en su propio ordenador.

Reducido de 54 GB a menos de 4 GB

Se basa en el modelo de código abierto Qwen3.6 27B de Alibaba, que ocupa unos 54 GB con precisión máxima. PrismML almacena cada peso de la red neuronal utilizando de 1 a 2 bits en lugar de los 16 habituales. El resultado son dos versiones: una ternaria de 5,9 GB nominales para ordenadores portátiles y una de 1 bit de 3,9 GB para teléfonos. Según el fabricante, la variante para ordenador portátil conserva el 95 % del rendimiento original en 15 pruebas de rendimiento, mientras que la variante para teléfono mantiene el 90 %. Las operaciones matemáticas y la programación prácticamente no se ven afectadas. Los pesos están disponibles gratuitamente bajo la licencia Apache 2.0 y se ejecutan a través del marco MLX de Apple en iPhone, iPad y Mac, así como a través de CUDA en tarjetas gráficas NVIDIA.

Lo que puede hacer el iPhone y cuáles son sus límites

Según el informe técnico, la versión de 3,9 GB genera alrededor de 11 tokens por segundo en un iPhone 17 Pro Max (, disponible en Amazon). Una carga completa de la batería da para unos 67 000 tokens. Tras algo más de cinco minutos de uso continuado, el chip reduce su rendimiento. Sin embargo, las cifras de referencia proceden del propio fabricante. Su propia tabla revela las mayores deficiencias en la comprensión de imágenes y el uso de herramientas, precisamente las áreas en las que los agentes de IA deben destacar. Además, los tamaños reales de descarga para la versión de ordenador portátil oscilan entre 7,2 y 8,5 GB, dependiendo del tiempo de ejecución, una cifra significativamente superior a la anunciada. Todavía no existe una aplicación lista para usar destinada a los usuarios comunes. Por el momento, el público objetivo son los desarrolladores y los aficionados a la tecnología. Cualquiera que simplemente desee probar el modelo puede encontrar una demostración para navegador en Hugging Face.

Apple ya está estudiando esta tecnología

El director ejecutivo de PrismML, Babak Hassibi, declaró a CNBC que Apple y otras empresas están probando actualmente los modelos en cuanto a velocidad, consumo energético y rendimiento. Describió las conversaciones como muy preliminares. Para los usuarios, lo más importante es la dirección que se toma: cuanto más se ejecute la IA directamente en el dispositivo, menos datos personales acabarán en la nube. Ya hemos escrito en detalle sobre lo que su IA almacena en secreto y cómo puede impedirlo.