Moonshot AI lanza Kimi K2: un rival gratuito y más inteligente de DeepSeek

Moonshot AI ha publicado Kimi K2, un gran modelo lingüístico de inteligencia artificial, de forma gratuita bajo una licencia MIT modificada de https://github.com/MoonshotAI/Kimi-K2/blob/main/LICENSE. El LLM se situó de inmediato entre los diez modelos de IA más potentes del mundo en la tabla de clasificación de LMSys text arena. Kimi K2 obtuvo una puntuación superior a DeepSeek, otra IA libre que acaparó la atención mundial por su potencia y su licencia gratuita cuando fue lanzada a finales de 2024.

Kimi K2 es un modelo de mezcla de expertos (MoE) de un billón de parámetros (1T) con una ventana de contexto de 128K y 384 expertos que utilizan un subconjunto de parámetros activados de 32.000 millones. La IA se desarrolló para su uso en agentes de IA especializados en la resolución autónoma de problemas, el razonamiento y el uso de herramientas, lo que permite su uso en la resolución de tareas complejas y la búsqueda de respuestas a problemas empresariales de alto nivel.

Debido a los limitados datos de entrenamiento en el uso de herramientas en el mundo real, Kimi K2 se entrenó utilizando una combinación de entornos reales y simulados. Además, el entrenamiento de la IA utilizó un mecanismo de autojuzgamiento, lo que le permitió determinar por sí misma si sus tareas completadas se habían realizado adecuadamente o no durante el entrenamiento. El optimizador MuonClip se desarrolló para solucionar el problema de estabilidad del entrenamiento encontrado en el optimizador Muon para redes neuronales https://kellerjordan.github.io/posts/muon/lo que permite preentrenar con éxito Kimi K2 en tokens de 15,5T rápidamente.

Los lectores interesados en desarrollar Kimi K2 para uso comercial necesitarán al menos 1 TB de almacenamiento para el modelo y un cluster de al menos 16 GPU Nvidia H20/H200 antes de descargándolo libremente de Hugging Face. Los usuarios domésticos pueden ejecutar fácilmente versiones destiladas de DeepSeek en GPU Nvidia con 12 GB o más de memoria, como esta tarjeta en Amazon, mientras esperan las versiones destiladas de Kimi K2.

Los consumidores pueden chatear con el chatbot Kimi de forma gratuita aquí, y los desarrolladores de software pueden pagar por utilizar Kimi a través de su API aquí.