Un nuevo sistema del MIT permite que pequeños modelos de IA superen a gigantes en tareas complejas

Mientras que los grandes modelos lingüísticos sobresalen en cosas como la escritura creativa y las matemáticas básicas, a menudo tropiezan cuando se enfrentan a tareas complejas y repletas de reglas, como el sudoku o la estricta planificación de itinerarios. Para salvar esta brecha, un equipo de investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT -dirigido por Gabriel Grand- ha introducido un nuevo sistema llamado DisCIPL (Distributional Constraints by Inference Programming with Language Models).

El marco opera sobre una jerarquía jefe-trabajador. Un gran modelo de "jefe" actúa primero como planificador, ideando una estrategia para resolver la petición de un usuario. A continuación, asigna componentes específicos de la tarea a modelos "seguidores" más pequeños y eficientes.

Para asegurarse de que el equipo se mantiene en el buen camino, el jefe comunica las instrucciones utilizando LLaMPPL, un lenguaje de programación especializado diseñado para dirigir los modelos hacia resultados precisos. Si un modelo seguidor se desvía de las restricciones - por ejemplo, utilizando una frase incorrecta en un poema estructurado - el modelo principal interviene para corregirlo.

Este enfoque ha dado resultados impresionantes. Según el informe de los investigadores, en pruebas que incluían tareas como la redacción de propuestas de subvención o la elaboración de listas de la compra, el sistema DisCIPL produjo respuestas más precisas que el GPT-4o de OpenAI e igualó la precisión del modelo de razonamiento especializado o1. Y lo que es aún más notable, lo hizo con una eficiencia mucho mayor. Al descargar el trabajo pesado en modelos más pequeños, el sistema recortó la duración del razonamiento en aproximadamente un 40% y redujo los costes en más de un 80% en comparación con los de la competencia.

El equipo cree que este método ofrece un camino sostenible para la IA, demostrando que la coordinación de modelos más pequeños puede ser mucho más eficaz -y eficiente energéticamente- que depender únicamente de sistemas masivos y hambrientos de energía.