GuppyLM: Cualquiera puede entrenar a esta pequeña IA

Mientras que los modelos de IA son cada vez más grandes, más caros y más opacos, GuppyLM va en la dirección opuesta: por diseño. Este pequeño proyecto de código abierto es un modelo lingüístico con sólo unos 8,7 millones de parámetros, muchos menos que los modelos emblemáticos modernos, y se identifica a sí mismo como un pez llamado Guppy. Guppy sólo conoce la vida en un acuario. Su objetivo no es competir con ChatGPT u otros modelos de gran tamaño. En su lugar, GuppyLM pretende demostrar que un LLM no tiene por qué ser misterioso - y que entrenar uno no requiere necesariamente conocimientos de experto.

GuppyLM se entrenó con 60.000 conversaciones sintéticas. En términos de contenido, el modelo es muy limitado, pero eso es precisamente lo que lo hace notablemente coherente. Guppy habla con frases cortas y en minúsculas y no entiende abstracciones humanas como la política, el dinero o los teléfonos. Como esta personalidad está firmemente integrada en el modelo, Guppy siempre se mantiene dentro de su perspectiva de pez. GitHub también ofrece una demostración en navegador en la que el modelo se ejecuta localmente en el navegador. Alternativamente, la versión preentrenada puede lanzarse a través de Colab o ejecutarse localmente con Python. Los que quieran ir un paso más allá pueden incluso entrenar su propio mini LLM directamente con el cuaderno Colab preparado, un entorno de programación basado en el navegador.

El proceso de entrenamiento en sí es relativamente sencillo. Se alimenta al modelo con un gran número de pares de ejemplos consistentes en una entrada y una respuesta coincidente. En el modelo GuppyLM preentrenado, éstos incluyen saludos, preguntas sobre la comida, el agua, la luz, el sueño o el sentido de la vida, todo ello desde la perspectiva de un pequeño pez. A partir de estos ejemplos, el modelo aprende qué token debe venir a continuación. En pocas palabras, los tokens son pequeñas unidades de texto en las que se descomponen las palabras. Durante cada paso de entrenamiento, el modelo compara su predicción con la respuesta deseada y ajusta sus ponderaciones internas en consecuencia. De este modo, GuppyLM aprende gradualmente cómo debe hablar un pez.