Fish Audio Drama 3 permite que las voces de IA cambien de emoción a mitad de una frase

Fish Audio ha lanzado Drama 3, un modelo de texto a voz diseñado para que los diálogos generados por IA suenen menos como alguien que lee un guion y más como una interpretación real. Lanzado el 13 de octubre, el modelo permite a los creadores controlar las emociones, el ritmo y la expresión vocal mediante el lenguaje cotidiano.

En lugar de depender de ajustes de voz básicos, los usuarios pueden insertar instrucciones directamente en sus guiones. Un personaje podría empezar hablando con calma, mostrarse cada vez más frustrado y terminar una frase en un susurro, todo ello sin alternar entre grabaciones independientes. Hasta los actores sintéticos tienen ahora que seguir indicaciones.

Drama 3 también admite conversaciones entre varios personajes y 83 idiomas. Las instrucciones pueden aplicarse a palabras o pasajes individuales, lo que permite a los creadores enfatizar expresiones concretas sin cambiar el resto del guion.

Según Fish Audio, el modelo alcanzó una precisión del 93.2% en la prueba de referencia Pronunciation Robustness de Artificial Analysis, frente al 88.1% de su predecesor, S2.1 Pro. Sin embargo, la precisión de la pronunciación no garantiza necesariamente interpretaciones emocionales convincentes.

La empresa también está desarrollando dos herramientas de edición avanzadas. Interactive Editing permitirá a los usuarios perfeccionar las interpretaciones mediante instrucciones adicionales, mientras que Audio Inpainting está diseñada para sustituir palabras individuales sin volver a generar grabaciones completas. Ambas siguen en una fase de pruebas limitada, accesible solo por invitación.

Drama 3 está disponible a través del sitio web, las aplicaciones móviles y la API de Fish Audio. Los pesos del modelo también se pueden descargar, aunque su uso comercial está sujeto a restricciones de licencia.

Hasta el 12 de noviembre, el acceso a la API cuesta $10 por millón de caracteres, lo que supone un descuento del 80% respecto a la tarifa habitual de $50. Las nuevas suscripciones para creadores también tienen un descuento del 50% durante el período promocional.