Techinfo
Phonon es un modelo de texto a voz que se ejecuta directamente en el dispositivo del usuario, lo que significa que no requiere de un servidor en la nube para funcionar. Esto permite que el texto ingresado permanezca en el dispositivo y que la voz opere sin necesidad de conexión a internet. Desde su lanzamiento, la recepción ha sido positiva, y en este artículo se detallan las razones detrás de su creación, sus funcionalidades, las demostraciones que se presentaron y su desempeño en el ranking de Open TTS de Hugging Face.
La mayoría de las soluciones de inteligencia artificial de voz dependen de la nube, lo que implica que cada oración debe viajar a un servidor y regresar. Sin embargo, Phonon se ejecuta localmente, lo que ofrece una experiencia más rápida y privada. Además, los desarrolladores han decidido abrir el acceso a los pesos del modelo: Phonon 31m está bajo la licencia Apache 2.0, lo que permite su uso gratuito, incluso en productos comerciales. Los otros modelos están bajo la licencia CC BY-NC, lo que los hace accesibles para proyectos no comerciales. Para aquellos que deseen utilizar estos modelos en aplicaciones comerciales, el precio se basa en la cantidad de usuarios, no en la cantidad de voz generada.
Desarrollar una voz de calidad para dispositivos pequeños ha sido un desafío constante. Se podía crear un modelo compacto, pero la calidad del sonido no era óptima. Por otro lado, si se priorizaba la calidad de sonido, el modelo resultaba demasiado grande. Con Phonon, se logró equilibrar ambos aspectos. Anunciado en abril, el desarrollo del modelo se llevó a cabo en colaboración con socios y usuarios iniciales durante seis meses, cuyos comentarios fueron fundamentales para dar forma a esta versión. Los modelos se hicieron más pequeños y se incorporaron más idiomas, así como soporte para voces personalizadas a través de técnicas de clonación y diseño de voz.
Phonon se basa en la línea de Pocket TTS y utiliza un enfoque de coincidencia de flujo para generar audio, lo que lo distingue de las técnicas de modelado empleadas en otros sistemas de texto a voz. Este enfoque permitió alcanzar un alto nivel de calidad en un modelo compacto, aunque también presentó nuevos desafíos durante el entrenamiento. Inicialmente, el proceso de entrenamiento fue numéricamente inestable y requirió diversas estrategias para obtener resultados de calidad en los cinco idiomas soportados.
Phonon se presenta en dos versiones, de aproximadamente 65 MB y 75 MB, y es capaz de hablar en inglés, francés, alemán, español y portugués. Además, cuenta con más de 100 voces integradas y permite a los usuarios crear voces personalizadas a través de Gradium Studio. Phonon también maneja correctamente aspectos que otros sistemas de texto a voz suelen complicar, como números de teléfono, fechas y códigos.
Phonon se puede utilizar en teléfonos, laptops, computadoras de placa única y en una pestaña del navegador, por lo que ya puedes escucharlo en este momento. Phonon 31m habla inglés y está bajo la licencia Apache 2.0, lo que permite su uso libre, incluso para productos comerciales. Por su parte, Phonon 40m abarca cinco idiomas bajo una licencia no comercial.
El lanzamiento se acompañó de demostraciones realizadas por amigos y por nuestro propio equipo. En un Apple Watch con el Wi-Fi desactivado, Phonon te guía paso a paso en la preparación de un café. En un iPhone sin señal, cuenta tus repeticiones y te motiva a seguir. Un robot llamado Lamp, de Autonomous, lleva un sombrero de clasificación y habla en su personaje. En un navegador, un corredor de dinosaurios fuera de línea se convierte en un programa de radio presentado por Rex. También hay un juego de ciencia ficción que utiliza la voz de la máquina del jugador, y Proust es leído en voz alta página por página.
El equipo de Hugging Face desarrolló la integración con Transformers, lo que permite a los desarrolladores utilizar Phonon en Transformers desde el primer día. Los desarrolladores también han comenzado a crear sobre esta tecnología. Una conversión de ExecuTorch ejecuta Phonon en la GPU de un visitante en el navegador, Micdrop lo lleva a aplicaciones de Node.js, y espacios como smallest-s2s se basan en él.
Phonon fue descargado más de 200,000 veces en sus primeras dos semanas y sigue siendo tendencia en Hugging Face.
En cuanto a su desempeño en el Open TTS Leaderboard de Hugging Face, este es un proyecto muy reciente que nos entusiasma. Con más de 9,000 modelos TTS en el Hugging Face Hub, el leaderboard ofrece a los desarrolladores un lugar para comparar modelos abiertos y escucharlos lado a lado. En 23 idiomas, los modelos son evaluados en inteligibilidad (tasa de error de palabras en las salidas), velocidad (factor de tiempo real inverso y tiempo hasta el primer audio) y naturalidad (UTMOS para inglés y KOMOS para coreano). Se evalúan tanto voces fijas como clonación de voz, con una métrica adicional de similitud entre hablantes para esta última. El leaderboard también cuenta con una pestaña de Escuchar, donde puedes comparar cómodamente las salidas TTS y votar por tus favoritas.
En términos de inteligibilidad, Phonon ocupa el primer lugar en alemán y español, y se encuentra entre los tres primeros en cada idioma que evaluamos, compitiendo con modelos hasta 100 veces más grandes. La velocidad es donde Phonon realmente destaca, ya que los modelos superan el benchmark de streaming de CPU en el tiempo hasta el primer audio.
Se ha desarrollado un nuevo marco de inferencia llamado ptts, específicamente diseñado para Phonon. El objetivo de ptts es lograr el mejor rendimiento en una amplia variedad de dispositivos, y por ello admite más de 10 backends: CPU (Intel, Arm, WebAssembly), GPU (CUDA, Vulkan, Metal, WebGPU) y NPU (Apple Core ML, Snapdragon®).
Phonon también está disponible en 馃 Transformers, a partir de la versión 5.21, como su implementación de referencia en PyTorch. Mientras que ptts ejecuta un único flujo en el dispositivo, Transformers se enfoca en el rendimiento de GPU: generación por lotes y compilación de gráficos completos con torch.compile, por ejemplo, para la síntesis de conjuntos de datos de voz a gran escala. Al ser nativo de PyTorch, sirve como base para construir sobre él, ya sea para integrar Phonon en tu propia infraestructura o para estudiar el modelo en sí.
Phonon pertenece a la línea de Pocket TTS, por lo que primero se agregó Pocket TTS a Transformers. Phonon se sitúa como un modelo modular: aproximadamente 200 líneas que describen solo lo que difiere. Phonon genera audio latentes de manera autoregresiva: cada paso produce un latente que se retroalimenta como la siguiente entrada, y la pérdida de entrenamiento se calcula sobre ellos. Los latentes son las entradas, salidas y objetivos del modelo, de la misma manera que los tokens de texto lo son para un modelo de lenguaje, por lo que el mapeo de audio a latentes juega el papel de un tokenizador. Transformers lo envía como tal: un tokenizador de audio, mantenido por el procesador junto al tokenizador de texto.
Una voz no es una grabación, sino un tensor de latentes del hablante. Phonon nunca codifica audio directamente con su tokenizador de audio, que se envía solo con decodificador, y las voces vienen precomputadas: gradium/phonon-voices. La disposición del prompt (posiciones de voz, texto y luego un token que abre el audio) se envía con el checkpoint como una plantilla de chat, al igual que otros modelos multimodales en Transformers. Se escribe una conversación estándar, con un ítem de audio vacío donde va la voz, y el código se mantiene igual a través de los checkpoints. Luego, el procesador expande el marcador de posición de la voz a una posición por cuadro, normaliza y tokeniza el texto, y agrupa las entradas.
La función generate devuelve latentes, que el procesador decodifica a audio. Para más información, consulta la documentación en 馃.
¿Qué sigue? Phonon puede hablar con cualquier voz. Puedes clonar una a partir de una grabación corta con el consentimiento del hablante, o describir una nueva en texto simple en Gradium Studio. Luego, descarga el archivo de voz, cárgalo en Phonon y se ejecutará completamente en el dispositivo.
También entrenamos modelos personalizados de Phonon junto a socios de diseño. Si tu presupuesto de memoria es limitado, podemos hacer que el modelo sea más pequeño. Si necesitas soporte para idiomas como coreano, árabe o japonés, también podemos entrenar para esos idiomas. Además, si tu producto tiene su propio vocabulario específico, podemos ajustarlo y afinarlo para que funcione de manera óptima. No dudes en ponerte en contacto con nosotros y contarnos qué necesitas para que podamos ayudarte a desarrollar la solución adecuada.
Agradecemos al equipo de Hugging Face y a todos los que probaron Phonon en sus primeras dos semanas. Phonon es nuestro primer lanzamiento abierto y estamos emocionados por las posibilidades que ofrece. Te invitamos a probarlo y a compartir con nosotros qué construyes utilizando esta tecnología.
Fuente original: Hugging Face Blog.
