LO ESENCIAL EN 30 SEGUNDOS

  • LiquidCodec tiene unos 74 millones de parámetros, trabaja con voz a 24 kHz a 12,5 tramas por segundo y usa 12 libros de códigos, para unos 1,65 kbps.
  • Liquid AI midió una codificación unas 361 veces y una decodificación unas 87 veces más rápidas que el tiempo real, en FP32 en un hilo de una CPU Apple M4 Max.
  • Se entrenó primero con 264.000 horas de voz en 107 idiomas; solo se ha probado con voz, no con música ni otros sonidos.

Liquid AI ha publicado LiquidCodec como modelo independiente. Anunciado el 12 de noviembre en su blog, este códec de audio neuronal convierte la voz en secuencias compactas de tokens que un modelo de lenguaje puede leer y generar, y luego las devuelve a forma de onda. Es el mismo tokenizador que llevan LFM3-Audio-2B y LFM3-Omni-2B, los modelos con voz que Liquid AI presentó a finales de octubre.

Pequeño, causal y rápido en CPU

LiquidCodec tiene unos 74 millones de parámetros. Procesa voz mono a 24 kHz a 12,5 tramas por segundo, con 12 tokens por trama; la ficha de Hugging Face sitúa la tasa de bits en torno a 1,65 kbps. El codificador es totalmente causal, lo que permite el streaming, y ambas mitades reutilizan bloques de la arquitectura LFM3 de Liquid AI.

En lugar de la cuantización vectorial residual de Mimi, el códec que usaba su predecesor, LiquidCodec emplea cuantización escalar finita agrupada, que permite predecir todos los libros de códigos en paralelo. El decodificador predice directamente coeficientes espectrales, sin convoluciones transpuestas aprendidas para el sobremuestreo.

La velocidad es la principal promesa. Medido en FP32 en un solo hilo de CPU de un MacBook Pro con Apple M4 Max, Liquid AI informa de un factor de tiempo real de 0,0028 al codificar y de 0,0115 al decodificar, unas 361 y 87 veces más rápido que el tiempo real. En la misma tabla, Mimi con 12 libros de códigos obtiene 0,0361 y 0,0329. Un decodificador cuantizado a 4 bits reduce 3,5 veces el tamaño en memoria con una pérdida de calidad que la compañía describe como mínima.

Entrenamiento y resultados

El entrenamiento tuvo dos fases: 264.000 horas de voz en 107 idiomas sin pérdidas adversariales y, después, 55.000 horas de voz de banda completa con críticos adversariales para eliminar artefactos "metálicos". En reconstrucción, Liquid AI afirma que LiquidCodec iguala a X-Codec 2, NanoCodec y Mimi, con la mejor puntuación ViSQOL y la menor distancia mel en los ocho conjuntos de prueba. En una comparación de síntesis de voz multilingüe zero-shot, asegura haber logrado la mayor naturalidad UTMOSv2 en los ocho conjuntos y las mejores tasas de error en cuatro.

Disponibilidad y salvedades

Los pesos están en Hugging Face, se cargan con la biblioteca Transformers y se rigen por la LFM Open License v1.0, no por una licencia de código abierto estándar. Todos los resultados proceden de Liquid AI y no se han replicado de forma independiente; la velocidad se midió en una única configuración de CPU. La ficha indica que solo se entrenó y evaluó con voz, por lo que se desconoce su calidad con música, canto o sonido ambiente.