🎙Бета-версия Zonos-v0.1

🎙Бета-версия Zonos-v0.1

text-to-spench модель от Zyphra

Команда Zyphra анонсировала выпуск бета-версии Zonos v0.1, включающей две модели для преобразования текста в речь (TTS) с клонированием голоса в реальном времени. Модели 1.6B Transformer и 1.6B Hybrid доступны под лицензией Apache 2.0.

👀Что может:

• Клонирование голоса

• Поддерживает английский, японский, китайский, французский и немецкий языки, русского нет

• Контроль скорости речи, высоты тона, максимальной частоты, качества звука

• Возможность контроля эмоция

• Открытый Playground и API

⚙️Производительность и архитектура:

• 200,000 часов речевых данных для обучения: английский, китайский, японский и другие языки.

• Поддержка быстрой генерации речи с низкими задержками (200-300 мс) на RTX 4090.

• Модели обучаются с использованием автокодера DAC и параметров (скорость речи, высота тона, эмоции).

🐱Код - открытый код

🆓Демо - потестить, можно зайти через гугл

🖥Блог - почитайте, там интересно, если вниз листнете можно найти сравнение с конкурентами