Mistral AI представила Voxtral Transcribe 2: новое семейство моделей преобразования речи в текст

Компания Mistral AI представляет революционное обновление в области преобразования речи в текст — новейшее семейство моделей Voxtral Transcribe 2. Это решение нового поколения, включающее две специализированные модели для пакетной обработки и работы в реальном времени, устанавливает новые стандарты качества транскрипции, диаризации и скорости. Одновременно с этим запускается аудиоплатформа в Mistral Studio, позволяющая мгновенно тестировать возможности расшифровки с диаризацией и детальными временными метками.

Семейство Voxtral Transcribe 2 включает две модели. Нейросеть Voxtral Mini Transcribe Realtime с 4 миллиардами параметров, доступная для локального развертывания, предназначена для пакетной расшифровки аудио и демонстрирует высочайшее качество транскрипции с диаризацией, учетом контекста и временными метками на для 13 наиболее распространенных языков, включая русский. Она обеспечивает самый низкий процент ошибок при расшифровке слов по минимальной рыночной цене, значительно превосходя по точности и скорости таких конкурентов, как GPT-4o mini Transcribe и Deepgram Nova. Модель созданна на основе проприетарной потоковой архитектуры и специального аудиокодера, что позволяет настраивать задержку при расшифровке аудио (от 240 мс до 2,4 с) и дает пользователям возможность сбалансировать задержку и точность в соответствии со своими потребностями.

Вторая, более мощная модель Voxtral Realtime доступна в облаке и создана специально для приложений, требующих сверхмалой задержки. Ее инновационная потоковая архитектура позволяет транскрибировать аудио по мере поступления с задержкой менее 200 мс, что критически важно для разработки умных голосовых помощников и интерактивных приложений. Voxtral Realtime также поддерживает настройку скорости, и при задержке в 2,4 секунды ее точность сопоставима с пакетной моделью, а при 480 мс отклонение составляет лишь 1-2%.

Для корпоративного использования Voxtral Mini Transcribe V2 предлагает набор готовых функций. Модель точно идентифицирует разных говорящих в записи, генерируя расшифровку с метками начала и конца реплик, что идеально подходит для расшифровки совещаний и интервью. Система поддерживает контекстные подсказки для корректного распознавания имен и терминов, а также обеспечивает высокую точность даже в шумных условиях, таких как производственные цеха или колл-центры.

Запуск Voxtral Transcribe 2 знаменует собой значительный шаг вперед в технологии распознавания речи. Предлагая раздельные, оптимизированные под конкретные задачи модели для пакетной и реальной обработки, Mistral AI обеспечивает непревзойденное сочетание точности, скорости и стоимости. Открытость модели для реального времени подчеркивает commitment компании к развитию приватных и доступных AI-решений. Интеграция с Mistral Studio предоставляет разработчикам и бизнесу мощный инструмент для мгновенной проверки и внедрения передовых возможностей транскрипции в свои продукты и рабочие процессы.