NVIDIA NeMo — от голосовых ассистентов до генеративного ИИ

Как известно, Nvidia является главным поставщиком ИИ-ускорителей для всех ведущих разработчиков моделей искусственного интеллекта. Однако на этом пул передовых решений Nvidia не заканчивается, ведь компания также создает одни из самых эффективных на рынке программных платформ работы с искусственным интеллектом на разных этапах их разработки, и одним из таких решения является фреймворк NVIDIA NeMo. В этой статье мы расскажем вам, что такое NVIDIA NeMo, какие возможности предлагает эта платформа, а также разберем наглядный кейс с использованием NeMo для малого и среднего бизнеса.

NVIDIA NeMo представляет собой мощный и масштабируемый фреймворк с открытым исходным кодом, предназначенный для создания, настройки и развертывания современных моделей искусственного интеллекта. Изначально NVIDIA NeMo задумывался как узкоспециализированный инструмент для разработки голосовых ассистентов, но благодаря стремительной эволюции генеративного ИИ, спустя 6 лет после релиза в 2019 году, фреймворк трансформировался в универсальную платформу для работы с языковыми и мультимодальными системами. В настоящее время NeMo — это ключевой элемент программной экосистемы компании NVIDIA, который позволяет ИИ-энтузиастам, разработчикам и инженерам быстро переходить от теоретических экспериментов с искусственным интеллектом к промышленному внедрению сложнейших ИИ-моделей для выполнения коммерческих, исследовательских или пользовательских задач. 

Рассмотрим несколько основных направлений работы с искусственным интеллектом, где можно использовать фреймворк Nvidia NeMo :

Несмотря на значительное расширение функциональных возможностей фреймворка, системы распознавания и синтеза речи остаются одной из сильнейших сторон Nvidia NeMo. Фреймворк предлагает полный цикл инструментов для создания голосовых интерфейсов, который включает в себя следующие системы:

• Модели Encoder-Decoder (трансформеры, конволюции): Традиционные инструменты кодировки/декодировки запроса, которые повсеместно используются при выполнении задач с богатым контекстом, такими как человеческая речь.
• Модели на основе Connectionist Temporal Classification (CTC): Специализированные ИИ-модели для выполнения задач, требующих высокой скорости генерации и точного выравнивания аудио и текста, благодаря чему обработка запросов происходит в режиме реального времени.
• Гибридные модели (CTC/Attention): ИИ-модели, которые сочетают в себе точность выравнивания от CTC и контекстуальное понимание от механизмов для балансировки весов внимания нейросетей.
• Конфиденциальные модели (Citrinet, Conformer): Высокооптимизированные ИИ-архитектуры, такие как Citrinet и Conformer, которые обеспечивают точность генерации результатов при эффективном использовании вычислительных ресурсов.
• Мел-спектрограммные модели: Модели, вроде, FastPitch и TalkNet генерируют высококачественные мел-спектрограммы (промежуточное аудиопредставление) из текста. Они обеспечивают высочайший контроль над просодией (интонацией, ударениями, паузами) сгенерированных результатов.
• Вокодеры: Нейросети, такие как HiFiGAN и UnivNet, преобразуют сгенерированные мел-спектрограммы в сырой аудиосигнал с высокой частотой дискретизации, обеспечивая чистое и натуральное звучание.
• End-to-end модели: Архитектуры, такие как VITS, которые напрямую преобразуют текст в аудио, минуя этап создания спектрограммы, что часто приводит к более естественному звучанию и упрощает пайплайн.
• Многоязычные модели: Нейросети, например, Canary, которые способны распознавать и генерировать речь на нескольких языках одновременно, демонстрируя превосходные результаты в синтезе речи. 

Готовые модели легко интегрируются в коммерческие продукты через платформу NVIDIA Riva, которая оптимизирует их для работы в реальном времени и развертывания в масштабе. Кроме того, NeMo также предлагает возможности тонкой настройки моделей ASR и TTS, для смены стиля речи, ее тона, акцента, скорости, а также извлечения временных меток. 

Одним из самых значимых направлений развития NeMo стала интеграция глубокой поддержки инструментов для работы с большими языковыми моделями с миллиардами и триллионами параметров, причем, как для доработки LLM, так и для создания новых нейросетей с нуля. Вот какие системы для LLM-разработчиков доступны в Nvidia NeMo:

• NeMo Curator: Высокопроизводительная библиотека для очистки, фильтрации и подготовки текстовых и визуальных материалов данных с последующим формированием датасета для обучения LLM. NeMo Curator использует GPU для ускорения процессов подготовки датасетов, что критически важно при работе с сырыми веб-данными. 
• Supervised Fine-Tuning (SFT): Система для дообучения языковых моделей на размеченных данных для выполнения конкретных задач.
• Parameter-Efficient Fine-Tuning (PEFT): Методы адаптации языковых ИИ-моделей по типу LoRA и P-Tuning, которые позволяют настроить большие языковые модели с минимальными вычислительными затратами, при этом добавляя лишь небольшое количество дополнительных параметров.
• NeMo Aligner — особый набор инструментов для безопасного и эффективного выравнивания весов внимания для доработки поведения LLM, например, в целях наделения нейросети человеческими ценностями или “личными” предпочтениями. Поддерживает такие современные механизмы выравнивания весов, как Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM.
• NVIDIA NIM: Набор микросервисов, которые обеспечивают масштабируемый, оптимизированный и защищенный инференс языковых моделей на GPU Nvidia, обеспечивая эффективное внедрение искусственного интеллекта в корпоративных системах. 

Помимо всего вышеперечисленного, возможности NeMo в области работы с LLM включают дедубликацию, классификацию качества контента, извлечение высококачественного текста и генерацию синтетических данных для обучения и оценки моделей. Также доступны оптимизации для обучения нейросетей на множестве GPU в рамках кластеров и дата-центров, работу можно вести со всеми популярными архитектурами ИИ и активно интегрируются новые архитектуры, такие как Hyena и Evo2. Также поддерживаются различные популярные языковые модели с открытым исходным кодом, такие как Nemotron, GPT, Llama*, Qwen, Gemma и другие. 


Схема работы системы NeMo Curator. Источник: Nvidia.

Мультимодальные системы

Будущее ИИ лежит в мультимодальности, и NeMo активно развивается в этом направлении. Платформа позволяет создавать системы, которые одновременно обрабатывают и взаимосвязывают информацию из разных источников: текст, аудио и изображения. Это открывает широкий простор возможностей для создания высокоинтеллектуальных ассистентов и передовых ИИ-моделей, способных анализировать огромные объемы информации и выполнять сложнейшие задачи. Вот какие инструменты для работы с мультимодальными ИИ предлагает Nvidia NeMo:

• NVLM 1.0: Семейство языковых моделей Nvidia, которые используются для обучения и настройки мультимодальных ИИ-моделей. Доступны модели NVLM-D (Decoder-only) для обработки токенов изображений и текста, NVLM-X (Cross-attention) для обработки токенов визуальных материалов в высоком разрешении и NVLM-H (Hybrid), которая комбинирует подходы моделей D и X для достижения баланса между эффективностью и качеством рассуждений.
• Интеграция с NVIDIA Cosmos: Платформа для разработки моделей с функцией понимания физического мира, которые впоследствии можно задействовать в таких областях, как робототехника, научные симуляции и системы автономного вождения. Доступны ветки Cosmos Autoregressive или Cosmos Diffusion для работы с разными типами мультимодальных ИИ.
• Retrieval-Augmented Generation (RAG): NeMo Retriever предоставляет микросервисы для семантического поиска и извлечения информации из мультимодальных данных (текст, PDF, таблицы), что позволяет моделям работать с актуальными данными.
• NeMo Guardrails: Набор инструментов с открытым исходным кодом, который позволяет настраивать ограничения для LLM-приложений, контролируя темы разговора, стиль ответов и обеспечивая безопасность пользователей, что критически важно для мультимодальных интерфейсов.
• Нейральные поля (NeRF): Параметр для продвинутой 3D-генерации и работы с объемным видеоконтентом.

Среди других функций пользователям Nvidia NeMo доступны различные окружения, такие как Kubernetes, Slurm или NVIDIA NeMo Run, совместимость с ускоренными файловыми системами, например, Amazon FSx for Lustre и использование EFA (Elastic Fabric Adapter) на AWS обеспечивают высокоскоростной доступ к данным и низкую задержку в сети.

Мощь NeMo заключается в его исключительной гибкости: разработчики могут как использовать готовые pre-trained модели, так и обучать собственные архитектуры практически с нуля. Эта гибкость обеспечивается высокой производительностью на GPU NVIDIA и native-поддержкой современных форматов данных и парадигм распределенного обучения, что критически важно для работы с гигантскими датасетами. По своей эффективности и оптимизации фреймворк составляет серьезную конкуренцию другим известным решениям, таким как Megalodon от Aligned. 

Архитектура NeMo построен на основе самого популярного ИИ-фреймворка PyTorch и тесно интегрирован с другими ключевыми фреймворками NVIDIA, благодаря чему достигается максимальная производительность при настройке и создании ИИ-моделей. Среди таких интеграций можно выделить систему Megatron-LM для эффективного распределенного обучения LLM и NVIDIA TensorRT для оптимизации и ускорения инференса. Платформа NeMo также спроектирована для работы в любой среде: от локального сервера с несколькими GPU до масштабных облачных кластеров. Глубокая интеграция с Kubernetes (в частности, с Google Kubernetes Engine — GKE) позволяет легко управлять оркестрацией, обучением, дообучением и инференсом передовых моделей искусственного интеллекта.

Динамика развития фреймворка впечатляет: релизы и крупные обновления выходят регулярно. Только за последний год в NeMo были добавлены инструменты для работы с ИИ-моделями, была внедрена поддержка новых ИИ-моделей и архитектур, обновился список совместимых контейнеров, и эта лишь малая часть всех улучшений фреймворка NeMo. Кроме того, открытый исходный код NeMo позволяет заинтересованному сообществу самостоятельно дорабатывать этот передовой фреймворк, создавая собственные, кастомные инструменты для выполнения даже специфичных ИИ-задач.

Рассмотрим практический пример, как ИИ-фреймворк Nvidia NeMo может помочь малому и среднему бизнесу в реальных сценариях. Допустим, у компании есть тысячи часов записей телефонных разговоров с клиентами. С помощью крупной языковой модели из семейства NeMo (например, Nemotron) можно выполнить первичную автоматическую аннотацию этих данных: транскрибировать аудио в текст, определить интент клиента, выявить ключевые темы и эмоциональную окраску. После этого специалисты компании проводят ручную доразметку или валидацию результатов, что требует значительно меньше времени и ресурсов, чем полная разметка с нуля. Подготовленный таким образом датасет используется для дообучения специализированной голосовой или текстовой модели непосредственно в NeMo, которая учится понимать специфику бизнеса. Готовая модель интегрируется в CRM-систему или программное обеспечение колл-центра для автоматического анализа звонков в реальном времени, генерации ответов операторам или классификации обращений. Для ускорения работы уже готовой модели на конечном устройстве можно применить методы квантизации.

NVIDIA NeMo давно перестал быть фреймворком для базовых задач синтеза и обработки речи, превратившись в полноценную, универсальную платформу для разработки генеративных и языковых ИИ-моделей. Его динамичное развитие, подкрепленное четкой дорожной картой и глубокой интеграцией со всей программной экосистемой Nvidia, делает NeMo одним из ведущих фреймворков на рынке. А эффективность этой системы подтверждена сотнями ИИ-стартапами и крупными разработчиками передовых LLM, использующими NeMo при создании новых моделей искусственного интеллекта, которые уже в ближайшем будущем станут причиной настоящей революции в мире IT.