Что такое vLLM и зачем он нужен: серверный движок для инференса LLM

Все мы знакомы с фразой: “Как бы ты высоко не летал, не забывай, с кем ты ползал”. Так вот, напомним, что в прошлых статьях мы “ползали” с пользовательскими движками инференса Ollama и LM Studio и научились “взмахивать крыльями” с бэкендом llama.cpp. Но сегодня настало время по-настоящему “взлететь”, используя передовые возможности open-source платформы, которая по праву считается настоящим пред-топом в мире локального инференса ИИ на серверах — vLLM. Вы спросите, что же такого в этом инновационном движке? Все дело в том, что vLLM вступает в игру только тогда, когда ваш ИИ-проект перерос стадию прототипа и требует полноценного развертывания в продакшене на серверном оборудовании с множеством GPU, тем самым обеспечивая непревзойденную производительность локальных нейросетей. vLLM — это босс open-source движков инференса ИИ, созданный с прицелом на дата-центры и способный выжимать максимум возможностей из ваших GPU и LLM.

Нагнать пафоса это, конечно, дело хорошее, но для начала стоит немного углубиться в теорию. vLLM — это open-source движок (если точнее, Python-библиотека) для вывода больших языковых моделей, изначально спроектированный для высокой производительности в продакшн-среде. Если в движках пользовательского уровня основной философией было максимальное упрощение процесса инференса, то vLLM не ищет легких путей, выводя на первый план высокую производительность, скорость инференса, возможности тончайшей настройки ИИ, отказоустойчивость локального запуска ИИ, а также инструментарий для работы в комплексных инфраструктурах.

Думаете, за vLLM стоит какая-то мощная корпорация по типу Nvidia? Вы одновременно и правы, и нет. vLLM создали студенты из Университета Калифорнии в Беркли в 2023 году, работая в лаборатории Sky Computing Lab. Изначально vLLM был исследовательским инструментом, направленным на улучшение управления памятью для вывода больших языковых моделей. Когда стало понятно, что их детище представляет из себя нечто большее, чем материал для дипломной работы, они приняли решение открыть исходный код vLLM и вывести его в open-source, где платформа быстро завоевала огромную популярность. Спустя время к ажиотажу подключились крупные спонсоры, в числе которых IT-гиганты Nvidia, AMD и Intel, что открыло для vLLM путь в топы открытых движков инференса. 

Сейчас над проектом работают три основных разработчика, но это не мешает им активно развивать свое творение, делясь важной информацией dev-блогах, анонсируя Roadmap и активно готовя к выходу полноценную релизную версию vLLM v1 (текущая версия v0.10.1.1), где будет добавлена расширенная поддержка ИИ-ускорителей (AMD MI350X и Moore Threads MTT), новых форматов вычислений (MXFP4), улучшится оптимизация, а также упростится работа с ИИ-движком. Нетрудно догадаться, что vLLM — это не инструмент для новичков, а профессиональное решение, которое уже используется в продакшене множеством стартапов и крупными компаниями.

Если установка Ollama и LM Studio требовала от юзера только нажать кнопку “Скачать”, то для инсталляции vLLM нужно быть готовым продемонстрировать свои глубокие знания системного администрирования. Основной и наиболее поддерживаемой средой запуска vLLM является Linux, однако платформу можно также установить на Windows и даже на MacOS, хоть и с некоторыми оговорками. В любом случае, процесс установки требует соблюдения определенных требований:

• Linux: рекомендуется Ubuntu 20.04+, но подойдут и другие дистрибутивы с ядром Linux вне зависимости от версии. Установку готовой сборки можно осуществить через pip, но для начала нужно создать новое окружение conda/UV, чтобы избежать конфликтов с существующими пакетами, а также можно использовать исходный код vLLM, вручную клонировав репозиторий и установив зависимости neuronx-cc/transformers-neuronx. Обращайтесь к официальным инструкциям, чтобы упростить процесс установки.
• Windows: понадобится версия Windows 10 или выше. Способы установки аналогичны инсталляции на Linux, а также можно воспользоваться запуском через WSL2. Сложность обуславливается тем, что изначально работа с vLLM через эту ОС не подразумевалась. Ввиду этого Windows-версии vLLM не оптимизированы, демонстрируют посредственную производительность, а установка сопровождается множеством конфликтов зависимостей.
• MacOS: примечательно, что на Mac запуск vLLM тоже возможен, хоть он и будет в разы сложнее. Помимо ручной установки через скачивание исходного кода и использования множества костылей, будьте готовы, что движок будет запускать инференс только на CPU из-за ограниченной поддержки Metal/MPS.
• Python: помимо ОС вам потребуются определенные версии Python-окружения, такие как Python 3.9, 3.10, 3.11 или 3.12 (более новые не подойдут).
• PyTorch: подойдет любая стабильная версия фреймворка.
• CUDA Toolkit: при работе с GPU от Nvidia понадобится оборудование, совместимое с версией CUDA 12.8, совместимой с PyTorch и драйвером.
• ROCm: для юзеров решений Instinct нужны ускорители с поддержкой ROCm 6.0 и выше.

Важно понимать, что все эти сложности появились не из-за того, что разработчики ненавидят людей. vLLM в первую очередь является серверным инструментом, а не настольной утилитой, поэтому чтобы воспользоваться всеми благами высокопроизводительного инференса LLM, нужно немного потрудиться с установкой.

Если вы не хотите тратить четыре часа своей жизни, то наиболее простым способом развертывания vLLM является использование готовых Docker-образов, доступных на официальном GitHub разработчиков. Этот способ позволит создать изолированное окружение для требовательного ИИ-движка, избежав конфликтов зависимостей и кратно ускорив процесс развертывания.

Прежде чем погружаться в передовой функционал vLLM, поговорим о чем-то простом, а именно об интеграциях и API-возможностях. Как и другие бэкенды для инференса, разработчики vLLM не могли не сделать полную совместимость с OpenAI API, чтобы облегчить обращение к LLM через те же HTTP-запросы, что и к сервисам OpenAI. Во многом это стало причиной роста популярности vLLM, поскольку благодаря этой функции миграция проектов с проприетарных API на собственные локальные решения стала в разы легче, ведь у энтузиастов отпала необходимость переписывать тонны кода.

Хорошо, допустим, ваш проект мигрировал в более функциональную среду. Возникает логичный вопрос: “а что дальше то делать?”. А много чего, поскольку для непосредственной разработки в vLLM доступна максимально удобная и одна из самых функциональных Python-библиотек среди всех движков инференса. Здесь есть все: от загрузки, сэмплинга, интеграции ИИ-моделей или развертывания ИИ-сервера до интеграции пакетных запросов, сохранения контекста между разными чатами, потоковой генерации, кастомизации токенов, выстраивания RAG-систем. Нужно собрать свой собственный, локальный ChatGPT с кучей навороченных функций? vLLM — получите и распишитесь! 

На официальном GitHub-репозитории проекта можно найти множество готовых примеров кода, наглядно демонстрирующих, как работать с движком. Энтузиасты даже собирают диалоговые мини-игры с интеграцией разных ИИ-моделей, а крупнейшие компании, такие как Amazon, Tencent или LinkedIn интегрируют vLLM в архитектуру своих микросервисов.

API и Python-библиотеки являются это неотъемлемой часть любого ИИ-движка. Но они теряют весь свой смысл, если бэкенд не имеет широкого выбора совместимых больших языковых моделей. vLLM не имеет с этим проблем, ведь движок позиционируется как универсальное решение и поддерживает широкий спектр современных LLM-архитектур. В vLLM для запуска доступны ИИ-модели на любой вкус — Llama*, Gemini, GPT-OSS, DeepSeek, Qwen, Mistral, Phi и бесчисленное множество нишевых нейросетей с открытым исходным кодом. А для их скачивания достаточно применить всего одну команду благодаря встроенной утилите HuggingFace CLI.

Однако просто скачать веса модели будет недостаточно. В отличие от llama.cpp, которая работает с собственным форматом GGUF, платформа vLLM заточена под работу с моделями в формате safetensors, разработанный командой Hugging Face для безопасного и быстрого хранения тензоров. Это несколько сокращает выбор ИИ-библиотек для загрузки LLM, но позволяет оперативно скачивать нейросети из Hugging Face, которая и так является крупнейшей библиотекой open-source ИИ. Также пользователи могут удобно скачивать китайские ИИ-модели с платформы ModelScope, которая является полным аналогом Hugging Face для КНР.

Помимо этого, для успешного запуска движку требуется внушительный комплекс дополнительных файлов, который включает конфигурацию (config.json), токенизатор (tokenizer.json), файлы словарей — то есть, вам нужна полная копия репозитория модели с Hugging Face. Если вы справились и установка нейросетей не вогнала вас в прокрастинацию, то вы убедитесь, что старания не прошли зря, ведь благодаря скачиванию всех внутренностей ИИ-модели, вы сможете управлять всеми процессами инференса: расходом памяти, скоростью генерации ответов, выбором уровня квантизации и так далее. Кроме того, вы в любой момент можете переключаться между разными LLM, одновременно обслуживая и управляя ими на одном сервере. Эта система идеально интегрируется с оркестраторами вроде Kubernetes, что делает vLLM буквально end-to-end решением для работы в ИИ-кластере. 

Высокая производительность vLLM — это не магия, а результат применения передовых технологий. Две ключевые системы, лежащие в его этого движка: PagedAttention (оптимизация под ключевые значения KV Cache) и FlashAttention.

Механизм KV Cache — это метод ускорения инференса, при котором результаты вычислений ключей и значений (K и V) во время генерации текста сохраняются в кеше, чтобы избежать их повторного пересчета для предыдущих токенов. В многопользовательской среде, где десятки запросов обрабатываются параллельно, традиционное управление этим кешем становится узким местом большинства систем. PagedAttention в vLLM работает по аналогии с виртуальной памятью в операционных системах: он организует KV Cache в блоки, которые динамически распределяются между различными запросами. Это устраняет фрагментацию памяти и позволяет выжимать максимум из доступной VRAM, что значительно ускорит обработку длинных последовательностей и работу в условиях высокой параллельной нагрузки.

FlashAttention — это революционный алгоритм, оптимизирующий вычисления механизма внимания. Он позволяет производить расчеты напрямую в SRAM памяти GPU (кэш L3 видеокарт), минимизируя дорогостоящие операции чтения/записи в медленную глобальную VRAM. Это дает огромный прирост скорости инференса и, что еще важнее, кратно сокращает потребление памяти. Именно синергия PagedAttention и FlashAttention позволяет vLLM так уверенно справляться с многопользовательскими нагрузками, предлагая высокую пропускную способность при локальном развертывании LLM. Подробный разбор принципов работы PagedAttention и FlashAttention мы сделаем отдельной статье.

Изучать теорию не так интересно, ведь все вы собрались узнать, как vLLM ведет себя на практике, не так ли? На самом деле, ведет он себя более чем достойно. Конечно, на одиночном потребительском GPU, например, RTX 5090, разница в скорости обработки одного запроса между vLLM и тем же llama.cpp может быть не столь очевидной. Но настоящая мощь vLLM раскрывается в полной мере только при развертывании в конфигурациях multi-GPU.

При распределении нагрузки на несколько GPU, например, в конфигурации 4x или 8x H200/B200, преимущества эффективного управления памятью и оптимизированных вычислений становятся видны невооруженным глазом. Пока другие движки могут сталкиваться с проблемами синхронизации и неэффективного распределения VRAM между GPU-ускорителями, vLLM демонстрирует практически линейный рост производительности. Пропускная способность (количество обработанных токенов в секунду) в сценариях с параллельной обработкой множества запросов может быть на порядок выше. Например, в одном из тестов кластер на восьми GPU H100 с vLLM показывал в 10-15 раз более высокую пропускную способность по сравнению с другими открытыми решениями при аналогичной задержке, что напрямую транслируется в снижение TCO для коммерческих вычислительных сред. 

Ничто в этом мире не может быть идеальным, и vLLM не является исключением. Несмотря на свою универсальность, у этого движка есть своя ниша и вполне определенная целевая аудитория — владельцы коммерческих вычислительных инфраструктур и профессиональные ИИ-энтузиасты. Из этого вытекает главный компромисс — сложность движка. Новички, которые хотят запустить локальную ИИ-модель на своем ПК и ноутбуке, вероятно, сойдут с ума еще на этапе установки vLLM. Платформа также не является такой же гибкой и минималистичной, как llama.cpp, которая может работать даже на Raspberry Pi, но вместо этого vLLM открывает широчайшие возможности тонкой настройки нейросетей под фактически любые задачи. С другой стороны, vLLM не дотягивает до уровня максимально низкоуровневых и крайне индустриальных решений, таких как компилятор Triton, который требует еще более глубоких знаний для написания кода и оптимизации ядер CUDA, но позволяет выжать из железа абсолютный максимум, который только возможен. Таким образом, vLLM уверенно занимает свою нишу серверных ИИ-решений, предлагая лучший баланс между производительностью, удобством API и готовностью к работе в продакшене.

Как мы выяснили, vLLM является единственным в своем роде open-source инструментом для развертывания больших языковых моделей с упором на использование в высокопроизводительных средах мощных дата-центров. Огромный пул возможностей, широчайший выбор ИИ-моделей, использование передовых технологий оптимизации инференса делают vLLM выбором для опытных инженеров, DevOps-специалистов и компаний, которые рассматривают LLM не как игрушку, а как критически важный компонент своей вычислительной инфраструктуры, требующий максимальной отдачи от вложений в железо. Этот движок — важный кирпичик в экосистеме высокопроизводительных вычислений для ИИ, и его развитие продолжается. Но даже он не сможет сравниться с мощью настоящего “ИИ-монстра” в лице Triton, о возможностях которого мы поговорим в нашей следующей статье.

*LLAMA — проект Meta Platforms Inc.**, деятельность которой в России признана экстремистской и запрещена

**Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена