TurboDiffusion: ускорение инференса генеративных ИИ в 205 раз

В открытом доступе появилась TurboDiffusion — платформа для сверхбыстрого инференса генеративных диффузионных моделей для создания видео. Разработчики заявляют, что на одной видеокарте RTX 5090 система способна ускорять полный цикл генерации видео в 100-205 раз без заметной деградации визуального качества, что делает TurboDiffusion одним из самых агрессивных оптимизаторов инференса в этой области.

В основе платформы TurboDiffusion лежит комбинация SageAttention, механизма разреженного линейного внимания SLA и метода rCM, которые в совокупности позволяют существенно сократить вычислительные затраты при сохранении пространственно-временной согласованности видео. Такой подход особенно важен для генерации длинных роликов, где стандартные схемы внимания быстро упираются в ограничения пропускной способности памяти и вычислительные лимиты GPU.

На текущем этапе проект предлагает несколько готовых предоптимизированных моделей семейства TurboWan 2.1 и TurboWan 2.2, предназначенных как для генерации по схеме text-to-video, так и для сценариев image-to-video. Модели доступны в вариантах с размером от 1,3 до 14 миллиардов параметров и оптимизированы под разрешения 480p и 720p.

Развёртывание TurboDiffusion не требует экзотической программной среды. Платформа рассчитана на Python версии 3.9 и выше, а также на PyTorch начиная с версии 2.7.0. Разработчики отдельно подчеркивают, что PyTorch 2.8.0 является рекомендуемым вариантом, поскольку более новые версии могут приводить к ошибкам нехватки видеопамяти при высоконагруженных сценариях генерации видео.

Отдельное внимание в проекте уделено возможности комбинирования различных оптимизационных подходов. Обновления параметров, полученные в ходе обучения SLA, могут быть объединены с контрольными точками rCM с помощью специального скрипта, входящего в репозиторий TurboDiffusion. Это позволяет моделям rCM использовать разреженный вывод внимания и дополнительно снижать вычислительную нагрузку при инференсе.

Разработчики рассматривают текущий релиз как основу для дальнейшего расширения экосистемы. В планах — публикация кода системы обучения платформы, доработка инфраструктуры для более эффективного параллельного исполнения, интеграция с vLLM-Omni, а также поддержка большего числа моделей для генерации видео, включая авторегрессионные подходы. Дополнительно заявлены дальнейшие аппаратные оптимизации, которые должны еще сильнее повысить эффективность работы на современных GPU.