Diffusion LLM: новое поколение языковых моделей, пришедшее на смену трансформерам

Всего лет 5 назад слово “трансформеры” у обывателей ассоциировалось только с небезызвестной серией фильмов, но после ИИ-революции и, в особенности, выхода научной статьи Google “Attention Is All You Need”, этот термин заиграл новыми красками. Теперь трансформерами называют архитектуру топовых ИИ-моделей, таких как GPT, Gemini и Claude, которые умеют преобразовать входные данные в контекст, а потом обратно уже в выходные данные, что стало возможным благодаря внедрению механизма внимания. Однако со временем, как и любая прорывная технология, архитектура трансформеров постепенно подходила к своему пределу, и в настоящее время ее возможности практически исчерпали себя. Мир устал от бесконечных анонсов “очередных GPT” с чуть большим контекстным окном или увеличенным объемом параметров, и настойчиво ищет принципиально новую архитектуру искусственного интеллекта. И такая архитектура действительно появилась, а имя ей — диффузионные языковые модели, где ответ рождается не из последовательности токенов, а из хаоса шума и квинтэссенции смысла. В этой статье специалисты компании ServerFlow расскажут вам, что из себя представляют диффузионные LLM, как они работают, где используются и действительно ли они во всем лучше моделей-трансформеров.

Архитектура трансформеров, лежащая в основе всех современных LLM, безупречна для обучения искусственного интеллекта, но она становится тяжелым бременем при инференсе. Главная ахиллесова пята трансформеров — это последовательный, токен за токеном, способ генерации текста. Каждое новое слово зависит от всех предыдущих, и это требует постоянных пересчетов внимания для всего контекста, что безумно сильно грузит железо, неадекватно увеличивая системные требования и вызывая большие задержки. Типичная скорость инференса мощной модели-трансформера сегодня — это 200–300 токенов в секунду, что создает вынуждает пользователей долго ждать результата.

Для ИИ-индустрии это выливается в астрономический взлет стоимости инференса, огромный рост энергопотребления инфраструктуры и, что самое печальное, жесткие ограничения по длине контекстного окна. Увеличивая контекст моделей-трансформеров, разработчики сталкиваются с квадратичным ростом вычислительной сложности. Именно эта проблема заставила исследователей по всему миру искать альтернативу трансформерам — архитектуры, способные мыслить и генерировать ответы более параллельно, целостными блоками. А решение этой проблемы снова предложила компания Google в научной статье “Denoising Diffusion Probabilistic Models”, применив подход, который ранее оптимизировал технологии компьютерного зрения, в области моделей трансформеров. Так и родилась архитектура искусственного интеллекта под названием диффузионные модели, которая перенесла нейросети из мира семантики в мир пикселей.

Если говорить простыми словами, принцип работы диффузионной языковой модели можно сравнить с процессом проявления старой фотографии в химической ванне или с работой художника, который начинает с размытого абстрактного эскиза и постепенно, шаг за шагом, уточняет контуры и добавляет детали, пока не получится четкое изображение.

В основе подхода лежит двухэтапный процесс. На этапе прямого распространения (forward process) исходный осмысленный текст постепенно, через множество малых шагов, “зашумляется” — превращается в хаотичный набор данных, подобный статическому телевизионному шуму. Модель учится этому процессу осознанной деградации данных. А на этапе обратного распространения (reverse process) она начинает шаг за шагом этот шум очищать, восстанавливая и проявляя из хаоса связный и осмысленный текст или изображение.

В сравнении с традиционными трансформерами отличия диффузионных моделей фундаментальны. GPT и ей подобные работают по принципу “предскажи следующий токен”, то есть они авторегрессионны: каждое следующее слово строго зависит от предыдущего, выстраивая всю цепь по одному звену. Диффузионные модели действует совсем иначе: вместо последовательного вывода она занимается параллельным формированием всего ответа сразу на протяжении нескольких последовательных шагов. То есть, пока трансформеры оперируют токенами, то у архитектуры диффузионных моделей их просто нет — вместо них используются шумовые представлениями, которые еще называют тензорами или латентами. Однако если диффузионки используются для генерации текстовых данных, тензоры и латенты все же токенизируют.

Именно способность работать со всем текстовым пространством одновременно, а не с последовательностью токенов, и является источником главных преимуществ диффузионных моделей. 

Поскольку модель не связана авторегрессионной зависимостью, она может генерировать разные части ответа параллельно. Это кардинально повышает пропускную способность искусственного интеллекта. Причем, выигрыш совсем не теоретический и он подтверждается реальными цифрами. Например, анонсированная Gemini Diffusion от Google демонстрирует скорость генерации до 1300 токенов в секунду, а движок Mercury Diffusion LLM от Inception Labs — около 1000 токенов/с. Это в 3-5 раз выше, чем у современных трансформер-решений. 

Но скорость — не единственное преимущество диффузионных моделей. Итеративный процесс очистки шума позволяет модели самокорректироваться на лету. Если на раннем этапе составления ответа был сгенерирован неудачный фрагмент данных, на последующих шагах он может быть переформулирован и улучшен. Это снижает накопительный эффект ошибок, характерный для авторегрессионных моделей, где одна неточность может увести весь ответ в неверном направлении. А еще это снижает галлюцинации, за которые часто ругают трансформеров.

Кстати, режим размышления в диффузионных моделях тоже свой, и он используется для эффективного декодирования данных — он называется Latent Refinement Decoding (LRD). Этот двухэтапный процесс имитирует человеческое мышление: сначала в латентном пространстве создается черновой, но семантически полный “набросок” ответа, определяющий основную идею и структуру. Затем этот черновик последовательно уточняется на языковом уровне, обретая стилистическую окраску и грамматическую точность. Такой подход не просто делает модели быстрыми, но и наделяет их выдающейся когерентностью и смысловой целостностью генерируемого текста.

Скорость генерации кода диффузионной языковой модели Mercury в сравнении со скоростью авторегрессивной модели. Источник: X.

Технология диффузионных моделей — не очередной абстрактный метод оптимизации моделей-трансформеров, придуманный китайцами, а обжитая, давно используемая технология. Но если изначально архитектура диффузионных моделей применялась только для создания ИИ-генераторов изображений и видео, то сейчас этот подход активно внедряют в ИИ для генерации семантических данных — текст, графики, таблицы и так далее. Причем, в это направление инвестируют ведущие технологические компании, параллельно разрабатывая собственные интеграции диффузионно-языковых моделей. Вот несколько интересных претендентов:

• Gemini Diffusion от Google — одна из самых известных разработок, демонстрирующая генерацию текста и кода из шума с рекордной скоростью.
• Mercury Diffusion LLM от Inception Labs — позиционируется как первый коммерческий движок на этой архитектуре, предназначенный для высоконагруженных задач.
• DiffuCoder от Apple — фокусируется на генерации кода, используя преимущества неавторегрессивного подхода, который не требует жесткого следования порядку tokens.
• LLaDA от Ant Group — open-source модель, доступная для сообщества энтузиастов, использующая маскированную диффузию.
• Dream 7B от Huawei и MMaDA 8B от ByteDance — экспериментируют с применением диффузии для задач размышления и мультимодальности.

Все эти проекты так или иначе продвигают одну идею: создать ИИ-модель, способную создавать осмысленный контент изначально из латентного шума, что открывает путь к выходу новых нейросетей для генерации текста, свободных от ограничений моделей-трансформеров.

Чтобы наглядно оценить фундаментальные различия между двумя архитектурами и понять, почему диффузионные модели считаются следующим шагом в развитии LLM, обратимся к сравнительному анализу по ключевым для индустрии критериям.

Как видно из таблицы, последовательный подход трансформеров хотя и невероятно эффективен для обучения, становится их недостатком при генерации ответа. Диффузионный же подход интуитивно ближе к целостному человеческому мышлению: сначала они видят общую идею и структуру ответа целиком, а затем интерпретируют ее в конкретные слова и предложения, на лету перефразирую и улучшать мысль.

Но важно понимать, что сиюминутной и полной замены одной архитектуры другой не будут. Трансформеры останутся краеугольным камнем в обучении и, вероятно, в составе гибридных ИИ-систем. Появление диффузионных LLM — это не смерть трансформеров, а рождение нового, мощного класса моделей искусственного интеллекта, который расширяет саму палитру возможностей нейросетей, предлагая альтернативу трансформерам там, где критичны скорость, параллелизм и когерентность длинных текстов. Это закономерный этап в развитии LLM-архитектур, знаменующий приход нового поколения языковых моделей.

Уже в ближайшие год-два, к 2026-2027 году, мы станем свидетелями активного проникновения подхода диффузионных моделей в мейнстрим. Наиболее вероятным сценарием видится появление гибридных архитектур, где мощь трансформеров в понимании контекста будет сочетаться со скоростью и параллелизмом диффузионных моделей в генерации ответов. Уже сейчас можно увидеть взрывной рост открытых диффузионных LLM, а ускорение инференса станет ключевым трендом для коммерческих приложений. Индустрия движется к тому, что большие языковые модели станут не просто умнее, но и радикально быстрее, экономичнее и доступнее. И они уже не обязательно будут носить имя GPT.