SambaNova SN40L RDU — уникальное решение для инференса ИИ

ИИ-ускорители SN40L, которые компания-разработчик обозначила как RDU (Reconfigurable Dataflow Unit), были представлены американским стартапом SambaNova еще в прошлом году на конференции Hot Chips 2024 и продвигались как альтернатива традиционным GPU для инференса и обучения ИИ. Однако, 25 июня 2025 года SambaNova объявила о стратегическом изменении профиля своей деятельности — теперь компания будет делать акцент именно на инференсе ИИ, рассматривая эту область как более перспективную.

RDU (Reconfigurable Dataflow Unit) — это специализированный процессор, разработанный компанией SambaNova Systems для выполнения задач искусственного интеллекта, включая инференс, обучение и работу с ИИ-агентами. Процессор SN40L относится к третьему поколению чипов RDU, созданное для обработки моделей с триллионами параметров (например, Llama* 3.1 405B, DeepSeek-R1 671B) с рекордной эффективностью. Как заявляют разработчики, процессор SN40L способен хранить в своей памяти сотни малых ИИ-моделей, или нейросеть с несколькими триллионами параметров, что обеспечивает превосходство RDU над традиционными GPU, которые могут хранить лишь одну ИИ-модель одновременно. А благодаря поддержке хранения ИИ-агентов и дополнительных инструментов от SambaNova, SN40L предлагает возможность быстрого переключения между ИИ-моделями (в микросекундах) для выполнения сложных задач.

RDU-процессоры SambaNova SN40L базируются на архитектуре “Cerulean” и созданы на 5-нм техпроцессе TSMC. Может показаться удивительным, что у малоизвестного американского стартапа есть средства для реализации своих ИИ-процессоров на столь современном и дорогом техпроцессе, однако компания SambaNova заявляет, что ее решениями пользуется масса крупных корпораций и даже некоторые государственные структуры. Кроме того, в числе инвесторов SambaNova есть такие организации, как Intel, Micron, SK Hynix и Samsung, а также ряд крупных американских банков. Это говорит о том, что RDU-решения действительно пользуются спросом и на них возлагают большие надежды крупнейшие IT-компании и, по всей видимости, RDU уже применяются в финансовом секторе США. 

Интересно, что SambaNova SN40L предлагают не только новые возможности для эффективного использования искусственного интеллекта, но и обеспечивают меньшее энергопотребление, чем GPU, а также поддерживают эффективное масштабирование ИИ-кластеров. Эти особенности обусловливаются тем, что SN40L использует архитектуру потоковой передачи данных и инновационный программный стек DataScale, который сопоставляет алгоритмы ИИ с процессором и динамически перенастраивает процессор для достижения оптимальной производительности.

Помимо этого, SN40L имеет трехуровневую архитектуру памяти, которая включает в себя 1,5 ТБ DDR4, 64 ГБ HBM и SRAM объемом 520 МБ. Всего процессор SN40L включает 102 миллиарда транзисторов и 1040 RDU ядер, что в совокупности обеспечивает производительность в 638 TFLOPS в режиме BF16. Среди других режимов вычислений, RDU также способен выполнять операции в традиционном FP32, INT32 и INT8.

В рамках 16-сокетной системы с процессорами RDU, система будет обеспечивать 8 ГБ SRAM, 1 ТБ HBM с пропускной способностью 25,6 ТБ/с и 24 ТБ DDR4 с пропускной способностью 1,6 ТБ/с.

SambaNova ранее уже демонстрировала собственные стоечные решения на базе RDU-процессоров, однако характеристики такого вычислительного узла не разглашаются.

Реализация новой стратегии сопровождалась реорганизацией: в апреле 2025 года было сокращено 77 сотрудников. Компания сохранит поддержку сервисов обучения моделей, но признаёт значительное снижение спроса на крупные вычислительные кластеры для этих целей. Тренд обусловлен переходом клиентов на дообучение открытых моделей вместо создания LLM с нуля. В ответ SambaNova сосредоточится на предоставлении инструментов для развертывания и адаптации открытых моделей, включая сложные "рассуждающие" системы, для корпоративных и государственных структур.

Несмотря на наличие собственной облачной платформы SambaNova Cloud с поддержкой открытых моделей, компания также отказалась от строительства крупных инференс-кластеров. Вместо этого выбран путь технологического партнерства с облачными провайдерами: SambaNova будет предоставлять им свое ИИ-оборудования для развертывания облачных экосистем с искусственным интеллектом. Платформа Cloud, скорее всего, будет выполнять демонстрационную функцию, предлагая готовый шаблон для "под ключ" внедрений региональными партнерами, при этом не конкурируя с крупными провайдерами .

Технологическое преимущество SambaNova в этой области подтверждается возможностью запускать до 100 независимых копий модели Llama-70B в рамках одной 10-кВт стойки, что обуславливается инновационными возможностями RDU-процессоров SN40L. Это будет крайне полезно для компаний, которым требуются различные масса специализированных моделей (финансовые, юридические и так далее) с возможностью мгновенного переключения между ними с задержкой менее 1 мс. Для сравнения: решения конкурентов в лице Nvidia потребляют до 140 и более кВт на стойку для аналогичных задач, что многократно увеличивает эксплуатационные расходы.

Осенью 2024 года SambaNova также анонсировала собственную облачную платформу для инференса, назвав ее самой быстрой системой для подобных задач, тем самым вступив в борьбу с такими игроками, как Cerebras и Groq, которые также бросают вызов корпорации Nvidia. Примечательно, что Groq ранее тоже сместила акцент с продажи отдельных ускорителей на комплексные ИИ-системы для инференса. Cerebras сохраняет работу с обучением моделей, сосредоточившись на создании суперкомпьютерных кластеров совместно с партнерами.

Компания SambaNova и ее инновационные RDU-процессоры — это настоящий феномен в сфере ИИ-вычислений, который редко попадает в инфополе, при этом предлагая полную альтернативу традиционным GPU-системам. В целом, решение компании SambaNova сместить фокус в сторону инференса и обеспечения облачных ИИ-платформ вполне оправдан. Тренд на предобученные модели и нейросети с возможностью дообучения постоянно возрастает и корпорациям намного выгоднее пользоваться именно такими LLM, а не закупать дорогостоящее ИИ-оборудование и обучать модели самостоятельно. Тем не менее, не исключено, что в будущем SambaNova снова может вернуться к реализации решений для обучения искусственного интеллекта, представив совершенно новые RDU-чипы, которые будут способны превзойти даже передовые решения Nvidia Blackwell.