Yandex выпустила AliceAI-T5-35B-A0.6B — российская открытая ИИ-модель для задач поиска и анализа данных
Введение
Компания Яндекс опубликовала на Hugging Face веса базовой версии своей языковой модели AliceAI-T5-35B-A0.6B, которая лежит в основе быстрых ИИ-ответов в поисковой выдачи популярного отечественного браузера. Модель доступна под полностью открытой лицензией Apache 2.0, что позволяет свободно дообучать AliceAI-T5-35B-A0.6B и использовать ее в собственных проектах, в том числе коммерческих. Благодаря MoE-архитектуре, модель имеет 35 миллиардов общих и 600 миллионов активных параметров, что делает AliceAI-T5-35B-A0.6B крайне легкой LLM, которая будет доступна к развертыванию даже на потребительском железе. По заявлению Яндекса, модель легко справляется с обработкой больших объемов документов и анализом больших объемов данных, не требуя при этом серьезных вычислительных мощностей.
Подробнее о AliceAI-T5-35B-A0.6B
AliceAI-T5-35B-A0.6B обучена с нуля и построена на гибридной архитектуре, объединяющей в себе и Encoder (16 слоев), и Decoder (12 слоев) системы, а также MoE-архитектуру, которая ускоряет инференс и экономит ресурсы системы при локальном развертывании. Всего в модели 34,35 млрд общих параметров, в каждом MoE-слое 512 экспертов, из которых для каждого токена используются лишь 8. Словарь AliceAI-T5-35B-A0.6B содержит 135 040 токенов, а контекстное окно достигает 128 тысяч токенов, что весьма неплохо для моделей с относительно небольшим объемом параметров. В качестве оптимизационных механизмов, улучшающих обработку длинных контекстов, используются активация SiLU, нормализация RMSNorm и позиционные представления RoPE с YaRN.
Во внутренних тестах Яндекс сравнивал AliceAI-T5-35B-A0.6B с моделями Qwen 3.5 35B-A3B Base и Gemma 4 E4B Base. В тесте на фактчекинг AliceAI-T5-35B-A0.6B Base набирает 68,0 на CultCat и 81,3 на WikiWebFacts, что выше, чем у конкурентов. В извлечении информации YExtract результат 40,4 против 42,4 у Qwen, но заметно лучше, чем у Gemma. В работе с длинным контекстом Ruler 32K модель показывает 94,7 — лучший результат среди всех. При этом в математике и коде она уступает более крупным моделям: MATH 500 — 62,9 против 81,9 у Qwen, HumanEval — 69,3 против 88,3 у китайской LLM.
Важно отметить, что Яндекс сравнивает свою нейросеть далеко не с самыми актуальными моделями своего класса — например, компания могла бы сравнить AliceAI-T5-35B-A0.6B с более свежей Qwen3.8-27b, которая при своем компактном размере и плотной архитектуре справляется с аналогичными задачами намного лучше Qwen 3.5 35B-A3B и в разы обходит Gemma 4 E4B. К тому же, Gemma 4 E4B тоже нельзя назвать подходящей для сравнения, поскольку нейросеть Google имеет всего 4,5 миллиардов параметров, что кратно меньше объема LLM AliceAI-T5-35B-A0.6B. Тем не менее, AliceAI-T5-35B-A0.6B все равно демонстрирует, что отечественные ИИ-лаборатории продолжают совершенствоваться и могут конкурировать с зарубежными аналогами.
Так как AliceAI-T5-35B-A0.6B — это Base-модель, ее можно дообучить под конкретные задачи: поиск, извлечение данных, генерацию ответов и так далее. Именно это и есть главная ценность релиза для сообщества — не готовый продукт, а фундамент, который каждый может адаптировать под себя.
Выводы
Яндекс сделала то, что редко допускают даже крупные зарубежные компании: выложила в открытый доступ модель, лежащую в основе ее главного коммерческого продукта. Релиз AliceAI-T5-35B-A0.6B подтверждает, что российские ИИ-лаборатории используют свой потенциал, создавая все более и более производительные нейросети, при этом такие решения не только используются во внутренних инфраструктурах компаний, но и публикуются в открытый доступ, позволяя энтузиастам и разработчикам создавать собственные ИИ-проекты на их базе. При 35 млрд общих и 600 млн активных параметров AliceAI-T5-35B-A0.6B не требует кластера для запуска и при этом обходит зарубежные открытые аналоги в фактчекинге и работе с длинным контекстом — именно в тех задачах, на которых модель изначально и специализировалась. Но за счет Base-версии и открытых весов, AliceAI-T5-35B-A0.6B можно с легкостью дообучить под конкретные задачи, сделав модель производительнее в тех сценариях, которые будут нужны именно вам.
