Ling-1T: открытая модель с триллионом параметров

Компания Ant Group, которая является дочерней организацией Alibaba, представила Ling-1T — флагманскую языковую модель семейства Ling 2.0 без функции размышления, которая имеет 1 триллион параметров и базируется на архитектуре MoE с 50 миллиардов активных параметров. 

Базовая модель Ling-1T прошла предобучение на массиве данных объемом более 20 триллионов высококачественных токенов в формате FP8 с применением углубленного анализа. Использование FP8 со смешанной точностью дало ускорение более чем на 15%, повысило эффективность использования памяти и сохранило отклонение потерь в 0.1% относительно BF16 после 1 трлн токенов. Мелкозернистый гетерогенный конвейер с чередованием 1F1B дополнительно увеличил эффективность использования LLM более чем на 40%. Передовая нейросеть поддерживает контекстное окно до 128 тысяч токенов и задействует так называемую эволюционную цепочку рассуждений (Evo-CoT) как на этапе обучения, так и после него. Данный способ обучения существенно повышает производительность и глубину анализа данных, что позволяет Ling-1T достигать наивысших показателей в ряде сложных тестов.

Ling-1T в сравнении с ведущими флагманскими ИИ-моделями, такими как DeepSeek-V3.1-Terminus, Kimi-K2-Instruct-0905, GPT-5, Gemini-2.5-Pro, нейросеть Ant Group демонстрирует конкурентоспособные результаты в области генерации кода, разработки ПО, решении математических задач и логических операций. Ling-1T также отлично выполняет задачи визуального анализа и генерации фронтенд-кода. Внедренный разработчиками из Ant Group гибридный механизм вознаграждения “Синтаксис-Функциональность-Эстетика” позволяет модели не только создавать корректный и рабочий код, но и проявлять тонкое визуальное восприятие при интерпретации этого кода. В тесте на использование инструментов BFCL V3 модель достигает примерно 70% точности вызова инструментов при минимальной настройке LLM, несмотря на отсутствие масштабного обучения в этой области, что достигается за счет огромного объема параметров Ling-1T.

Несмотря на то, что модель Ling-1T уже доступна в открытом доступе на Hugging Face и GitHub, модель вряд ли получит широкое распространение у ИИ-энтузиастов, поскольку для локального инференса нейросети с 1 триллионом параметров будет явно недостаточно пользовательского оборудования. Скорее всего, этот шаг был нужен, чтобы продемонстрировать ИИ-потенциал компании Ant Group, что у них отлично получилось, ведь множество пользователей обратили внимание на другие модели этих же разработчиков, такие как Ling Mini 2.0 и Ling Lite 1.5.