Суперкомпьютер Tianhe-3 — скрытый лидер TOP500

За последние несколько лет китайская полупроводниковая индустрия ушла далеко вперед, и это также коснулось сектора HPC — серия передовых систем Tianhe ни раз занимала топовые позиции рейтинга лучших суперкомпьютеров TOP500. Однако, Китай предпочитает не выкладывать свои главные козыри на всеобщее обозрение, поэтому некоторые из наиболее производительных HPC-кластеров страны держатся в секрете от других государств. Одним из таких суперкомпьютеров является система Tianhe-3, слухи о которой совсем недавно подтвердились рядом сливов из китайских источников. В этой статье мы расскажем вам, что известно о Tianhe-3, что из себя представляет этот передовой суперкомпьютер, какими характеристиками он обладает и для каких целей он используется. 

Tianhe-3 — это китайский суперкомпьютер экзафлопсного класса, разработанный Национальным университетом оборонных технологий Китая (NUDT) и относящийся к семейству суперкомпьютеров Tianhe. Tianhe-3 расположен в городе Гуанчжоу, и этот город выбран не случайно. В Гуанчжоу сосредоточено большое количество НИИ, специализирующихся на полупроводниковых технологиях и ИИ-системах, а также этот регион производит большое количество чистой энергии, поэтому инженеры могли не беспокоиться о проблемах с энергообеспечением системы Tianhe-3. Первое поколение HPC-кластеров Tianhe было запущено еще в 2011 году и занимало первое место в рейтинге TOP500, но позднее было вытеснено более производительной японской системой K computer от компании Fujitsu, которая известна более современными суперкомпьютерами серии Fugaku. Запуск второго поколения Tianhe 2013 года был не менее успешным, поскольку эта система удерживала позицию лидера TOP500 три года подряд. Эти времена уже прошли и в настоящее время Tianhe-2 уже не входит в список топ-10 лучших суперкомпьютеров, хотя технически он все еще является участником рейтинга TOP500 и расположен на 31 месте.

Однако, в случае с Tianhe-3, китайское правительство решило засекретить новейшее поколение суперкомпьютеров, вследствие чего кандидатура передовой системы не была выдвинута для получения места в рейтинге TOP500. Но что же побудило Китай засекретить суперкомпьютер Tianhe-3, ведь ранее все системы Tianhe были полностью публичными и демонстрировали технологическое развитие КНР? Дело в том, что в отличие от предыдущих систем семейства Tianhe, передовой кластер Tianhe-3 полностью состоит из компонентов, созданных в КНР. Вот из чего состоит передовой суперкомпьютер Tianhe-3:

По всей видимости, система Tianhe-3 изначально предполагала использование центральных процессоров Intel Xeon, однако позднее инженеры приняли решение перейти на использование процессоров собственной разработки. Ранние версии Tianhe-3 базировались на центральных ARM-процессорах семейства FT-2000+ от Phytium, поскольку на тот момент лишь эта китайская компания была способна обеспечить Tianhe-3 достаточным количеством эффективных серверных CPU. 

Однако решения FT-2000+ все же не могли предложить достаточный уровень производительности для суперкомпьютерных вычислений, поэтому аппаратная часть Tianhe-3 снова претерпела изменения. В результате этого, в 2018 году появился первый прототип Tianhe-3, в основу которого легли CPU MT-3000, которые являются собственной разработкой университета NUDT. Примечательно, что MT-3000 не являются традиционными центральными процессорами — у них гибридная структура, которая базируется на 16 ядрах общего назначения, 96 управляющих ядрах и 1536 ускоряющих ядрах. В общей сложности процессор потребляет 300 Вт энергии и работает на пониженной тактовой частоте в 1,2 ГГц, что характерно для процессоров, ориентированных на интеграцию в суперкомпьютеры. 

При этом, все ядра MT-3000 базируются на модифицированной архитектуре ARMv8, особенность которой заключается в поддержке наборов инструкций ARMv8.2, криптографических расширений SM4 и аппаратной виртуализации. Необычная аппаратная архитектура чипа MT-3000 очень похожа на структуру гибридных ИИ-ускорителей (APU) Instinct MI300A от компании AMD, которые в настоящее время используются в лидере рейтинга TOP500 — суперкомпьютере El Capitan. С учетом этого, неудивительно, что китайские инженеры ориентировались именно на APU-структуру при проектировании MT-3000. Еще одна уникальная особенность MT-3000 — эти гибридные решения имеют три разных типа памяти:

• Основной памятью является DDR SDRAM ECC с шиной 256-бит — этот формат памяти необходим для функционирования 16 CPU-ядер и 96 управляющих ядер процессора MT-3000. 
• 1536 ускоряющих ядер процессора используют память формата low-latency Distributed Memory (LDM), которая является аналогом shared memory в традиционных GPU от западных производителей и предназначена для обмена данными внутри кластера без обращения к основной RAM. LDM процессора MT-3000 имеет емкость в 16 ГБ на чип и задержку около 5 нс.
• Изначально память GDDR использовалась в сопроцессорах Matrix-3000, которые работали в тандеме с MT-3000 в ранних версиях суперкомпьютера Tianhe-3. Однако впоследствии инженеры NUDT объединили Matrix-3000 и MT-3000 в одно устройство, поэтому в современной вариации чипы MT-3000 также имеют графическую память типа GDDR. 

Интересно, что инженеры NUDT не раскрывают, на каком именно техпроцессе произведен кристалл MT-3000 — предполагается, что процессор базируется на платформе 7-14 нм от SMIC. С учетом того, что разработчики скрывают техпроцесс устройства, можно было бы предположить, что чип базируется на платформе TSMC, однако это идет вразрез с действительностью — низкая энергоэффективность в 45.4 GFLOPS/Вт свидетельствует об использовании явно устаревшего техпроцесса. Если сравнить MT-3000 с Nvidia A100, который также базируется на 7-нм техпроцессе TSMC, при этом имеет энергоэффективность около 65 GFLOPS/Вт, можно с уверенностью сказать, что MT-3000 все же более приближен к 14-нм техпроцессу. При этом, пиковая производительность процессора MT-3000 достигает 11,6 TFLOPS (FP64), что также весьма скудно в сравнении с западными устройствами, но вполне внушительно для китайской полупроводниковой промышленности. По сути, инженерам NUDT удалось добиться средней производительности с двойной точностью между Nvidia V100 и Nvidia A100. 

Как мы уже говорили ранее, изначально суперкомпьютер Tianhe-3 включали в себя не только процессоры MT-3000, но и сопроцессоры серии Matrix. Первые прототипы суперкомпьютера использовали сопроцессоры Matrix-2000+, которые базировались на 128 ядрах RISC-V, однако впоследствии их заменили на более совершенную версию Matrix-3000. 

Matrix-3000 также базировались на 128 ядрах с архитектурой RISC-V и обеспечивали пиковую производительность в 2 TFLOPS (FP64), что в 4–5 раз выше, чем у предшественника Matrix-2000+, при этом потребляя 150 Вт энергии. 

В прототипе системы Tianhe-3 сопроцессор Matrix-3000 выполнял критически важную роль. Благодаря оптимизации под выполнение задач с высокой параллелизацией и поддержке векторных операций переменной длины (128–1024 бит), Matrix-3000 отлично справлялся с матричными вычислениями и обработкой больших объемов данных, что является ключевыми операциями в секторе HPC. Однако позднее инженеры NUDT решили упростить систему Tianhe-3, интегрировав ускорители Matrix-3000 непосредственно в процессоры MT-3000, объединив их функционал и аппаратную составляющую.

Китайские источники утверждают, что сетевая инфраструктура Tianhe-3 состоит из двух ключевых устройств: сетевых адаптеров HFI-E и коммутаторов HFR-I на базе топологии 2D-Torus. HFI-E (Host Fabric Interface) обеспечивает подключение узлов суперкомпьютера через интерфейс PCIe 3.0 x16 с пропускной способностью 200 Гбит/с на порт, а HFR-I (High-Frequency Router) выполняет маршрутизацию с общей пропускной способностью 9,6 Тбит/с и задержкой 1.1 мкс для операций с MPI-трафиком. Стоит отметить, что подобная инфраструктура схожа с сетевой архитектурой платформ HPE Cray на базе интерконнекта Slingshot, о котором мы подробно рассказали в этой статье.

Аппаратная архитектура Tianhe-3, полностью состоящая из китайского оборудования, действительно интригует, но не менее интересно рассказать о том, каких показателей производительности и энергопотребления достигает этот многообещающий кластер.

Согласно последней информации, суперкомпьютер Tianhe-3 достигает максимальной рабочей производительности в 1,57 EFLOPS и пиковой производительности в 2 EFLOPS по тесту LINPACK в режиме FP64. Это грандиозный показатель, поскольку он свидетельствует о том, что при попадании Tianhe-3 в рейтинг TOP500, этот суперкомпьютер смог бы занять вторую позицию в топ-10 лучших суперкомпьютеров в мире, обогнав американский суперкомпьютер Frontier с практической производительностью 1,3 EFLOPS и лишь немного уступив лидеру рейтинга El Capitan с практической производительностью в 1,7 EFLOPS. Такая поистине колоссальная производительность, казалось бы, аутсайдера рейтинга TOP500 в лице Tianhe-3, достигается с помощью мощностей гибридных процессоров MT-3000 в количестве от 160 000–180 000 штук. При этом, китайские источники утверждают, что суперкомпьютер Tianhe-3 также поддерживает работу в режиме FP16/FP32 для обучения нейросетей, достигая производительности в 4,4 EFLOPS.

Такая чудовищная производительность не могла обойтись без соответствующего показателя энергопотребления — система Tianhe-3 потребляет 34,8 МВт и обеспечивает энергоэффективность в 45.1 GFLOPS/Вт. Может показаться, что для сектора HPC это не так уж и много, однако даже самый производительный в мире суперкомпьютер El Capitan потребляет лишь 29,5 МВт, а ближайший конкурент китайского кластера в лице Frontier вовсе требует всего лишь 24,6 МВт энергии. Тем не менее, в лидерах рейтинга TOP500 можно встретить и более прожорливые HPC-кластеры, в частности систему Aurora на базе Intel Xeon, которая находится на третьем месте топ-10 и потребляет уже 38,6 МВт, поэтому монструозные требования Tianhe-3 к энергообеспечению можно назвать вполне оправданными. Тем не менее, это не отменяет того факта, что КНР вряд ли заботит обеспечение высокой энергоэффективности своей системы, так как в тех секторах, где используется Tianhe-3, важнейшим качеством является именно максимальная производительность.

Суперкомпьютер Tianhe-3 не был бы секретным, если бы Китай рассказал о сферах его применения. Однако мы все же можем предположить, для каких задач используется столь производительный HPC-кластер.

• Оборонные задачи. Поскольку Tianhe-3 разработан университетом NUDT, который специализируется на оборонных технологиях, очевидно, что этот суперкомпьютер применяется в военных целях Китая. В частности, Tianhe-3 может выполнять сложнейшие криптографические операции по шифровке/расшифровке различных документов или секретных кодов. Более того, высочайшая эффективность Tianhe-3 также может применяться для создания точных компьютерных симуляций и прогнозов боевых действий, чтобы обеспечить КНР стратегическим преимуществом в реальных столкновениях.
• Искусственный интеллект. Широкий диапазон режимов вычислений, также включающий режимы FP16/FP32, свидетельствует об ИИ-ориентированности суперкомпьютера Tianhe-3. Возможно, что на базе мощностей этой передовой системы, Китай разрабатывает высокопроизводительные модели искусственного интеллекта для критически важных государственных задач, например анализа доходов страны, выявления дыр в экономике или прогнозирования развития КНР на годы вперед.
• Научные исследования. Суперкомпьютер Tianhe-3 также может быть задействован в сложнейших задачах в области геномики, вроде разработки новейших фармакологических соединений или анализа ДНК, а также в климатическом, аэрокосмическом моделировании или создании новых типов материалов.

Также не стоит исключать, что Tianhe-3 может быть задействован во всех или сразу нескольких перечисленных сферах деятельности, поскольку огромные показатели производительности секретного китайского суперкомпьютера можно эффективно разделить для оптимизации сразу нескольких секторов китайской экономики.

Tianhe-3 — это уникальный в своем роде суперкомпьютер, который мог бы сделать Китай одним из лидеров сектора высокопроизводительных вычислений, но по неизвестным соображениям правительства КНР, Tianhe-3 все еще скрыт под грифом секретности. Однако этому есть одно и вполне логичное объяснение. Китай, скорее всего, действительно задействует свой мощнейший суперкомпьютер в оборонных задачах, поэтому выставлять такую критически важную систему на всеобщее обозрение было бы просто небезопасно, особенно в условиях эскалации отношений между США и Китаем. Но не стоит исключать того факта, что в будущем КНР все же обнародует информацию о своем детище, но вполне возможно, что к тому моменту у страны уже появится еще более производительная система, на фоне которой Tianhe-3 будет казаться не более чем типичным дата-центром.