NVLINK: что это такое и как работает
Схематичное изображение NVLink. Источник:
Содержание:
- Что такое NVLink?
- Cуть технологии NVLink
- Ключевое отличие NVLink от SLI
- Текущие версии NVLink
- NVLink Bridge
- NVIDIA NVLink-C2C
- Вывод
Что такое NVLink?
NVLink — это специальная высокоскоростная шина для передачи данных, разработанная компанией NVIDIA. Она используется для соединения нескольких графических процессоров (GPU) между собой, позволяя им обмениваться данными с очень высокой скоростью для ускорения вычислений.Cуть технологии NVLink
Обычно видеокарты подключаются к серверу через шину PCIe. Для взаимодействия нескольких GPU друг с другом они вынуждены использовать PCI, скоростные показатели которого не превышают 128Gb/s в рамках 5.0. NVLink же является альтернативной шины PCIe и позволяет напрямую соединить несколько GPU, благодаря этому транспортировка данных происходит с невероятной скоростью — до 900 гигабит в секунду(112.5GB/s). Также использование NVLink разгружает шину PCIe, ведь данные между видеокартами передаются без ее участия. Кроме того, задержки при передаче данных минимизируются. Также соединение двух видеокарт напрямую открывает новые возможности для масштабирования вычислительных мощностей.Благодаря этому потенциал применения у NVLink очень широкий: области искусственного интеллекта, центры обработки данных, 3D-графика, научные лаборатории и множество других вариантов, где NVLink сможет полностью раскрыть свой потенциал.
Схема соединения графических процессоров H100 через NVLink. Источник:
Ключевое отличие NVLink от SLI
SLI (Scalable Link Interface) — технология Nvidia, позволяющая проводить одновременный рендеринг кадров на нескольких графических процессорах. Условно, имея 2 графических адаптера соединенных мостиком SLI, вы можете настроить поочередную отрисовку кадров каждым из графических процессоров, что повысит производительность в играх. Однако на деле SLI не способен дать кратной производительности, поскольку сложность отрисовки кадров постоянно меняется, что вызывает простой в работе одного из GPU, пока второй занимается отрисовкой “сложного кадра”. Также стоит отметить, что далеко не все игровые проекты имели поддержку SLI, а те, что имели, сопровождались багами рендеринга.NVLink – технология высокоскоростного соединения GPU, а не одновременного рендеринга кадров. Ввиду этого отличия NVlink является более универсальной технологией и нацеливается на повышение производительности в вычислениях. Результат достигается за счет того, что несколько GPU могут эффективно работать над единой задачей и обмениваться данными без ограничений. Сегодня NVLink полностью вытеснил SLI в серии Geforce RTX и закрепил за собой статус “профессионального решения”, поэтому его можно встретить только в топовых потребительских продуктах или в профессиональных сериях видеокарт RTX или Tesla.
Видеокарты Nvidia Geforce объединенные мостом SLI для работы в режиме 4 way
Текущие версии NVLink
Рассмотрим, какие же версии продуктов есть в линейке NVLink.| Версия NVLink | Пропускная способность | Поддержка GPU |
| NVLink 1.0(2016) | 160 Гигабит/с | Tesla P100 |
| NVLink 2.0(2017) | 200 Гигабит/с | Tesla V100 |
| NVLink 3.0(2020) | 600 Гигабит/с | Tesla A100 |
| NVLink 4.0(2022) | 900 Гигабит/с | Tesla H100 |
| NVLink 5.0(2025) | 1800 Гигабит/с | Tesla B100 |
NVLink 1.0
NVLink 1.0 - первая версия технологии NVIDIA для высокоскоростной связи между GPU, представленная в 2016 году для серверных продуктов на архитектуре Pascal.Основные характеристики NVLink 1.0:
- Пропускная способность: 160 Гбит/с (4*40 Гбит/с) на одну видеокарту
- Скорость передачи данных: 20 Гбайт/с
- Прямое соединение GPU, минуя PCIe
- Низкая латентность
- Поддержка масштабирования систем на базе GPU
GPU с поддержкой
Внешний вид NVLink 1.0 на ускорителе Tesla P100
NVLink 2.0
NVLink 2.0 — это улучшенная версия технологии, представленная NVIDIA в 2017 году, для оптимальной работы новых ускорителей на архитектуре Volta и Turing.Ключевые отличия NVLink 2.0 от версии 1.0:
- Увеличенная пропускная способность до 200 Гбит/с (4*50 Гбайт/с) на одну видеокарту.
- Скорость передачи данных: 25 Гбайт/с
Также стоит отметить, что десктопные RTX2080TI, RTX2080, RTX2080 Super имели поддержку NVLink 2.0. Профессиональные ускорители QUADRO RTX 5000, 6000, 8000 также имели совместимость.
10U сервер Supermicro SYS-9029GP-TNVRT имеет возможность установки до 10 Tesla V100 в SXM 3.0 форм-факторе. Все ускорители соединены NVLink 2.0. Источник:
NVLink 3.0
NVLink 3.0 — версия NVLink, представленная в 2020 году, значительно ускоряющая интерконнект между GPU для ускорителей нового поколения - Ampere.Ключевые отличия NVLink 3.0 от версии 2.0:
— Увеличенная пропускная способность до 600 Гбит/с (12*50 Гбайт/с) на один GPU
— Скорость передачи данных: 50 Гбайт/с.
Видеокарты RTX3090, RTX3090Ti, RTX A5000, RTX A5500, RTX A6000 имеют поддержку NVLink 3.0
Внешний вид мостика для работы с Tesla Ampere. Источник:
NVLink 4.0
NVLink 4.0 - самый современный вариант высокоскоростного интерфейса для работы с GPU Hooper.NVLink 4.0, представленный в 2022 году, отличается от версии 3.0:
— Еще большей пропускной способностью до 900 Гбит/с (18*50 Гбайт/с) на один GPU.
— Скорость передачи данных: 100 Гбайт/с
Примечательно, что RTX4090, а также RTX 6000 Ada не получили поддержку NVLink. Вероятно, Nvidia не хочет, чтобы настольные решения конкурировали с профессиональными продуктами линейки Tesla.
Supermicro GPU SuperServer SYS-741GE-TNRT с поддержкой ускорителей Tesla H100. Источник:
NVLink 5.0
NVLink 5.0 - грядущая версия интерфейса, которая будет анонсирована вместе с ускорителями на архитектуре Blackwell. Обновление несет за собой кратное увеличение пропускной способности.Ожидаемые характеристики NVLink 5.0:
— Пропускная способность до 1800 Гбит/с на один GPU.
— Скорость передачи данных: 200 Гбайт/с
Рост производительности NVLink сопровождающийся сменой поколений архитектур. Источник:
NVLink Bridge
NVLink Bridge - это специальный мост, который используется для соединения нескольких графических ускорителей с помощью технологии NVLink. Стоит отметить, что именно мост NVLink Bridge выполняет перенос данных между графическими процессорами, что обеспечивает высокую производительность и снижает нагрузку на PCI-E. Приобретая NVLink Bridge, вам нужно убедиться, что версия мостика соответствует версии NVLink вашего GPU. Также стоит убедиться, что габариты мостика подходят под расположение видеокарт в вашей системе.
Внешний вид различных мостиков NVlink. Источник:
NVIDIA NVLink-C2C
NVIDIA NVLink-C2C - интерпретация NVLink 4.0 для соединения GPU Hooper и ARM процессора Grace для реализации Grace Hopper Superchip. Такой тип соединения позволяет создавать сверхпроизводительные решения для HPC и задач обучения ИИ, состоящие из симбиоза кристаллов CPU и GPU Nvidia. В ближайшее время ожидается обновление технологии для работы с чипами GB200(Blackwell), где в основе будет лежать NVLink 5.0.
Nvidia Grace Hopper Superchip - на фото видно, что на печатной плате размещены сразу два чипа. Один из них 144 ядерный ARM процессор, а второй GPU H200. Чипы связаны друг с другом через NVLink. Источник:
