Скачать
прайс-лист
Бесплатная
доставка по РФ

Все заказы, размещенные в период с 3 по 4 ноября, будут обработаны во вторник, 5 ноября с 9 утра по МСК (в первый рабочий день)

Distribution of
Server Components
8 (800) 222-70-01 Консультация IT-специалиста

Как SAS экспандеры и NVMe switch помогают оптимизировать дисковую подсистему серверов

20.05.2024, в 11:04
Как SAS экспандеры и NVMe switch помогают оптимизировать дисковую подсистему серверов

Что такое экспандеры

Для подключения большого числа дисковых устройств к серверу применяются специализированные устройства под названием экспандеры. Коротко говоря экспандер это устройство посредник между RAID/HBA контроллером и дисковыми накопителями. Устройство создано с целью оптимизации дисковых подключений посредством уплотненной передачи данных через конечный канал связи. Стоит отметить, что экспандеры существуют для SATA/SAS устройств и NVMe дисков.

Одна из главных задач экспандера - представить возможность подключения большего числа дисков к контроллеру нежели чем это возможно в рамках прямого подключения.

Виды и смысл SAS экспандеров.

Самый распространенный тип экспандеров. Как правило, такого типа устройства вы можете заметить:

  • На бэкплейне(объединительной плате для подключения дисков). Распознать наличие экспандера можно по наличию массивного радиатора. Наличие экспандера на бэкплейне дает возможность подключать все диски при помощи одного SFF кабеля.
bekplein-supermicro-bpn-sas3-826-el1-snabzhennyj-ekspanderom-lsi-12gbs.png

Бекплеин SuperMicro BPN-SAS3-826-EL1 снабженный экспандером LSI 12Gb/s

  • В виде платы расширений PCI-E. Как правило они напоминают HBA контроллер с большим количеством портов SFF. Дают возможность соединять многочисленные сегменты дисковой системы и контроллер.
ekspander-hp-761879-001-na-baze-chipa-adaptec-aec-83605-v-vide-platy-rasshirenij-pci-e.png

Экспандер HP 761879-001 на базе чипа Adaptec AEC-83605 в виде платы расширений PCI-E

Рассмотрим на примерах.

Вы имеете 12 SSD накопителей SATA 6GB/s, бекплеин SAS 12Gb/s с экспандером, RAID контроллер с одним SFF8643 12GB/s портом. Приступим к расчетам:
Скорость дисков 6 гигабит ≈ 550 мб/с, пропускная способность портов бекплеина 12 гигабит ≈ 1100 мб/с, интерфейс SFF8643 имеет 4 линка SAS 12Gb/s соответственно способен проводить ≈ 4400 мб/c.
Для подключения без потерь 12x SSD нам потребуется канал в 6.6 Гб/с. В нашем случае экспандер “сложит” все 12 дисков в один линк SFF8643 с пропускной способностью в 4400 мб/c, что снижает скорости дисков на 33%.
Смысл экспандера в этой сборке заключается в снижении издержек на приобретение более дорогого RAID контроллера с несколькими портами SFF. Экспандер позволил провести 12 каналов SATA 6Gb/s через 4 канала SAS 12GB/s посредством одного кабеля SFF8643.

raid-contoller-sas-12gbs.png

Визуализация работы экспандера в проведении 12 каналов SATA 6Gb/s через 4 канала SAS 12Gb/s с помощью одного кабеля SFF8643

Рассмотрим пример более сложной дисковой системы. Шасси Supermicro CSE847 имеет сразу два беклпеина с экспандерами, что позволяет подключить 36 дисков. Представьте ситуацию если бы все 36 дисков были бы подключены прямым подключением, для подключения такой конфигурации потребовалось бы около 4-5 HBA/RAID контроллеров, что значительно бы затруднило построение системы.
Интересной особенностью CSE847 является каскадирование, т.е. подключение экспандеров по цепочке к контроллеру. Безусловно такая схема снижает быстродействие дисковых массивов, но дает возможность масштабировать системы. Благодаря наличию экспандеров, все диски в CSE847 могут быть подключены в один контроллер.

sff8643-s-caskadirovaniem.png

Визуализация работы экспандеров в подключении дисков CSE847 к одному RAID контроллеру с помощью одного кабеля SFF8643

Системы HP DL380Gen10 в дисковых конфигурациях на 16-24 диска также снабжаются фирменным экспандером HPE, для осуществления подключения всех 24 дисков в RAID контроллер и создания единой RAID конфигурации. Экспандер HP 761879-001 на базе чипа Adaptec AEC-83605 дает возможность подключить все 24 дисковые корзины в RAID контроллер с поддержкой только 8 прямых подключений. Это происходит за счет “уплотнения” канала передачи данных SAS. Главным плюсом такой схемы подключения является консолидация дисков в рамках одного RAID контроллера. Вы сможете строить RAID конфигурации сразу из 24 накопителей, что значительно расширяет ваши возможности.

server-hpe-dl380-gen10-24sff.png

Визуализация работы экспандера в сервере HP DL380Gen10

PCI-E свитчи, экспандеры

В случае если ваш сервер оборудован большим числом U.2 или U.3 накопителей, вам может потребоваться специализированное устройство под названием NVMe свич. Компания Broadcom выпускает плату расширений Broadcom P411W-32P которая дает возможность подключить до 32 NVMe накопителей в слот PCI-E 4.0 X16. Таким образом PCI-E свич способен подключить большее число NVMe накопителей нежели чем вы бы могли подключить напрямую. Свич в режиме реального времени “делит” линии PCI-E между устройствами NVMe.

nvme-switch-broadcom-p411w-32p-vypolnennyj-v-vide-nizkoprofilnoj-platy-rasshirenij.jpg
NVMe Switch Broadcom P411W-32P выполненный в виде низкопрофильной платы расширений

Внешний вид Broadcom P411W-32P напоминает обычную плату расширений PCI-E. В частности HBA контроллер. Если углубиться в тематику, то PCI-E Switch можно назвать HBA контроллером NVMe с расширенными возможностями. Поскольку он способен сразу адресовать устройства в шину PCI-E вашего сервера, что по сути является Host Bus функционалом.

4 диска Четыре диска на шине 4x PCI-E 4.0. Без потерь в скорости.(аналог режима бифуркации)
8 дисков Восемь дисков на шине 4x PCI-E 4.0. С адаптивным переключением линий PCI-E
16 дисков Шестнадцать дисков на шине 2x PCI-E 4.0. С адаптивным переключением линий PCI-E
32 диска 32 диска на шине 1x PCI-E 4.0. С адаптивным переключением линий PCI-E

NVMe Switch дал возможность создавать AllFlash хранилища без существенных потерь в производительности. Ниша активно развивается, ожидается выход на рынок устройств основанных на PCI-E 5.0. В такого рода серверах PCI Switch может быть выполнен в виде мезанинной платы крепящейся к беклпеину или вовсе быть распаянным на материнской плате.

В рамках примера мы создали для вас слайд с системой Supermicro Storage SuperServer SSG-136R-4MU32JBF. Главным преимуществом этой системы является возможность подключения 32 шт. SSD U.2 или U.3. Для подключения столь большого числа накопителей в системе используются - PCI Switch. Устройства которые в режиме реального времени делят линии PCI-E между накопителями. Сервер поставляется в виде полноценной системы на базе платы Supermicro X12DPU-6 или в виде дисковой полки с обширным числом внешних подключений SFF8674.

supermicro-ssg-136r-4mu32jbf.png

Визуализация работы PCI Switch в сервере Supermicro Storage SuperServer SSG-136R-4MU32JBF

Преимущества и недостатки экспандеров

Преимущества:

  • Экономия на RAID / HBA контроллерах за счет возможности коммутации меньшим числом кабелей
  • Расширение максимально возможного количества дисков к контроллер

Недостатки Экспандеров:

  • Вероятное снижение пропускной способности дисков за счет деления пропускной способности интерфейса
  • Введение дополнительной точки отказа в систему

Ведущие производители экспандеров

Рынок экспандеров крайне не широк. По большей части на рынке представлены всего два крупных игрока.

  • Broadcom(Avago, LSI) - самый масштабный производитель этого рода устройств. Вы могли встретить их на бекплеинах SuperMicro под названиями - sas3x36, sas3x40, sas2x28, sas2x36.
  • Microsemi(Adaptec) - чаще встречается в виде PCI-E платы для расширения дисковой подсистемы. К популярным моделям можно отнести - AEC-82885T и AEC-83605.
  • Intel, HPE, DELL, Lenovo, Supermicro и другие - эксплуатируют разработки Broadcom и Microsemi. Часто их продукты имеют уникальную маркировку. Но на деле под радиатором стоит процессор от вышеуказанных компаний лидеров отрасли.
primer-podklyucheniya-bekpleina-s-ekspanderom-v-shassi-supermicro-cse826.png

Пример подключения бекплеина с экспандером в шасси Supermicro CSE826

Вывод

Экспандеры позволили создавать более гибкие дисковые подсистемы в серверах и СХД. Наиболее актуальным сценарием для приобретения экспандера являются сервера с 16 и более дисковыми корзинами, где затруднительно коммутировать все диски в один контролер ввиду отсутствия возможности прямого подключения. Экcпандеры используются повсеместно, внедрение спецификации SAS4 только в большей степени популяризировало этот формат устройств. Столь высокая популярность экспандеров в рамках протоколов SAS связана с его топологией, она изначально задумывалась с учетом iSCSI адресации и деления канала на части, ввиду чего является идеальной средой для работы этого типа устройств. NVMe накопители также нуждаются в подобного рода устройствах и ведущие мировые производители активно разрабатывают устройства NVMe Switch.
читать больше записей

Написать отзыв

До 6 фото, размером до 12Мб каждое
Мы получили ваш отзыв!

Он появится на сайте после модерации.