Как SAS экспандеры и NVMe switch помогают оптимизировать дисковую подсистему серверов
- Что такое экспандеры
- Виды и смысл SAS экспандеров
- Рассмотрим на примерах
- PCI-E свитчи, экспандеры
- Преимущества и недостатки экспандеров
- Вывод
Что такое экспандеры
Для подключения большого числа дисковых устройств к серверу применяются специализированные устройства под названием экспандеры. Коротко говоря экспандер это устройство посредник между RAID/HBA контроллером и дисковыми накопителями. Устройство создано с целью оптимизации дисковых подключений посредством уплотненной передачи данных через конечный канал связи. Стоит отметить, что экспандеры существуют для SATA/SAS устройств и NVMe дисков.Одна из главных задач экспандера - представить возможность подключения большего числа дисков к контроллеру нежели чем это возможно в рамках прямого подключения.
Виды и смысл SAS экспандеров.
- На бэкплейне(объединительной плате для подключения дисков). Распознать наличие экспандера можно по наличию массивного радиатора. Наличие экспандера на бэкплейне дает возможность подключать все диски при помощи одного SFF кабеля.

- В виде платы расширений PCI-E. Как правило они напоминают HBA контроллер с большим количеством портов SFF. Дают возможность соединять многочисленные сегменты дисковой системы и контроллер.

Рассмотрим на примерах.
Вы имеете 12 SSD накопителей SATA 6GB/s, бекплеин SAS 12Gb/s с экспандером, RAID контроллер с одним SFF8643 12GB/s портом. Приступим к расчетам:Скорость дисков 6 гигабит ≈ 550 мб/с, пропускная способность портов бекплеина 12 гигабит ≈ 1100 мб/с, интерфейс SFF8643 имеет 4 линка SAS 12Gb/s соответственно способен проводить ≈ 4400 мб/c.
Для подключения без потерь 12x SSD нам потребуется канал в 6.6 Гб/с. В нашем случае экспандер “сложит” все 12 дисков в один линк SFF8643 с пропускной способностью в 4400 мб/c, что снижает скорости дисков на 33%.

Интересной особенностью CSE847 является каскадирование, т.е. подключение экспандеров по цепочке к контроллеру. Безусловно такая схема снижает быстродействие дисковых массивов, но дает возможность масштабировать системы. Благодаря наличию экспандеров, все диски в CSE847 могут быть подключены в один контроллер.


PCI-E свитчи, экспандеры
В случае если ваш сервер оборудован большим числом U.2 или U.3 накопителей, вам может потребоваться специализированное устройство под названием NVMe свич. Компания Broadcom выпускает плату расширений Broadcom P411W-32P которая дает возможность подключить до 32 NVMe накопителей в слот PCI-E 4.0 X16. Таким образом PCI-E свич способен подключить большее число NVMe накопителей нежели чем вы бы могли подключить напрямую. Свич в режиме реального времени “делит” линии PCI-E между устройствами NVMe.
Внешний вид Broadcom P411W-32P напоминает обычную плату расширений PCI-E. В частности HBA контроллер. Если углубиться в тематику, то PCI-E Switch можно назвать HBA контроллером NVMe с расширенными возможностями. Поскольку он способен сразу адресовать устройства в шину PCI-E вашего сервера, что по сути является Host Bus функционалом.
4 диска | Четыре диска на шине 4x PCI-E 4.0. Без потерь в скорости.(аналог режима бифуркации) |
8 дисков | Восемь дисков на шине 4x PCI-E 4.0. С адаптивным переключением линий PCI-E |
16 дисков | Шестнадцать дисков на шине 2x PCI-E 4.0. С адаптивным переключением линий PCI-E |
32 диска | 32 диска на шине 1x PCI-E 4.0. С адаптивным переключением линий PCI-E |
В рамках примера мы создали для вас слайд с системой Supermicro Storage SuperServer SSG-136R-4MU32JBF. Главным преимуществом этой системы является возможность подключения 32 шт. SSD U.2 или U.3. Для подключения столь большого числа накопителей в системе используются - PCI Switch. Устройства которые в режиме реального времени делят линии PCI-E между накопителями. Сервер поставляется в виде полноценной системы на базе платы Supermicro X12DPU-6 или в виде дисковой полки с обширным числом внешних подключений SFF8674.

Преимущества и недостатки экспандеров
Преимущества:
- Экономия на RAID / HBA контроллерах за счет возможности коммутации меньшим числом кабелей
- Расширение максимально возможного количества дисков к контроллер
Недостатки Экспандеров:
- Вероятное снижение пропускной способности дисков за счет деления пропускной способности интерфейса
- Введение дополнительной точки отказа в систему
Ведущие производители экспандеров
Рынок экспандеров крайне не широк. По большей части на рынке представлены всего два крупных игрока.- Broadcom(Avago, LSI) - самый масштабный производитель этого рода устройств. Вы могли встретить их на бекплеинах SuperMicro под названиями - sas3x36, sas3x40, sas2x28, sas2x36.
- Microsemi(Adaptec) - чаще встречается в виде PCI-E платы для расширения дисковой подсистемы. К популярным моделям можно отнести - AEC-82885T и AEC-83605.
- Intel, HPE, DELL, Lenovo, Supermicro и другие - эксплуатируют разработки Broadcom и Microsemi. Часто их продукты имеют уникальную маркировку. Но на деле под радиатором стоит процессор от вышеуказанных компаний лидеров отрасли.
