Как SAS экспандеры и NVMe switch помогают оптимизировать дисковую подсистему серверов

Что такое экспандеры Виды и смысл SAS экспандеров Рассмотрим на примерах PCI-E свитчи, экспандеры Преимущества и недостатки экспандеров Вывод Что такое экспандеры Для подключения большого числа дисковых устройств к серверу применяются специализированные устройства под названием экспандеры. Коротко говоря экспандер это устройство посредник между RAID/HBA контроллером и дисковыми накопителями. Устройство создано с целью оптимизации дисковых подключений посредством уплотненной передачи данных через конечный канал связи. Стоит отметить, что экспандеры существуют для SATA/SAS устройств и NVMe дисков. Одна из главных задач экспандера - представить возможность подключения большего числа дисков к контроллеру нежели чем это возможно в рамках прямого подключения. Виды и смысл SAS экспандеров. Самый распространенный тип экспандеров. Как правило, такого типа устройства вы можете заметить: На бэкплейне(объединительной плате для подключения дисков). Распознать наличие экспандера можно по наличию массивного радиатора. Наличие экспандера на бэкплейне дает возможность подключать все диски при помощи одного SFF кабеля. Бекплеин SuperMicro BPN-SAS3-826-EL1 снабженный экспандером LSI 12Gb/s В виде платы расширений PCI-E. Как правило они напоминают HBA контроллер с большим количеством портов SFF. Дают возможность соединять многочисленные сегменты дисковой системы и контроллер. Экспандер HP 761879-001 на базе чипа Adaptec AEC-83605 в виде платы расширений PCI-E Рассмотрим на примерах. Вы имеете 12 SSD накопителей SATA 6GB/s, бекплеин SAS 12Gb/s с экспандером, RAID контроллер с одним SFF8643 12GB/s портом. Приступим к расчетам: Скорость дисков 6 гигабит ≈ 550 мб/с, пропускная способность портов бекплеина 12 гигабит ≈ 1100 мб/с, интерфейс SFF8643 имеет 4 линка SAS 12Gb/s соответственно способен проводить ≈ 4400 мб/c. Для подключения без потерь 12x SSD нам потребуется канал в 6.6 Гб/с. В нашем случае экспандер “сложит” все 12 дисков в один линк SFF8643 с пропускной способностью в 4400 мб/c, что снижает скорости дисков на 33%. Смысл экспандера в этой сборке заключается в снижении издержек на приобретение более дорогого RAID контроллера с несколькими портами SFF. Экспандер позволил провести 12 каналов SATA 6Gb/s через 4 канала SAS 12GB/s посредством одного кабеля SFF8643. Визуализация работы экспандера в проведении 12 каналов SATA 6Gb/s через 4 канала SAS 12Gb/s с помощью одного кабеля SFF8643 Рассмотрим пример более сложной дисковой системы. Шасси Supermicro CSE847 имеет сразу два беклпеина с экспандерами, что позволяет подключить 36 дисков. Представьте ситуацию если бы все 36 дисков были бы подключены прямым подключением, для подключения такой конфигурации потребовалось бы около 4-5 HBA/RAID контроллеров, что значительно бы затруднило построение системы. Интересной особенностью CSE847 является каскадирование, т.е. подключение экспандеров по цепочке к контроллеру. Безусловно такая схема снижает быстродействие дисковых массивов, но дает возможность масштабировать системы. Благодаря наличию экспандеров, все диски в CSE847 могут быть подключены в один контроллер. Визуализация работы экспандеров в подключении дисков CSE847 к одному RAID контроллеру с помощью одного кабеля SFF8643 Системы HP DL380Gen10 в дисковых конфигурациях на 16-24 диска также снабжаются фирменным экспандером HPE, для осуществления подключения всех 24 дисков в RAID контроллер и создания единой RAID конфигурации. Экспандер HP 761879-001 на базе чипа Adaptec AEC-83605 дает возможность подключить все 24 дисковые корзины в RAID контроллер с поддержкой только 8 прямых подключений. Это происходит за счет “уплотнения” канала передачи данных SAS. Главным плюсом такой схемы подключения является консолидация дисков в рамках одного RAID контроллера. Вы сможете строить RAID конфигурации сразу из 24 накопителей, что значительно расширяет ваши возможности. Визуализация работы экспандера в сервере HP DL380Gen10 PCI-E свитчи, экспандеры В случае если ваш сервер оборудован большим числом U.2 или U.3 накопителей, вам может потребоваться специализированное устройство под названием NVMe свич. Компания Broadcom выпускает плату расширений Broadcom P411W-32P которая дает возможность подключить до 32 NVMe накопителей в слот PCI-E 4.0 X16. Таким образом PCI-E свич способен подключить большее число NVMe накопителей нежели чем вы бы могли подключить напрямую. Свич в режиме реального времени “делит” линии PCI-E между устройствами NVMe. NVMe Switch Broadcom P411W-32P выполненный в виде низкопрофильной платы расширений Внешний вид Broadcom P411W-32P напоминает обычную плату расширений PCI-E. В частности HBA контроллер. Если углубиться в тематику, то PCI-E Switch можно назвать HBA контроллером NVMe с расширенными возможностями. Поскольку он способен сразу адресовать устройства в шину PCI-E вашего сервера, что по сути является Host Bus функционалом. 4 диска Четыре диска на шине 4x PCI-E 4.0. Без потерь в скорости.(аналог режима бифуркации) 8 дисков Восемь дисков на шине 4x PCI-E 4.0. С адаптивным переключением линий PCI-E 16 дисков Шестнадцать дисков на шине 2x PCI-E 4.0. С адаптивным переключением линий PCI-E 32 диска 32 диска на шине 1x PCI-E 4.0. С адаптивным переключением линий PCI-E NVMe Switch дал возможность создавать AllFlash хранилища без существенных потерь в производительности. Ниша активно развивается, ожидается выход на рынок устройств основанных на PCI-E 5.0. В такого рода серверах PCI Switch может быть выполнен в виде мезанинной платы крепящейся к беклпеину или вовсе быть распаянным на материнской плате. В рамках примера мы создали для вас слайд с системой Supermicro Storage SuperServer SSG-136R-4MU32JBF. Главным преимуществом этой системы является возможность подключения 32 шт. SSD U.2 или U.3. Для подключения столь большого числа накопителей в системе используются - PCI Switch. Устройства которые в режиме реального времени делят линии PCI-E между накопителями. Сервер поставляется в виде полноценной системы на базе платы Supermicro X12DPU-6 или в виде дисковой полки с обширным числом внешних подключений SFF8674. Визуализация работы PCI Switch в сервере Supermicro Storage SuperServer SSG-136R-4MU32JBF Преимущества и недостатки экспандеров Преимущества: Экономия на RAID / HBA контроллерах за счет возможности коммутации меньшим числом кабелей Расширение максимально возможного количества дисков к контроллер Недостатки Экспандеров: Вероятное снижение пропускной способности дисков за счет деления пропускной способности интерфейса Введение дополнительной точки отказа в систему Ведущие производители экспандеров Рынок экспандеров крайне не широк. По большей части на рынке представлены всего два крупных игрока. Broadcom(Avago, LSI) - самый масштабный производитель этого рода устройств. Вы могли встретить их на бекплеинах SuperMicro под названиями - sas3x36, sas3x40, sas2x28, sas2x36. Microsemi(Adaptec) - чаще встречается в виде PCI-E платы для расширения дисковой подсистемы. К популярным моделям можно отнести - AEC-82885T и AEC-83605. Intel, HPE, DELL, Lenovo, Supermicro и другие - эксплуатируют разработки Broadcom и Microsemi. Часто их продукты имеют уникальную маркировку. Но на деле под радиатором стоит процессор от вышеуказанных компаний лидеров отрасли. Пример подключения бекплеина с экспандером в шасси Supermicro CSE826 Вывод Экспандеры позволили создавать более гибкие дисковые подсистемы в серверах и СХД. Наиболее актуальным сценарием для приобретения экспандера являются сервера с 16 и более дисковыми корзинами, где затруднительно коммутировать все диски в один контролер ввиду отсутствия возможности прямого подключения. Экcпандеры используются повсеместно, внедрение спецификации SAS4 только в большей степени популяризировало этот формат устройств. Столь высокая популярность экспандеров в рамках протоколов SAS связана с его топологией, она изначально задумывалась с учетом iSCSI адресации и деления канала на части, ввиду чего является идеальной средой для работы этого типа устройств. NVMe накопители также нуждаются в подобного рода устройствах и ведущие мировые производители активно разрабатывают устройства NVMe Switch.