Отличия U.2 и U.3: эволюция форм-фактора NVMe для серверов и дата-центров

Настало время поговорить о теме, которая уже ни один год вызывает массу вопросов как у наших клиентов, так и даже у наших консультантов — отличия стандартов/форм-факторов U.2 и U.3 NVMe-накопителей. Казалось бы, два родственных друг другу 2.5-дюймовых форм-фактора, эволюция одной и той же технологии, никаких визуальных отличий в разъемах на бэкплеине, но путаница вокруг U.2 и U.3 разрослась просто до невероятных масштабов. Многие до сих пор думают, что U.3 является лишь минорным обновлением U.2, добавляющим поддержку PCIe 4.0 или 5.0, но на деле суть U.3 лежит совершенно в иной плоскости — упрощении SAS/SATA/NVMe подключений в одной корзине за счет новой логики, но не в самом диске U.3, а в его экосистеме, в которую входят разъемы, бэкплеины и контроллеры. В этой статье специалисты компании ServerFlow расскажут вам, в чем заключаются ключевые отличия между стандартами U.2 и U.3, объясним преимущества и недостатки этих технологий, а также поможем избежать возможных подводных камней при выборе накопителя. 

U.2 — это одновременно и форм-фактор NVMe SSD-накопителей, разработанный в 2015 году, и сам стандарт подключения U.2-дисков в бэкплеин, который был впервые утвержден в 2011 году и назывался SFF-8639. Интерфейс SFF-8639 был разработан комитетом SFF Committee (Small Form Factor Committee) и, по сути, является прямым потомком спецификации SFF-8482 для подключения SAS-накопителей, и разницы между ними нет даже в визуальном плане. Единственное, но ключевое отличие SFF-8482 от SFF-8639 — у первого было всего 36 контактов (либо 29 в SATA) из которых 15-pin выделялись на питание и 14-pin (либо 7-pin в SATA) на передачу данных, а у второго было уже 68 контактов, из которых 12-pin выделялось на питание, а 56-pin на данные, SAS/SATA, PCIe x4 и sideband-сигналы. 

Такой качественный скачок в количестве пинов позволил сохранить совместимость с SAS/SATA-накопителями через оставшиеся контакты SFF-8482, при этом обеспечив возможность подключения в PCIe. А также научив разъем принимать сигналы от диска, что сделало бэкплеины на базе SFF-8639 более интеллектуальными, но не до конца. Почему не до конца — расскажем ниже.

Диски и экосистема U.2 стали ответом индустрии на потребность в высокопроизводительных NVMe-накопителях для серверов и рабочих станций. Диски сохранили компактный 2.5-дюймовый форм-фактор, который использовался в SAS/SATA-накопителях, но обеспечили более высокие скорости, чем предшественники. До появления U.2-дисков NVMe-накопители существовали преимущественно в виде плат расширения (HHHL, Add-in Card), но они были лишены возможности горячей замены, что ограничивало их использование в инфраструктуре ЦОД. U.2 решил эту проблему, дав индустрии гибкие накопители, которые обеспечивают большие скорости для задач аналитики, виртуализации и обработки больших данных — и с этими сложностями индустрия столкнулась еще до эпохи искусственного интеллекта.

Рассмотрим разновидности интерфейсов, которые поддерживаются стандартом U.2:

• PCIe x4 (NVMe) — основной и самый распространенный сценарий. Поддерживается не только PCIe 3.0, но и современные PCIe 4.0 и 5.0, а в будущем вполне могут появиться решения для PCIe 6.0.
• SATA и SAS — в U.2-бэкплеин с разъемами SFF-8639 можно интегрировать и SAS/SATA-диски. Существуют так называемые гибридные бэкплеины (например, Supermicro BPN-SAS3-826EL1-N4), в которые можно одновременно интегрировать как SAS/SATA, так и NVMe-диски. Но гибридные бэкплеины не имеют интеллектуальной логики, поэтому тип диска определяется не автоматически, а кабелями — отдельное подключение к SAS-контроллеру, отдельное подключение по PCIe-свитчу, например, в материнскую плату. 

U.2-разъем с возможностью подключения SAS/SATA и NVMe-накопителей. Для его работы вам придется его подключить дважды, и только тогда слот бэкплеина станет гибридным. Бэкплеин подключается кремовыми SFF-8643 для NVMe, и параллельно на бэкплеине имеется  SAS-экспандер , который объединяет все разъемы — он подключается к SFF-8643 без цветовой палитры для работы с SAS/SATA.

Необходимость в отдельных подключениях для разных типов накопителей — главный недостаток стандарта U.2. Да, U.2-диски дали большую скорость и при сохранении функции hot-swap, но они требовали обновления до дорогостоящих (на тот момент) совместимых бэкплеинов, которые, к тому же, усложняли инфраструктуру из-за дополнительных кабелей. В рамках небольших инфраструктур это не было большой проблемой, но в масштабах крупных ЦОД это было эксплуатационно неудобно — сервер превращался в зоопарк кабелей, а всего одно неправильное подключение отключало всю систему хранения. Выход — сделать новый, еще более универсальный стандарт U.3 и одноименные диски. Он решил дилемму с разводкой кабелей, но добавил новых, чуть ли не более серьезных проблем.

Как и в случае с U.2, его потомок U.3 является одновременно и стандартом подключения через разъемы со спецификацией SFF-TA-1001, и 2,5-дюймовым форм-фактором дисков. U.3 как форм-фактор был впервые представлен в 2018 году компанией-пионером Samsung в линейках PM1733 / PM1735, а вслед за ней технологию начали производить Micron и Kioxia. Сама спецификация SFF-TA-1001, представленная в 2017 году все тем же консорциумом, стала прямой эволюцией SFF-8639, но в этот раз изменения коснулись не количества контактов, а логики назначения пинов — они стали полностью универсальны. Теперь все контакты стандарта SFF-TA-1001 могли работать как в режиме PCIe, так и SAS или SATA, а протокол передачи данных начал определяться автоматически, хотя визуально и физически это был старый-добрый SFF-8639.

Так как же инженерам SFF Committee удалось добиться такого принципиально нового механизма подключения? В самом разъеме или диске — никак, ведь вся магия теперь окончательно перешла в бэкплеин, а если вернее, то в связку sideband-сигналов и так называемого tri-mode контроллера (HBA/RAID). Работает это так: при установке диска, он посылает сигнал бэкплеину с tri-mode контроллером (от Broadcom/Microchip), который автоматически определяет поддерживает ли диск NVMe, SAS или SATA. После получения информации контроллер коммутирует сигнальные линии к соответствующему диску, благодаря чему и NVMe, и SAS/SATA диски можно подключать всего одним кабелем, что сделало U.3-корзины более гибким решением, чем U.2-бэкплеины. U.3-диски, в свою очередь, нужны лишь для обеспечения полной совместимости с интеллектуальным функционалом U.3-бэкплеинов — они как ключ, который раскрывает весь потенциал интеллектуальных возможностей корзин нового стандарта. При этом U.2-диски могут работать с U.3-бэкплеинами, но без автоопределения типа диска, поэтому вся суть стандарта U.3 теряется. Однако из-за этого прорывного tri-mode контроллера, стоимость U.3-систем взлетела до небес. Пока U.2-диски просто подключались к материнской плате, так как RAID-контроллеры считались расточительной мерой из-за неэффективной конфигурации хранилища (16i контроллер подключает только 4 NVMe-диска против 16 SAS), для интеграции U.3-дисков уже жизненно необходимы RAID/HBA-контроллеры, стоимость которых может доходить до $1000.

Интересно, что U.3 появился внезапно, без каких-либо громких анонсов и презентаций. Во многом именно из-за этого многие юзеры просто напросто пропустили появление U.3, а немногие оставшиеся посчитали, что это лишь минорный апдейт для совместимости с новыми поколениями PCIe, потому это событие и не стоило большого внимания. Но это далеко не так. 

Давайте подведем небольшой итог, чтобы наконец-то определить четкие отличия стандартов U.2 и U.3.

Визуально и механически разъемы U.2 и U.3 (SFF-8639 и SFF-TA-1001) похожи как две капли воды, и даже количество контактов у них одинаковое — благодаря этому обеспечивается обратная совместимость по форме интерфейса и самих накопителей. Однако если у интерфейса SFF-8639 контакты жестко фиксируются под конкретный тип данных (NVMe, SAS или SATA), то в SFF-TA-1001 контакты универсальны и могут поддерживать и NVMe, и SAS, и SATA диски, без раздельного подключения, а tri-mode контроллер будет обрабатывать сигналы от дисков и динамически менять протокол. Но что будет, если подключить U.3-диски в U.2-бэкплеин, и наоборот? Сейчас объясним:

• U.2 диск в U.3 корзине: При интеграции U.2-диска в гибридный бэкплейн с разъемами SFF-TA-1001, диск будет работать в обычном режиме, а бэкплеин не будет обеспечивать интеллектуальные функции разводки дисков SAS/SATA/NVMe за счет tri-mode контроллера.
• U.3 диск в U.2 корзине: При интеграции U.3-диска в гибридный бэкплейн со спецификацией SFF-8639, при отсутствии двойного подключения система будет распознавать либо только NVMe-диск, либо только SAS/SATA-диски так как бэкплейн, представляющий из себя пассивную, сконфигурированную плату-коммутатор, нет связан с tri-mode контроллером.

При этом, некоторые OEM-шасси/корзины используют собственные направляющие, фиксаторы или посадочные рамки, которые ограничивают совместимость U.3 и U.2, чтобы не допустить использование “неподдерживаемых” дисков, хотя чисто физически они полностью совместимы. 

Если вы решили купить NVMe-диски, при выборе современных накопителей вы не найдете четкого ответа, какой именно форм-фактор выбрать — складывается впечатление, что ассортимент представлен как “50/50”. Давайте попытаемся найти 2,5-дюймовый диск и посмотрим, какой стандарт (U.2 или U.3) все-таки лидирует на просторах рынка:

Другими словами, стандарт U.2 все еще в ходу, и производители продолжают выпускать новые U.2-диски с поддержкой новых интерфейсов PCIe. В то же время, экосистема U.3 активно развивается и набирает обороты.

Итак, какой вывод мы можем сделать из все этой котовасии? Всего один — стандарт U.2 требует отдельные подключения для NVMe-накопителей и SAS/SATA-накопителей когда они стоят в одном слоте бэкплеина, а стандарту U.3 достаточно всего одного подключения. Да, по сути, радикальных отличий или преимуществ между ними нет, и это объясняет, почему U.2 диски все еще в ходу, а U.3 не преподносят как революционный стандарт — на деле, это простая эволюция в сторону большего удобства подключения. И даже в этом случае большинство пользователей предпочитают просто использовать два кабеля под разные типы накопителей в U.2, а не переплачивать за U.3-системы с Tri-mode контроллером и возможностью подключения SAS/SATA и NVMe через один кабель. Так или иначе, окончательный выбор форм-фактора накопителя всегда остается за конечным потребителем, но если вы гонитесь за скоростями или “полной унификацией”, то особых различий между U.2 и U.3 нет, кроме цены. В то же время на рынок выходят новые форм-факторы, такие как EDSFF, отличия между которыми очевидны и не сводят с ума обывателя, а их подходы к охлаждению и плотности размещения делают их лучшим выбором для интеграции в передовые ЦОД, предъявляющие повышенные требования к накопителям данных и возможностям масштабирования, и именно они имеют все шансы стать настоящей заменой как U.2, так и U.3 дисков.