Что такое HBA-контроллер и зачем он нужен?

Содержание: Введение Что такое HBA-контроллер? Два типа HBA-адаптеров Встроенные Аппаратные Протоколы HBA-контроллеров SATA (Serial ATA) SAS(SCSI, Small Computer System Interface) Fibre Channel iSCSI (Internet Small Computer System Interface) NVMe (Non-Volatile Memory Express) Применение HBA-контроллеров Серверные и дата-центры Виртуализация и облачные вычисления Системы резервного копирования и восстановления данных Работа с большими объемами данных Локальные системы хранения данных Преимущества использования HBA-контроллеров Перспективы развития HBA-контроллеров Увеличение скоростей передачи данных Развитие протоколов передачи информации Оптимизация для искусственного интеллекта и машинного обучения Заключение Введение HBA-контроллер, также известный как Host Bus Adapter – это хост-адаптер, который используется в составе серверов для обмена данными между накопителями информации и общей шиной. Благодаря этим устройствам операционная система распознает внешние хранилища данных и взаимодействует с ними: загружает, отправляет, копирует, удаляет информацию и делает с ней прочие операции. Что такое HBA-контроллер? Основная функция HBA-контроллера – это обработка пользовательских запросов на чтение и запись данных, а также управление передачей информации между системой и устройствами хранения. HBA-контроллеры подключаются к материнской плате компьютера через шину PCI Express и обеспечивают прямой доступ к системной памяти, значительно ускоряя процесс передачи данных. Это особенно важно для серверов, где важны высокая производительность и надежность работы с хранилищами данных, в том числе в корпоративной среде с критически важной инфраструктурой. Еще одна функция HBA-контроллеров – минимизация нагрузки на центральный процессор серверной системы: они принимают на себя часть работы по управлению и обработке данных. HBA контроллеры различных поколений на базе различных поколений SAS, а также с поддержкой NVMe. Два типа HBA-адаптеров В зависимости от способа реализации HBA-контроллеры принято делить на категории: встроенные; дискретные. Встроенные Довольно популярным решением долгое время остаются HBA-адаптеры, интегрированные прямо в материнскую плату сервера. При этом далеко не все пользователи подозревают, что у них имеется такой метод управления хранилищами данных, доступный по умолчанию. В этом случае настройки портов для подключения внешних и внутренних дисков можно найти в BIOS либо на уровне софта. Часто HBA-контроллеры интегрированного типа действуют на основе SATA-технологии, в том числе на базе популярного ныне решения NVMe с возможностью подключения компактных накопителей. Ключевой недостаток встроенного HBA заключается в его ограниченном функционале. Встроенный HBA не способен интегрироваться с экспандерами и дисковыми полками, что значительно снижает его масштабируемость. Также стоит отметить, что встроенные HBA не рекомендуются для построения ZFS RAID конфигураций, так как они не могут в должной степени обеспечивать низкие задержки для целого пула дисков. К примеру, возьмем популярную материнскую плату на базе сокета LGA3647 - Supermicro X11DPH-i. Несмотря на наличие на плате портов SFF8087, она не поддерживает подключение SAS накопителей и связь с экспандерами, что значительно ограничивает масштабируемость дисковой подсистемы. Аппаратные Дискретные HBA-контроллеры представлены в виде отдельных плат расширения, подключаемых к материнской плате через разъем PCI-e X8. Число внутренних портов варьируется от 4 до 24, что позволяет подключать до 24 дисков в режиме прямого подключения с использованием стандартных кабелей. Эти внутренние порты обычно представляют собой специализированные SFF коннекторы, каждый из которых объединяет от 4 до 8 прямых подключений, что значительно экономит место на печатной плате. С помощью экспандеров современные HBA-контроллеры могут значительно увеличить количество подключаемых дисков. Стоит отметить, что экспандеры тесно связаны с каскадированием – благодаря этому функционалу один контроллер способен по цепочке подключать к себе сразу десятки дисковых полок, что может значительно экономить бюджет на приобретении SAS коммутатора. Например, контроллер, приведённый ниже, способен подключать до 1024 накопителей. К неоспоримым преимуществам аппаратных HBA-контроллеров относится их совместимость с файловой системой ZFS, предназначенной для создания виртуальных RAID конфигураций. Эта совместимость обеспечивается стабильностью ввода-вывода этих контроллеров и разгрузкой процессора (offloading CPU). Например, для работы с популярной операционной системой TrueNAS рекомендуется использовать адаптер на базе чипа LSI SAS3008. LSI (AVAGO) 9300-8i — это яркий пример аппаратного HBA адаптера, который часто используется в серверах. Производительности его SoC достаточно для работы даже с самыми производительными твердотельными накопителями, что делает его отличным выбором для интеграции в высоконагруженные системы. Протоколы HBA-контроллеров Существует несколько типов HBA-контроллеров, которые различаются по протоколам передачи данных, скорости работы и назначению. Более подробно рассмотрим популярные из них дальше. SATA (Serial ATA) Контроллеры, работающие через интерфейс SATA, предназначены для подключения жестких дисков и SSD-накопителей, используемых в рабочих станциях и серверах. SATA отличается более простой архитектурой по сравнению с SAS и NVMe, что делает его более доступным вариантом для реализации системы хранения информации в рамках домашних и офисных систем. Интерфейс передачи данных SATA является базовым для всех серверных систем. На сегодняшний день любая материнская плата имеет этот функционал на базе чипсета или SoC. Однако, в некоторых случаях серверным системам требуется большее число портов для подключения накопителей или аппаратная поддержка ZFS. Именно тогда на помощь приходят SATA HBA контроллеры. Они способны решить проблемы с расширением дисковой квоты, обеспечивая необходимую гибкость и масштабируемость. Эти контроллеры позволяют интегрировать дополнительные диски и поддерживать высокую производительность системы хранения. Практически все серверные HBA обладают расширенной логикой SCSI, поддерживая одновременно как SAS, так и SATA накопители. Однако на рынке до сих пор встречаются устаревшие контроллеры, такие как LSI на базе чипов SAS2008. Эти контроллеры имеют максимальную пропускную способность до 6 Гбит/с на канал, что делает их эквивалентными по скорости с SATA. SAS(SCSI, Small Computer System Interface) HBA SAS контроллеры – это самый популярный тип контроллеров. Эти устройства получили максимальное распространение благодаря ограниченной поддержке интерфейса SAS со стороны материнских плат. Обычно для установки SAS накопителя требуется HBA (для непосредственного чтения и записи с диска) или RAID (для использования нескольких дисков в hardware RAID). На конец 2024 года самые современные HBA поддерживают SAS4 24Gb/s, что необходимо для самых скоростных SAS SSD. Однако на рынке имеется множество SAS3 12Gb/s адаптеров, которые обеспечивают сравнимую производительность при работе с серверными HDD и SAS3 SSD. При помощи SAS HBA адаптера можно подключить огромные число различных родов накопителей, поскольку протокол SCSI включает в себя логику SATA. Fibre Channel Основная задача FC-контроллера – установка оптического соединения с системами хранения данных (СХД) и дисковыми полками. В отличие от привычных SAS HBA, FC-контроллеры используют более совершенный протокол передачи данных – Fibre Channel, специально разработанный для создания высокопроизводительных дисковых хранилищ и работающий по принципу фабрики. Этот тип подключения особенно актуален для корпоративных инфраструктур. Благодаря применению оптического соединения, FC может работать на расстояниях до десятков километров, что дает ему огромное конкурентное преимущество над аналогами. Кроме того, Fibre Channel обеспечивает низкие задержки и высокие IOPS, что критически важно для работы с большими объемами данных и высокими нагрузками, обеспечивая стабильную и быструю работу системы. Контроллер Qlogic QLE2672-CK это мощный адаптер на базе 16G FC для подключения СХД корпоративного уровня. iSCSI (Internet Small Computer System Interface) На конец 2024 года это практически вымерший вид контроллеров, который был заменен другими типами устройств. Тем не менее, даже сегодня под видом iSCSI HBA часто подразумевают "умные" сетевые карты, дополненные функционалом SmartNIC. Это позволяет им эффективно передавать данные через Ethernet с использованием iSCSI, NFS или FCoE. Эти адаптеры сами по себе не обладают функционалом HBA, а используют ресурсы уже имеющихся в сервере контроллеров, создавая канал для передачи данных через Ethernet. Современный Mellanox MCX4131A-GCAT способен работать в режиме Ethernet на протоколе 40GBASE-SR4, что дает его интегрировать в высокоскоростные 40 гигабитные сети на базе портов QSFP+. NVMe (Non-Volatile Memory Express) NVMe HBA являются одним из самых современных и высокопроизводительных типов контроллеров, которые работают с твердотельными накопителями нового поколения. NVMe использует шину PCI Express, что позволяет достигать очень высоких скоростей передачи данных, минимизировать задержки и оптимизировать производительность при работе с большими объемами информации. NVMe-контроллеры особенно востребованы в системах, где критична скорость работы с данными, таких как базы данных, виртуализация и облачные вычисления. Благодаря им серверы могут обрабатывать миллионы задач ввода-вывода в секунду, что делает NVMe перспективной сферой. На первый взгляд может показаться, что NVMe функционал в HBA может быть избыточным, ведь абсолютно каждая серверная материнская плата имеет поддержку NVMe. Однако на деле NVMe HBA решает вопросы масштабирования NVMe накопителей за счет совместной работы с PCI-e switch, позволяя подключать большее количество накопителей и обеспечивая стабильную работу даже при высоких нагрузках. NVMe HBA широко используются для массового подключения U.2 и других PCI-E дисков к серверным платформам. Нередко такие HBA оснащаются PCI Switch, что обеспечивает еще большую масштабируемость. Применение HBA-контроллеров HBA-контроллеры находят применение в различных сферах, начиная от домашних систем хранения данных и заканчивая крупными корпоративными дата-центрами. В зависимости от типа протокола и скорости передачи данных, устройства могут использоваться в перечисленных далее сценариях. Серверные и дата-центры Одним из самых распространенных применений HBA-контроллеров стало сопряжение серверов и систем хранения данных в дата-центрах. Здесь критичны высокая производительность, отказоустойчивость и масштабируемость. Использование таких технологий, как Fibre Channel и NVMe, позволяет обеспечить надежную работу системы при высоких нагрузках. Виртуализация и облачные вычисления Виртуализация серверов и использование облачных технологий требуют высокой скорости работы с данными и эффективного управления хранилищами. Контроллеры SAS обеспечивают гибкость в управлении и возможность динамического перераспределения ресурсов хранения в зависимости от потребностей пользователей и приложений. Системы резервного копирования и восстановления данных Для задач архивирования и резервного копирования HBA-контроллеры, особенно работающие по интерфейсу SATA, позволяют организовать недорогие системы хранения, работающие с большими объемами данных. Эти решения востребованы в компаниях, которые требуют надежного хранения информации, но при этом не очень сильно нуждаются в высокой скорости передачи. Работа с большими объемами данных В сферах больших данных, искусственного интеллекта и машинного обучения нередко возникает необходимость быстрого доступа и обработки огромных объемов информации. HBA-контроллеры NVMe и Fibre Channel позволяют обрабатывать эту информацию с минимальными задержками, что значительно ускоряет вычислительные процессы и повышает эффективность работы. Локальные системы хранения данных Локальные системы хранения данных: HBA-контроллеры активно используются для создания серверов и NAS на базе ZFS. Такие операционные системы, как TrueNAS, FreeNAS, NAS4Free, EasyNAS и OpenMediaVault, поддерживают ZFS (Zettabyte File System), что позволяет оптимизировать работу хранилища. Сервер Supermicro, где все 12 дисковых отсеков подключаются в HBA контроллер для единого управления. Преимущества использования HBA-контроллеров HBA-контроллеры имеют настолько широкое применение благодаря следующим преимуществам: Высокая скорость передачи данных. Современные контроллеры, особенно NVMe и Fibre Channel, обеспечивают высокие скорости работы с информацией, что особенно важно для серверов и систем с большим количеством одновременно подключенных пользователей. Минимизация нагрузки на процессор. HBA-контроллеры берут на себя обработку команд ввода-вывода, освобождая ресурсы центрального серверного процессора для других задач. Масштабируемость и гибкость. HBA позволяет подключать к системе большее количество устройств хранения данных, увеличивая емкость и общую производительность хранилища. В числе явных преимуществ тоже стоит отметить надежность и отказоустойчивость таких устройств. Использование HBA-контроллеров в корпоративных средах гарантирует надежность и долгий срок эксплуатации систем, предназначенных для хранения критически важной информации. Одним из преимуществ HBA контроллеров является возможность их работы с экспандерами. Благодаря этим устройствам, HBA может подключить большее число дисков, чем количество имеющихся физических портов. SoC на базе контроллера устанавливает связь с SoC на экспандере, что позволяет уплотнить канал передачи данных и подключить большее число устройств. Перспективы развития HBA-контроллеров С каждым годом требования к производительности и объему данных, с которыми приходится работать системам хранения, постоянно увеличиваются. Это создает вызовы для разработчиков HBA-контроллеров, и существует сразу несколько перспективных направлений их развития. Увеличение скоростей передачи данных Постоянное развитие технологий передачи данных, таких как PCIe 5.0 и 6.0, позволяет HBA-контроллерам достигать еще более высоких скоростей. В ближайшем будущем можно ожидать появления контроллеров, способных обрабатывать десятки гигабайт данных в секунду. Особенно увеличение пропускной способности связано с интеграцией в контроллеры следующих высокоскоростных интерфейсов передачи данных: Новые редакции SAS(Serial Attached SCSI). Обновленные версии NVMe основанные на самых современных версиях PCI-e. Логотип SAS 24G - последней актуальной редакции Serial Attached SCSI. Источник: Snia. Развитие протоколов передачи информации Протоколы, такие как NVMe over Fabrics (NVMe-oF), обещают значительное увеличение производительности в сетевых хранилищах данных, что позволит сократить задержки и улучшить общую эффективность работы систем хранения в облачных и виртуализированных средах. Оптимизация для искусственного интеллекта и машинного обучения Современные приложения, связанные с искусственным интеллектом, требуют очень высоких скоростей работы с данными и огромных объемов информации. Развитие HBA-контроллеров в этой области позволит ускорить процессы обучения нейронных сетей и обработки больших данных. Заключение HBA-контроллер – это один из важнейших компонентов серверных систем, обеспечивающий расширенную совместимость с протоколом SAS, а также возможности каскадирования дисков. Если вы не хотите использовать аппаратные RAID-контроллеры с ограниченным объемом кэш-памяти, рекомендуется обратить внимание на дискретные HBA для создания более гибкого ZFS массива. Кроме того, HBA может стать незаменимым помощником, если вам нужно просто считать или записать информацию на SAS накопитель, поскольку без специализированного контроллера это невозможно.