Intel Optane — все о энергонезависимых SSD, DIMM и других решениях на базе 3D XPoint

В статье про энергоэффективные модули памяти NVDIMM мы затрагивали аналогичную технологию от Intel под названием Optene на базе чипов 3D XPoint. В прошлом эти накопители вызывали большой интерес у владельцев вычислительных инфраструктур, поскольку Optane обеспечивали сохранность данных даже при отключении энергии и увеличивали отзывчивость памяти. Однако со временем производство накопителей Intel Optene сошло на нет из-за внешних причин и сегодня технологией пользуются только те, кто успел приобрести эти накопители в свое время. Тем не менее, 3D XPoint остается уникальной технологией, на базе которой создавалась целая экосистема устройств, включавшая M.2-диски, SSD-накопители и модули оперативной памяти. Обо всем этом разнообразии, особенностях, преимуществах и недостатках технологии Intel Optane на базе 3D XPoint вы узнаете в этой статье.

До того, как Intel и Micron начали разработку технологии 3D XPoint в 2012 году, компании также работали над другими типами энергонезависимой памяти с фазовыми переходом (PCM), которые не сумели стать популярными, но наработки из них впоследствии применялись при создании 3D XPoint. В отличие от этих ранних разработок, 3D XPoint использовал другой тип материалов для создания ячеек памяти и селектора, благодаря чему эти компоненты работали быстрее и стабильнее. Несмотря на то, что по началу 3D XPoint сравнивали с резистивной памятью с произвольным доступом (ReRAM), впоследствии выяснилось, что технологии кардинально отличаются, в частности, способом записи данных и типом запоминающих ячеек. 3D XPoint стала по-настоящему удачной разработкой в области устройств хранения данных, которая начала применяться в широком спектре устройств под брендом Intel Optane, активно конкурируя с NAND и DRAM памятью.

Intel Optane — это особый тип памяти, который сочетает в себе преимущества NAND-памяти и DRAM-модулей, обеспечивая энергонезависимость, ускорение выполнения операций с данными и высочайшую долговечность. Экосистема устройств Intel Optane, которая включает M.2-диски, SSD-накопители и DIMM-модули, обеспечивает беспрецедентную производительность в обработке смешанных очередей, инновационный функционал и высочайшую отказоустойчивость. 

3D XPoint — это микросхема двухслойной памяти с трехмерным пересечением запоминающих ячеек (транзисторов с плавающим затвором), которая была представлена для того, чтобы дать рынку аналог NAND-памяти, которая до 2015 года не имела эффективных аналогов. Технологию 3D XPoint нельзя соотнести с типичными NAND, DRAM или к другим типам памяти, хоть она и имеет с ними некоторые сходства. Подробные физические принципы, которые делают платформу 3D XPoint такой уникальной, не разглашаются Intel, возможно, чтобы в будущем вернуться к реализации этой технологии. Тем не менее, можно выделить несколько отличительных факторов чипов 3D XPoint:

• В отличие от NAND, 3D XPoint не привязан к записи страниц и стиранию блоков данных. 3D XPoint обращается к данным прямо на физическом уровне через каждую ячейку памяти, благодаря чему таким накопителям не нужен контроллер, что снижает потребление энергии. Помимо этого, 3D XPoint не стирает данные перед записью новых, а перезаписывает их напрямую, что снижает нагрузку на память. Это приводит к уменьшению задержек доступа к данным и увеличению производительности ввода-вывода случайных очередей за секунду до 550,000 IOPS. При этом, операции записи и чтения выполняются практически с одинаковой скоростью. Еще одно преимущество 3D XPoint — ее износостойкость практически безгранична и, очевидно, значительно превышает долговечность NAND (такой эффект, как утечка электронов из ячеек, исключен). Однако стоимость производства 3D XPoint в 4-5 раз дороже, чем выпуск флеш-памяти QLC 3D NAND с аналогичной износостойкостью.
• В отличие от DRAM, 3D XPoint позволяет создавать устройства с увеличенной емкостью памяти, при этом сохраняя энергонезависимость. Кроме того, производство чипов 3D XPoint в 2 раза дешевле, чем стоимость производства DRAM. Однако если сравнивать чипы 3D XPoint и DRAM, то вторые имеют более высокую скорость отклика к памяти. Также есть еще один неочевидный минус 3D XPoint в сравнении с DRAM, о котором мы поговорим ниже. В остальном, чипы 3D XPoint сохраняют все особенности DRAM-памяти. 

У технологии 3D XPoint есть еще одно неочевидное, но очень серьезное преимущество, которого нет даже в официальных документах Intel — Intel Optane в пользовательских системах могут обрабатывать данные быстрее, чем M.2 NVMe накопители. Дело в том, что огромная скорость чтения у таких десктопных накопителей актуальна исключительно при работе с длинными очередями запросов на предоставление памяти, а в случае со случайными очередями Intel Optane развивает колоссальную скорость чтения — в 4 раза больше, чем у NAND-систем. Это обуславливается поддержкой байтовой адресации. Байтовая адресация — это способ обращения к отдельным байтам в памяти, при котором за каждым байтом закреплен свой индивидуальный адрес, что кратно ускоряет обработку случайных очередей.

В более поздних решениях для серверного сегмента, таких как Intel Optane Persistent Memory, скорость обработки длинных очередей была увеличена, но скорость обработки случайных очередей все равно осталась первостепенным преимуществом.

Благодаря этому свойству, потребители устройств Intel Optane были в восторге и технология неожиданно получила огромную популярность, причем, даже в пользовательском сегменте рынка, где M.2 диски Intel Optane M10 на 16 ГБ и M15 на 32 ГБ стоили очень дешево, при этом кратно увеличивали производительность десктопных систем на базе HDD.

Стоит также отметить, что изначально в момент создания технологии 3D XPoint, компания Micron также планировала использовать ее для создания собственной памяти под брендом QuantX. Однако Micron впоследствии отказалась от этой идеи, полностью передав развитие технологии компании Intel, но продолжив производство чипов 3D XPoint. 

Рассмотрим линейки накопителей Intel Optane, которые выпускались до 2022 года.

Серверная линейка Optane SSD стартовала в 2017 году с модели DC P4800X объемом 375 ГБ, а в 2020-м была дополнена флагманом P5800X с поддержкой PCIe 4.0 и емкостью 400 ГБ, 800 ГБ, 1,6 ТБ и 3,2 ТБ. Эти накопители, достигавшие 1.5 млн IOPS в случайных 4K-записях, использовались в высоконагруженных системах: например, в дата-центрах AWS для ускорения виртуализации и в биржевых платформах (NYSE, NASDAQ) для обработки миллионов транзакций в секунду. Благодаря этому, даже первое поколение DC P4800X превосходило NAND-накопители по производительности до 8 раз. Одна из самых впечатляющих характеристик Optane SSD — эти накопители поддерживают до 100 полных циклов перезаписи данных в сутки (DWPD) в течение 5 лет, чего не может предложить ни один современный флеш-накопитель. 

С учетом этого, в конфигурации с емкостью 3,2 ТБ накопители P5800X могут выдерживать более 2 ПБ записи в неделю. Еще одно преимущество SSD-накопителей Optane — новые данные записываются сразу на накопители, что обуславливается отсутствием DRAM-кэша, который используется в традиционных NAND-устройствах. Это исключает возможность потери данных при отключении подачи энергии во время записи информации на SSD. По сути, линейка Optane SSD и в особенности P5800X, разработана не только в качестве твердотельного накопителя с огромной износостойкостью, но и как простой в интеграции буфер записи практически для любого приложения с высокой пропускной способностью, которая достигает 6,2 ГБ/с в режиме записи и 7,2 ГБ/с в режиме чтения. 

Intel Optane SSD повсеместно использовались в корпоративных средах. К примеру, Optane SSD активно интегрировали в системы для ускорения работы базы данных MySQL, поскольку накопители обеспечивали 10-кратный прирост в обработке транзакций в секунду с задержкой в 10 мс. 

Для расширения возможностей накопителей Intel Optane SSD, также было реализовано специальное программное обеспечение Intel Memory Drive для расширения емкости памяти и увеличения производительности. Memory Drive загружался в операционную систему и позволял устранить проблему с локализацией данных, чтобы минимизировать влияние NUMA на производительность. 

По сути, благодаря использованию Memory Drive, пользователи могли увеличить объем и производительность системы благодаря интеграции Intel Optane SSD совместно с DIMM и Memory Drive, при этом используя меньшее количество процессоров. Например, система с двумя процессорами Intel Xeon E5 может иметь более эффективную память, чем система с четырьмя процессорами Intel Xeon E7, что значительно снижает стоимость системы.

Впоследствии Intel также представила накопители Optane P5801X для интеграции в дата-центры и замены решений с форм-фактором M.2. Оба решения имели оптимизированный показатель TDP, могли плотнее устанавливаться в корпус сервера, а также поддерживали функцию горячей замены. 

Также 2018 году Intel выпустила SSD-накопители с форм-фактором M.2 для потребительских систем — Optane 900P и 905P. Решения Intel Optane 900P и 905P имели емкость от 280 до 960 ГБ и производительностью ввода-вывода случайных очередей за секунду до 575,000 IOPS. 

Помимо форм-фактора M.2, память Intel Optane 900P и 905P также реализовывались виде карт-расширений с интерфейсом PCIe 3.0/4.0 для интеграции в высокопроизводительные рабочие станции и серверы. Эти решения позиционировались не как устройства для кэширования, а как полноценные аналоги SSD-накопителей с кратно увеличенной производительностью и низкой задержкой, но меньшим объемом памяти. При этом Intel Optane 900P и 905P с интерфейсом PCIe также унаследовали возможность обеспечивать кэширование при работе в тандеме с более емкими SSD или HDD.

Несмотря на то, что производство Optane SSD свернулось в 2021 году, эти накопители до сих пор считаются одним из самых инновационных видов памяти, с износостойкостью и возможностями которых до сих пор не может сравниться ни один вид NAND-накопителей.

DIMM-модули PMem серий 100 (Apache Pass), 200 (Barlow Pass) и 300 (Crow Pass) стали прорывом для серверов, обеспечивая от 128 до 512 ГБ оперативной памяти вне зависимости от поколения Optane Persistent Memory. Объем в 512 ГБ вызвал фурор, поскольку DRAM-память тех лет не была способна обеспечить столь же высокую емкость.

Устанавливаясь в слоты DIMM, они работали в трех режимах, которые можно настраивать через BIOS:

• Режим Memory. Модули DRAM в системе используются в качестве кэша для модулей Optane. Общая емкость памяти системы равна емкости модулей Optane. Таким образом, модули DDR4/DDR5 используются только в качестве кэша. Данные не сохраняются на модулях Optane при перезагрузке системы. Для повышения производительности системы, Intel рекомендует соотношение 4:1, где интегрированы 4 модуля DRAM и 1 Intel Optane PMem.

• Режим App Direct. Модули DRAM используются в качестве оперативной памяти, а модули Optane PMem — в качестве SSD-накопителя с низкой задержкой и высокой пропускной способностью, которая аналогична SSD-накопителям NVMe. Примечательно, если интегрировать в систему несколько модулей Optane PMem в режиме App Direct, с их помощью можно сформировать некоторое подобие RAID 0, поскольку данные будут поступать сразу в несколько модулей, увеличивая производительность. Однако, при потере одного модуля, данные будут удалены со всех модулей. Этого эффекта можно добиться при объединении модулей в регион через настройки BIOS. Также есть другой сценарий использования — можно использовать каждый модуль PMem в качестве отдельного региона, формируя RAID 1 для повышения отказоустойчивости.

• Режим Mixed. Позволяет выделить одну часть памяти на режим Memory, а другую часть на режим App Direct с помощью специального ползунка в BIOS. Программное обеспечение определяет, какая часть памяти будет отведена для каждого пула, и округляет эти значения для корректной работы. При использовании такого режима может снизиться производительность памяти, однако он позволяет пользоваться преимуществами сразу двух режимов работы PMem.

У линейки Intel Optane PMem была весьма серьезная проблема — первые два поколения Optane PMem 100 и 200 поддерживают только контролер DDR4-2666, из-за чего скорость памяти значительно снижалась при интеграции в сервер с CPU с контроллером памяти на больших частотах.

Впоследствии, при появлении Optane PMem 300, эти недостатки были устранены, так как модули получили поддержку контроллера DDR5-4400 для эффективной работы с чипами Sapphire Rapids. Благодаря этому, Optane PMem 300 также получили прирост производительности в 56% при обработке длинных очередей и огромный прирост в 214% при обработке случайных очередей. Также Optane PMem 300 получили поддержку AES-шифрования, а также 1.75-кратное ускорение потоковых нагрузок. Ранее таких серьезных отличий между Optane PMem 100 и 200 не было, поскольку переход между PMem 100 и 200 означал лишь введение поддержки новых процессоров. Несмотря на высочайшую стоимость, доходящую до $6000 за 512 ГБ, Optane PMem стали уникальным решением, которое предлагает емкость до 512 ГБ и возможности, которых не могла предоставить ни одна оперативная память того времени, что нивелировало огромные затраты. Однако, Optane PMem также канула в лету, так как во многом эти модули оперативной памяти оставались нишевыми из-за необходимости в адаптации ПО для поддержки Optane PMem. Кроме того, стоимость производства модулей DRAM 128 ГБ и 256 ГБ начала постепенно снижаться, на фоне чего выпускать очень своеобразные и дорогие Optane PMem 300 стало нерентабельно.

Гибридный твердотельный накопитель Optane Memory H10, выпущенный в 2019 году и сочетающий до 32 ГБ 3D XPoint и до 1 ТБ 144-QLC 3D NAND на одном M.2-диске, при этом поддерживающий функцию кэширования через системный драйвер для увеличения производительности системы, как и M.2-диски Optane Memory. В 2021 году Intel масштабировала эту линейку продуктов, выпустив следующее поколение дисков Optane Memory H20, которые ту же емкость, но еще больше увеличивали производительность памяти, а также внедряли дополнительный функционал. Кроме того, диски Optane Memory H20 предлагали производительность в случайном чтении до 65 000 IOPS, до 40 000 IOPS в случайной записи, до 3300 Мбит/с при последовательном чтении и 2100 Мбит/с при последовательной записи. 

Впоследствии, в 2020 году, с появлением и популяризацией дешевых SSD-накопителей с интерфейсом PCIe 4.0 SSD, Intel признала гибридную архитектуру Optane Memory H10 слишком сложной для массового рынка и свернула эту линейку.

Выпущенная в 2017 году, линейка Optane Memory стала первым потребительским продуктом на базе 3D XPoint. Модули формата M.2, такие как 16 ГБ M10 и 32 ГБ M15, предназначались для ускорения ПК с HDD через кэширование часто используемых данных и не позиционировались как самостоятельные носители информации. M.2-диски линейки Optane Memory, представляли собой посредников между HDD и системой, поскольку они часто выполняемые операции, и сохраняют данные даже при выключении питания, тем самым все задачи (включение, поиск файлов, запуск программ) выполняются более оперативно даже после перезапуска устройства. 

Рассмотрим несколько сценариев использования накопителей Intel Optane:

• Файловые системы. Intel Optane оптимизирует работу СУБД (Microsoft SQL Server, PostgreSQL, Redis) за счет высокой скорости чтения/записи данных и низкой задержки. Например, Intel Optane можно использовать для кэширования “горячих” данных для ускорения транзакций, хранения журнала транзакций и аналитических запросов.
• Искусственный интеллект. Быстрый доступ к данным будет особенно полезен для обучения моделей искусственного интеллекта. Intel Optane отлично подойдет для хранения датасетов, обеспечивая для CPU и GPU быстрый доступ к данным для обучения ИИ.
• Виртуализация. Благодаря снижению задержек при обращении к памяти, Optane позволяет улучшить производительность виртуальных машин. Это обеспечивается более эффективным кэшированием запросов к данным и размещением VM-дисков на Optane в гиперконвергентных системах (vSAN, Ceph), что увеличит количество виртуальных машин.

Главная причина закрытия проекта Intel Optane — высочайшая себестоимость производства чипов 3D XPoint, которая кратно превышает ценник на выпуск TLC 3D NAND-памяти. По некоторым оценкам, производство 1 ГБ памяти 3D XPoint обходилось компании как минимум в $0,5, вследствие чего накопители Intel Optane не могли выйти на массовый рынок, оставаясь очень нишевыми устройствами. Попытки компании представить гибридные решения линейки Intel Optane H не помогли уменьшить производственные издержки, вследствие чего в 2020 году направление 3D XPoint принесло Intel убытки в размере $576 миллионов. Осознав, что в скором времени производство чипов памяти для Optane сойдет на нет, компания Micron в 2021 году продала единственный завод IM Flash по производству чипов 3D XPoint за $900 миллионов компании Texas Instruments, которая собиралась полностью переоборудовать фабрику для производства других типов полупроводников. Стоит отметить, что помимо убытков в размере $400 миллионов в год, на решение Micron о закрытии фабрики по производству Intel Optane также повлиял большой интерес компании к памяти с поддержкой интерфейса CXL, который не поддерживался памятью на базе 3D XPoint. Продажа фабрики и очередное падение годовой выручки на 22% стали решающим ударом, вследствие чего в 2022 Intel официально объявила о закрытии направления Optane по причине отсутствия средств для поддержки этой технологии. Так закончилась история накопителей Intel Optane, которые подавали весьма большие надежды, но оказались попросту невыгодными. 

Несмотря на весьма печальную судьбу технологии Intel Optane, она была предопределена с самого начала. Конечно, эта система была весьма инновационна, особенно для середины 2010-х годов, однако высочайшая стоимость производства чипов 3D XPoint сводила на нет все преимущества Intel Optane, сделав такие накопители крайне нишевым решением, которое подходило даже не для всех корпоративных инфраструктур. Тем не менее, еще не поздно эксгумировать Intel Optane и вновь продолжить разработку передовой, энергоэффективной памяти на базе 3D XPoint. С учетом того, что технологии производства чипов памяти скакнули далеко вперед и уже сейчас многие фабрики готовы производить компоненты для Intel Optane более дешево, чем раньше, не исключено, что когда-нибудь Intel достанут свои чертежи и документы из пыльного архива, чтобы снова возродить когда-то забытую, но перспективную разработку. Однако для этого компания должна выйти из продолжительного кризиса, и благодаря руководству Лип-Бу Тана, Intel постепенно делает маленькие, но уверенные шаги к возвращению былого величия.