Western Digital OpenFlex Data24 NVMe-oF Storage Platform
В июне 2020 г. Western Digital анонсировала [1] платформу хранения OpenFlex Data24 NVMe-oF Storage Platform, разработанную в результате приобретения компании Kazan Networks в сентябре 2019 г. [2]. Решение предсталяет собой 2U JBOF (Just a Bunch of Flash) корпус с шестью контроллерами RapidFlex NVMeoF (ребрендинг Kazan Networks Onyx Bridge Adapter), с 24 2-портовыми Ultrastar DC SN840 NVMe SSD, а также с установленными в корпус PCIe-коммутаторами для соединения карт и дисков. OpenFlex Data24 дает возможность поддерживать по 100/50/25 GbE vDual Ports одновременную работу с шестью хостами и распределять всю емкость (до 368 Тбайт) полки между ними.
Высокая доступность поддерживается, прежде всего, за счет высоконадежных 2-портовых Ultrastar DC SN840 NVMe SSD, изготовленных по технологии Western Digital 96-Layer 3D TLC NAND.
OpenFlex Data24 имеет 2 модуля ввода (по 3 адаптера в каждом) с возможностью “горячей замены”.
Ключевая особенность OpenFlex Data24 – возможность использования серверов SSD, подключаемых по NVMeoF, как локальных дисков. Такая особенность стала доступна благодаря использованию в составе карты RapidFlex NVMeoF (Onyx NVMeoF Bridge Adapter) чипа Fuji NVMeoF Bridge ASIC разработанного Kazan Networks [3]. Эта особенность позволила максимально приблизиться к реализации предложений по компонуемой дезагрегированной инфраструктуры (CDI, composable disaggregated infra structure) OpenFlex™, которые Western Digital представила в 2018 г.
Ultrastar DC SN840 Data Center NVMe SSD
Новый высокопроизводительный двухпортовый Ultrastar DC SN840 Gen3.1 NVMe SSD представляет собой решение компании третьего поколения с вертикально интегрированным собственным контроллером NVMe, прошивкой и 96-слойной технологией 3D TLC NAND [4]. Новый SSD Ultrastar NVMe позволяет корпоративным клиентам переходить с SATA и SAS на NVMe, обеспечивая производительность последовательного чтения/записи до 3470/3300 МБ/с, производительность до 780 000/250 000 IOPS при произвольном чтении/записи и до 503 000 IOPS при случайном доступе в соотношении 70%/30% операций чтения/записи. Эти накопители NVMe предназначены для облачных вычислений и корпоративных рабочих нагрузок, требующих низкой задержки данных и высокой доступности данных. В числе таких приложений: анализ данных в реальном времени, облачные вычисления, базы данных OLTP/OLAP, искусственный интеллект (ИИ), машинное обучение (МО), распознавание образов и виртуализация.
Высокая доступность с двумя портами поддерживает два резервных пути к SSD и имеет решающее значение для обеспечения доступа к данным в случае сбоя на пути данных.
Емкость до 15,36 ТБ в форм-факторе U.2 15 мм. Полный набор функций корпоративного класса включает 1 и 3 уровня надежности DW/D, полную защиту от потери питания и шифрование TCG. Готовое к будущему, это решение для растущего числа критически важных приложений, которым требуется высокая производительность операций чтения/записи и смешанных рабочих нагрузок (рис. 1).
Рис. 1. Western Digital Ultrastar DC SN840.
Платформа хранения данных OpenFlex Data24 NVMe-oF
В то время как хранилище на основе флэш-памяти NVMe обеспечивает огромный прирост производительности для DAS, SAN и NAS, традиционная инфраструктура центра обработки данных может ограничивать весь потенциал твердотельных накопителей NVMe, что приводит к неполному использованию ценных ресурсов хранения, неэффективным хранилищам данных и дорогостоящим эксплуатационные расходы. OpenFlex Data24 помогает решить эти проблемы, позволяя использовать полную пропускную способность твердотельных накопителей Ultrastar NVMe для совместного использования несколькими хостами по Ethernet-фабрике с малой задержкой, как если бы они были локально подключены к шине PCIe внутри серверов x86. Это обеспечивает большую гибкость операторам центров обработки данных для масштабирования емкости и более эффективного использования дезагрегированных флэш-хранилищ для повышения производительности для самых ресурсоемких рабочих нагрузок (рис. 2).
Рис. 2. Western Digital OpenFlex Data24 NVMe-oF Storage Platform.
Запуская до 24 твердотельных накопителей Ultrastar DC SN840 NVMe с возможностью горячей замены, OpenFlex Data24 обеспечивает емкость общего хранилища до 368 ТБ в компактном форм-факторе 2U, что делает его идеальным для расширения серверных хранилищ и масштабируемых программно-определяемых сред хранения (SDS). Целостный дизайн также включает в себя контроллеры RapidFlex с поддержкой RDMA NVMe-oF для сетевого подключения и чрезвычайно низкого энергопотребления, что позволяет напрямую подключать до шести хостов с помощью 100-гигабитного Ethernet без необходимости использования внешнего коммутатора. Контроллеры RapidFlex обеспечивают задержку менее 500 наносекунд для прогнозируемой производительности платформы, превышающей 13 млн операций ввода-вывода в секунду/70 ГБ/с при добавлении до шести сетевых адаптеров к OpenFlex Data24.
Созданная для обеспечения высокой доступности и надежности корпоративного класса, OpenFlex Data24 может быть подключена в качестве общего хранилища в высокопроизводительных развертываниях инфраструктуры или использоваться в качестве дезагрегированного ресурса для создания виртуальных систем хранения. Платформа полностью совместима с отмеченной наградами OpenFlex серии F (https://www.westerndigital.com/products/storage–platforms/openflex–composable–infrastructure) – единственным в мире решением с открытой компонуемой дезагрегированной инфраструктурой (CDI).
Fuji NVMe-oF Bridge ASIC
Чип Fuji NVMe-oF Bridge ASIC (в маркировке WD: RapidFlex NVMe™-oF Controllers A1000, (https://www.westerndigital.com/product/data-center-platforms-repidflex-a1000-nvme-controller#a1000-nvme-controller) позволяет прозрачно подключать PCIe SSD по NVMe-oF/Ethernet к внешним серверам. Fuji является ключевым компонентом для внедрения новейших компонуемых инфраструктур в отрасли и лидирует в отрасли с точки зрения стоимости, мощности и производительности.
Fuji доступна либо в виде 21-мм BGA ASIC, либо на плате форм-фактора половинной высоты и половинной длины, предназначенной для установки непосредственно в любой JBOF с внутренним слотом PCIe.
Путем обновления существующего JBOF до подключенного через Ethernet (EBOF, Ethernet Bunch of Flash) можно значительно увеличивать масштаб компонуемой инфраструктуры (рис. 3) [3].
Рис. 3. Western Digital Fuji NVMe-oF Bridge ASIC [3].
Чип Western Digital Fuji NVMe-oF Bridge ASIC представляет уникальный подход к соединению по NVMe-oF с ускорением на аппаратном уровне. Доказано, что эта архитектура обеспечивает значительно более высокую производительность при меньшем энергопотреблении и меньшей совокупной стоимости владения, чем другие подходы типа SOC.
В сочетании с коммутатором PCIe и использованием существующего управления JBOF чип обеспечивает самую низкую в отрасли стоимость, минимальное энергопотребление и высочайшую производительность JBOF.
Особенности ASIC:
– интерфейс Ethernet 100 Гбит, а также 2×50 Гбит, 2×25 Гбит;
– один интерфейс x16 Gen3 или двойной интерфейс x8 Gen3 PCIe для коммутатора(ов) PCIe;
– поддержка RoCEv1, RoCEv2 и iWARP (сети с потерями поддерживаются для всех протоколов);
– полное аппаратное ускорение путей передачи данных означает самое дешевое решение с самым низким энергопотреблением;
– корпус BGA 21 мм;
– не требуется DRAM;
– номинальная мощность 7 Вт.
RapidFlex™ C2000/C1000 NVMe-oF™ Adapter
В настоящее время в составе OpenFlex Data24 поддерживаются два адаптера RapidFlex™ C2000 NVMe-oF™ и RapidFlex™ C1000 NVMe-oF™, соответственно, с большей и меньшей функциональностью (рис. 4) [5].
Рис. 4. RapidFlex™ C2000 NVMe-oF™ Adapter [5].
RapidFlex C2000 от Western Digital — это адаптер NVMe-oF™ половинной высоты и половинной длины, который позволяет подключать системы хранения NVMe over Fabrics (NVMe-oF). Основанный на адаптере Western Digital NVMe-oF Fabric Bridge, этот высокопроизводительный адаптер является ключевым компонентом для реализации компонуемых дезагрегированных инфраструктур (CDI).
Этот NVMe-oF-адаптер второго поколения с target mode представляет собой уникальный подход к соединению NVMe-oF, основанному на широком уровне аппаратного ускорения. Благодаря удалению встроенного ПО из пути передачи данных операции ввода-вывода чтения и записи проходят через адаптер NVMe-oF с минимальной задержкой.
Работая в качестве адаптера NVMe-oF в режиме инициатора, RapidFlex C2000 абстрагирует интерфейс фабрики от операционной системы хоста, обеспечивая преимущества дезагрегированного хранилища NVMe-oF при использовании только драйвера NVMe, родного для выбранной операционной системы.
RapidFlex C2000 обеспечивает бесперебойную связь как в среде RoCEv2, так и в среде TCP. Эта гибкость максимизирует совместимость хоста и целевых систем, позволяя пользователям выбирать модель подключения, наиболее подходящую для их среды.
При номинальной потребляемой мощности менее 12 Вт этот подключаемый адаптер позволяет использовать решения JBOF с чрезвычайно низким энергопотреблением и значительно снижает мощность, потребляемую сервером для соединения NVMe-oF. При использовании как на инициирующем, так и на целевом концах соединения энергосбережение удваивается и может значительно снизить общие требования к питанию и охлаждению современных масштабируемых центров обработки данных.
Характеристики RapidFlex C2000 представлены в табл. 1.
Табл. 1. Характеристики RapidFlex™ C2000 NVMe-oF™ Adapter.
Тестирование WD OpenFlex Data24 NVMe-oF Storage Platform [6]
Поддерживая общедоступный открытый компонуемый API компании через интерфейс RESTful, Data24 представляет собой компонуемую систему хранения, в которой, например, хранилище NVMe-oF RDMA можно обнаруживать, отслеживать и динамически подключать к масштабируемым кластерам хранения.
Для более общего управления и настройки хранилища Data24 предоставляет выделенные гигабитные порты на каждом контроллере и представляет фирменный графический интерфейс веб-браузера OpenFlex. Он открывается с интеллектуальным представлением панели мониторинга, которое предоставляет важные статистические данные о работоспособности и производительности всех устройств фабрики в одной подсети (рис. 5).
Рис. 5. OpenFlex web browser GUI [5].
Можно просмотреть информацию об отдельных устройствах хранения Data24, о его контроллерах, блоках питания, охлаждающих вентиляторах и всех портах. Встроенные датчики хранения передают информацию о температуре и состоянии всех NVMe SSD, а список разделов мультимедиа показывает более подробную информацию об отдельных устройствах и предоставляет параметры для изменения их состояния питания.
Ленточное меню обеспечивает быстрый доступ к сведениям обо всех сетевых портах, таким как состояние и работоспособность соединения, скорость соединения, IP-адреса и MTU.
Настройка тестовой среды
Для тестов производительности использовалиcь 3 масштабируемых сервера Xeon, каждый из которых оснащен платами адаптера Mellanox ConnectX на 100 Гбит/с, которые обеспечивают встроенную аппаратную поддержку RDMA через Ethernet. Была установлена CentOS 8.4 на каждый сервер, так как она поддерживает драйвер Mellanox OFED (OpenFabrics Enterprise Distribution) и, в отличие от Windows, включает собственный инициатор NVMeoF.
Data24 физически назначает 8 NVMe SSD каждому IOM, поэтому «Сервер 1» видит диски 1–8, «Сервер 2» видит диски 9–16, а «Сервер 3» видит диски 17–24. Тесты FIO были настроены для запуска на всех 8 дисках каждого подключенного сервера (рис. 6).
Рис. 6. Распределение SSD между серверами.
С помощью однометровых DAC (direct attach cables) каждый сервер был подключен к выделенному сетевому порту 100GbE на IOM A на Data24, что позволило каждому из них получить доступ к собственному набору SSD Ultrastar DC SN840 NVMe емкостью 8×6,4 ТБ. Все тесты проводились с использованием инструмента тестирования дисков FIO (Flexible I/O) с открытым исходным кодом (рис. 7).
Рис. 7. Подключение серверов.
Были использованы 3 сервера Xeon Scalable для проведения тестов производительности, каждый из которых был оснащен платой адаптера Mellanox 100GbE NVMe-oF и подключен кабелем к выделенному порту IOM на Data24 с помощью DAC.
Начав с одного сервера, были проведены тесты FIO, чтобы определить максимальную пропускную способность в ГБ/с и пропускную способность в IO/s для 8 назначенных SSD NVMe в Data24. Четыре теста были проведены с использованием блоков размером 128 КБ для измерения пропускной способности при последовательном чтении и записи, а блоки 4 КБ использовались для определения IOPS для операций случайного чтения и записи.
Были использованы 3 сервера Xeon Scalable для проведения тестов производительности, каждый из которых был оснащен платой адаптера Mellanox 100GbE NVMeoF и подключен кабелем к выделенному порту IOM на Data24 с помощью DAC.
Начав с одного сервера, были проведены тесты FIO, чтобы определить максимальную пропускную способность в ГБ/с и пропускную способность в IO/s для 8 назначенных SSD NVMe в Data24. Четыре теста были проведены с использованием блоков размером 128 КБ для измерения пропускной способности при последовательном чтении и записи, а блоки 4 КБ использовались для определения IOPS для операций случайного чтения и записи.
Параметры теста FIO первоначально было проведено несколько тестов, чтобы получить исходные значения. Затем мы изменили параметры FIO для каждого теста, чтобы добиться оптимальной пропускной способности и пропускной способности IOPS (табл. 2).
Затем те же тесты были запущены одновременно на 2 серверах, каждый со своим выделенным банком из 8 SSD NVMe. Наконец, все тесты были проведены вместе на 3 серверах, чтобы определить, есть ли конкуренция за ресурсы на Data24.
Заключение
NVMeoF меняет правила игры для центров обработки данных, поскольку позволяет отделить хранилище от вычислительных ресурсов и полностью реализовать потенциал производительности своих инвестиций в флэш-хранилище. Платформа OpenFlex Data24 готова к переходу, поскольку эта платформа хранения предоставляет комплексное решение NVMe-oF от одного поставщика.
Лабораторные тесты производительности 100GbE не показали ухудшения пропускной способности и IOPS по мере того, как увеличивалась нагрузка с большим количеством хост-серверов. Как показано на графиках производительности (рис. 8, 9), все серверы обеспечивали одинаковые максимальные скорости и потоки независимо от того, на одном, двух или трех хостах выполнялись эталонные тесты FIO.
Рис. 8. Потоковая производительность.
Рис. 9. Производительность на случайных операциях.
3 сервера вернули совокупную пропускную способность 34,1 ГБ/с для последовательного чтения и пропускную способность 7,63 млн IOPS для произвольного чтения. С этими проверенными цифрами нет причин сомневаться в заявлении WD о том, что Data24 может обеспечить максимальную пропускную способность 71,3 ГБ/с и 15,2 млн операций ввода-вывода/с с 6 серверами, подключенными напрямую.
Источники, доп. ресурсы
[1] Western Digital’s New NVMe™ SSDs and NVMe-oF™ Solutions Provide the Foundation for Next-Generation, Agile Data June 24, 2020 – https://www.westerndigital.com/company/newsroom/press-releases/2020/2020-06-24-western-digitals-new-nvme-ssds-and-nvme-of-solutions-provide-the-foundation-for-next-generation.
[2] Western Digital Accelerates Leadership in Next-Generation Data Center Architectures With Acquisition of Kazan Net September 10, 2019 – https://www.westerndigital.com/company/newsroom/press-releases/2019/2019-09-10-western-digital-accelerates-leadership-in-next-generation-data-center-architectures-with-acquisition-of-kazan-networks.
[3] Fuji NVMeoF Bridge ASIC – https://s4860a6293b86aca2.jimcontent.com/download/version/1573390104/module/8021876956/name/Fuji%20Datasheet.pdf.
[4] Ultrastar DC SN840 from Western Digital – https://www.westerndigital.com/products/internaldrives/data-center-drives/ultrastar-dc-sn840-nvme-ssd#0TS1874.
[5] RapidFlex NVMe™-oF Controllers C2000 from Western Digital – https://www.westerndigital.com/products/data-center-platforms/rapidflex-c2000-nvme-controller#c2000-nvme-controller.
[6] WD 2U Rackmount JBOF 24Bay OpenFlex Data24 Paid Review and Performance Validation Test by Binary Testing. February 16, 2022 – https://www.storagenewsletter.com/2022/02/16/wd-2u-rackmount-jbof-24-bay-openflex-data24-review-and-performance-validation-test-by-binary-testing/.
Авторы: Гантимуров А.П., Калашник А.Г.
Отслеживать