PavelS
PavelS

WD CDI NVMe-oF JBOF СХД

15 минут
1075
0

Western Digital OpenFlex Data24 NVMe-oF Storage Platform

В июне 2020 г. Western Digital анонсировала [1] платформу хранения OpenFlex Data24 NVMe-oF Storage Platform, разработанную в результате приобретения компании Kazan Networks в сентябре 2019 г. [2]. Решение предсталяет собой 2U JBOF (Just a Bunch of Flash) корпус с шестью контроллерами RapidFlex NVMeoF (ребрендинг Kazan Networks Onyx Bridge Adapter), с 24 2-портовыми Ultrastar DC SN840 NVMe SSD, а также с установленными в корпус PCIe-коммутаторами для соединения карт и дисков. OpenFlex Data24 дает возможность поддерживать по 100/50/25 GbE vDual Ports одновременную работу с шестью хостами и распределять всю емкость (до 368 Тбайт) полки между ними.

Высокая доступность поддерживается, прежде всего, за счет высоконадежных 2-портовых Ultrastar DC SN840 NVMe SSD, изготовленных по технологии Western Digital 96-Layer 3D TLC NAND.

OpenFlex Data24 имеет 2 модуля ввода (по 3 адаптера в каждом) с возможностью “горячей замены”.

Ключевая особенность OpenFlex Data24 – возможность использования серверов SSD, подключаемых по NVMeoF, как локальных дисков. Такая особенность стала доступна благодаря использованию в составе карты RapidFlex NVMeoF (Onyx NVMeoF Bridge Adapter) чипа Fuji NVMeoF Bridge ASIC разработанного Kazan Networks [3]. Эта особенность позволила максимально приблизиться к реализации предложений по компонуемой дезагрегированной инфраструктуры (CDI, composable disaggregated infra structure) OpenFlex™, которые Western Digital представила в 2018 г.

Ultrastar DC SN840 Data Center NVMe SSD

Новый высокопроизводительный двухпортовый Ultrastar DC SN840 Gen3.1 NVMe SSD представляет собой решение компании третьего поколения с вертикально интегрированным собственным контроллером NVMe, прошивкой и 96-слойной технологией 3D TLC NAND [4]. Новый SSD Ultrastar NVMe позволяет корпоративным клиентам переходить с SATA и SAS на NVMe, обеспечивая производительность последовательного чтения/записи до 3470/3300 МБ/с, производительность до 780 000/250 000 IOPS при произвольном чтении/записи и до 503 000 IOPS при случайном доступе в соотношении 70%/30% операций чтения/записи. Эти накопители NVMe предназначены для облачных вычислений и корпоративных рабочих нагрузок, требующих низкой задержки данных и высокой доступности данных. В числе таких приложений: анализ данных в реальном времени, облачные вычисления, базы данных OLTP/OLAP, искусственный интеллект (ИИ), машинное обучение (МО), распознавание образов и виртуализация.

Высокая доступность с двумя портами поддерживает два резервных пути к SSD и имеет решающее значение для обеспечения доступа к данным в случае сбоя на пути данных.

Емкость до 15,36 ТБ в форм-факторе U.2 15 мм. Полный набор функций корпоративного класса включает 1 и 3 уровня надежности DW/D, полную защиту от потери питания и шифрование TCG. Готовое к будущему, это решение для растущего числа критически важных приложений, которым требуется высокая производительность операций чтения/записи и смешанных рабочих нагрузок (рис. 1).

WD CDI NVMe-oF JBOF СХД - 1

Рис. 1. Western Digital Ultrastar DC SN840.

Платформа хранения данных OpenFlex Data24 NVMe-oF

В то время как хранилище на основе флэш-памяти NVMe обеспечивает огромный прирост производительности для DAS, SAN и NAS, традиционная инфраструктура центра обработки данных может ограничивать весь потенциал твердотельных накопителей NVMe, что приводит к неполному использованию ценных ресурсов хранения, неэффективным хранилищам данных и дорогостоящим эксплуатационные расходы. OpenFlex Data24 помогает решить эти проблемы, позволяя использовать полную пропускную способность твердотельных накопителей Ultrastar NVMe для совместного использования несколькими хостами по Ethernet-фабрике с малой задержкой, как если бы они были локально подключены к шине PCIe внутри серверов x86. Это обеспечивает большую гибкость операторам центров обработки данных для масштабирования емкости и более эффективного использования дезагрегированных флэш-хранилищ для повышения производительности для самых ресурсоемких рабочих нагрузок (рис. 2).

WD CDI NVMe-oF JBOF СХД - 2WD CDI NVMe-oF JBOF СХД - 3

Рис. 2. Western Digital OpenFlex Data24 NVMe-oF Storage Platform.

Запуская до 24 твердотельных накопителей Ultrastar DC SN840 NVMe с возможностью горячей замены, OpenFlex Data24 обеспечивает емкость общего хранилища до 368 ТБ в компактном форм-факторе 2U, что делает его идеальным для расширения серверных хранилищ и масштабируемых программно-определяемых сред хранения (SDS). Целостный дизайн также включает в себя контроллеры RapidFlex с поддержкой RDMA NVMe-oF для сетевого подключения и чрезвычайно низкого энергопотребления, что позволяет напрямую подключать до шести хостов с помощью 100-гигабитного Ethernet без необходимости использования внешнего коммутатора. Контроллеры RapidFlex обеспечивают задержку менее 500 наносекунд для прогнозируемой производительности платформы, превышающей 13 млн операций ввода-вывода в секунду/70 ГБ/с при добавлении до шести сетевых адаптеров к OpenFlex Data24.

Созданная для обеспечения высокой доступности и надежности корпоративного класса, OpenFlex Data24 может быть подключена в качестве общего хранилища в высокопроизводительных развертываниях инфраструктуры или использоваться в качестве дезагрегированного ресурса для создания виртуальных систем хранения. Платформа полностью совместима с отмеченной наградами OpenFlex серии F (https://www.westerndigital.com/products/storageplatforms/openflexcomposableinfrastructure) – единственным в мире решением с открытой компонуемой дезагрегированной инфраструктурой (CDI).

Fuji NVMe-oF Bridge ASIC

Чип Fuji NVMe-oF Bridge ASIC (в маркировке WD: RapidFlex NVMe™-oF Controllers A1000, позволяет прозрачно подключать PCIe SSD по NVMe-oF/Ethernet к внешним серверам. Fuji является ключевым компонентом для внедрения новейших компонуемых инфраструктур в отрасли и лидирует в отрасли с точки зрения стоимости, мощности и производительности.

Fuji доступна либо в виде 21-мм BGA ASIC, либо на плате форм-фактора половинной высоты и половинной длины, предназначенной для установки непосредственно в любой JBOF с внутренним слотом PCIe.

Путем обновления существующего JBOF до подключенного через Ethernet (EBOF, Ethernet Bunch of Flash) можно значительно увеличивать масштаб компонуемой инфраструктуры (рис. 3) [3].

WD CDI NVMe-oF JBOF СХД - 4

WD CDI NVMe-oF JBOF СХД - 5

Рис. 3. Western Digital Fuji NVMe-oF Bridge ASIC [3].

Чип Western Digital Fuji NVMe-oF Bridge ASIC представляет уникальный подход к соединению по NVMe-oF с ускорением на аппаратном уровне. Доказано, что эта архитектура обеспечивает значительно более высокую производительность при меньшем энергопотреблении и меньшей совокупной стоимости владения, чем другие подходы типа SOC.

В сочетании с коммутатором PCIe и использованием существующего управления JBOF чип обеспечивает самую низкую в отрасли стоимость, минимальное энергопотребление и высочайшую производительность JBOF.

Особенности ASIC:

– интерфейс Ethernet 100 Гбит, а также 2×50 Гбит, 2×25 Гбит;

– один интерфейс x16 Gen3 или двойной интерфейс x8 Gen3 PCIe для коммутатора(ов) PCIe;

– поддержка RoCEv1, RoCEv2 и iWARP (сети с потерями поддерживаются для всех протоколов);

– полное аппаратное ускорение путей передачи данных означает самое дешевое решение с самым низким энергопотреблением;

– корпус BGA 21 мм;

– не требуется DRAM;

– номинальная мощность 7 Вт.

RapidFlex™ C2000/C1000 NVMe-oF™ Adapter

В настоящее время в составе OpenFlex Data24 поддерживаются два адаптера RapidFlex™ C2000 NVMe-oF™ и RapidFlex™ C1000 NVMe-oF™, соответственно, с большей и меньшей функциональностью (рис. 4) [5].

WD CDI NVMe-oF JBOF СХД - 6

Рис. 4. RapidFlex™ C2000 NVMe-oF™ Adapter [5].

RapidFlex C2000 от Western Digital — это адаптер NVMe-oF™ половинной высоты и половинной длины, который позволяет подключать системы хранения NVMe over Fabrics (NVMe-oF). Основанный на адаптере Western Digital NVMe-oF Fabric Bridge, этот высокопроизводительный адаптер является ключевым компонентом для реализации компонуемых дезагрегированных инфраструктур (CDI).

Этот NVMe-oF-адаптер второго поколения с target mode представляет собой уникальный подход к соединению NVMe-oF, основанному на широком уровне аппаратного ускорения. Благодаря удалению встроенного ПО из пути передачи данных операции ввода-вывода чтения и записи проходят через адаптер NVMe-oF с минимальной задержкой.

Работая в качестве адаптера NVMe-oF в режиме инициатора, RapidFlex C2000 абстрагирует интерфейс фабрики от операционной системы хоста, обеспечивая преимущества дезагрегированного хранилища NVMe-oF при использовании только драйвера NVMe, родного для выбранной операционной системы.

RapidFlex C2000 обеспечивает бесперебойную связь как в среде RoCEv2, так и в среде TCP. Эта гибкость максимизирует совместимость хоста и целевых систем, позволяя пользователям выбирать модель подключения, наиболее подходящую для их среды.

При номинальной потребляемой мощности менее 12 Вт этот подключаемый адаптер позволяет использовать решения JBOF с чрезвычайно низким энергопотреблением и значительно снижает мощность, потребляемую сервером для соединения NVMe-oF. При использовании как на инициирующем, так и на целевом концах соединения энергосбережение удваивается и может значительно снизить общие требования к питанию и охлаждению современных масштабируемых центров обработки данных.

Характеристики RapidFlex C2000 представлены в табл. 1.

WD CDI NVMe-oF JBOF СХД - 7

WD CDI NVMe-oF JBOF СХД - 8

WD CDI NVMe-oF JBOF СХД - 9

WD CDI NVMe-oF JBOF СХД - 10

Табл. 1. Характеристики RapidFlex™ C2000 NVMe-oF™ Adapter.

Тестирование WD OpenFlex Data24 NVMe-oF Storage Platform [6]

Поддерживая общедоступный открытый компонуемый API компании через интерфейс RESTful, Data24 представляет собой компонуемую систему хранения, в которой, например, хранилище NVMe-oF RDMA можно обнаруживать, отслеживать и динамически подключать к масштабируемым кластерам хранения.

Для более общего управления и настройки хранилища Data24 предоставляет выделенные гигабитные порты на каждом контроллере и представляет фирменный графический интерфейс веб-браузера OpenFlex. Он открывается с интеллектуальным представлением панели мониторинга, которое предоставляет важные статистические данные о работоспособности и производительности всех устройств фабрики в одной подсети (рис. 5).

WD CDI NVMe-oF JBOF СХД - 11

Рис. 5. OpenFlex web browser GUI [5].

Можно просмотреть информацию об отдельных устройствах хранения Data24, о его контроллерах, блоках питания, охлаждающих вентиляторах и всех портах. Встроенные датчики хранения передают информацию о температуре и состоянии всех NVMe SSD, а список разделов мультимедиа показывает более подробную информацию об отдельных устройствах и предоставляет параметры для изменения их состояния питания.

Ленточное меню обеспечивает быстрый доступ к сведениям обо всех сетевых портах, таким как состояние и работоспособность соединения, скорость соединения, IP-адреса и MTU.

Настройка тестовой среды

Для тестов производительности использовалиcь 3 масштабируемых сервера Xeon, каждый из которых оснащен платами адаптера Mellanox ConnectX на 100 Гбит/с, которые обеспечивают встроенную аппаратную поддержку RDMA через Ethernet. Была установлена CentOS 8.4 на каждый сервер, так как она поддерживает драйвер Mellanox OFED (OpenFabrics Enterprise Distribution) и, в отличие от Windows, включает собственный инициатор NVMeoF.

Data24 физически назначает 8 NVMe SSD каждому IOM, поэтому «Сервер 1» видит диски 1–8, «Сервер 2» видит диски 9–16, а «Сервер 3» видит диски 17–24. Тесты FIO были настроены для запуска на всех 8 дисках каждого подключенного сервера (рис. 6).

WD CDI NVMe-oF JBOF СХД - 12

Рис. 6. Распределение SSD между серверами.

С помощью однометровых DAC (direct attach cables) каждый сервер был подключен к выделенному сетевому порту 100GbE на IOM A на Data24, что позволило каждому из них получить доступ к собственному набору SSD Ultrastar DC SN840 NVMe емкостью 8×6,4 ТБ. Все тесты проводились с использованием инструмента тестирования дисков FIO (Flexible I/O) с открытым исходным кодом (рис. 7).

WD CDI NVMe-oF JBOF СХД - 13

Рис. 7. Подключение серверов.

Были использованы 3 сервера Xeon Scalable для проведения тестов производительности, каждый из которых был оснащен платой адаптера Mellanox 100GbE NVMe-oF и подключен кабелем к выделенному порту IOM на Data24 с помощью DAC.

Начав с одного сервера, были проведены тесты FIO, чтобы определить максимальную пропускную способность в ГБ/с и пропускную способность в IO/s для 8 назначенных SSD NVMe в Data24. Четыре теста были проведены с использованием блоков размером 128 КБ для измерения пропускной способности при последовательном чтении и записи, а блоки 4 КБ использовались для определения IOPS для операций случайного чтения и записи.

Были использованы 3 сервера Xeon Scalable для проведения тестов производительности, каждый из которых был оснащен платой адаптера Mellanox 100GbE NVMeoF и подключен кабелем к выделенному порту IOM на Data24 с помощью DAC.

Начав с одного сервера, были проведены тесты FIO, чтобы определить максимальную пропускную способность в ГБ/с и пропускную способность в IO/s для 8 назначенных SSD NVMe в Data24. Четыре теста были проведены с использованием блоков размером 128 КБ для измерения пропускной способности при последовательном чтении и записи, а блоки 4 КБ использовались для определения IOPS для операций случайного чтения и записи.

Параметры теста FIO первоначально было проведено несколько тестов, чтобы получить исходные значения. Затем мы изменили параметры FIO для каждого теста, чтобы добиться оптимальной пропускной способности и пропускной способности IOPS (табл. 2).

WD CDI NVMe-oF JBOF СХД - 14

Затем те же тесты были запущены одновременно на 2 серверах, каждый со своим выделенным банком из 8 SSD NVMe. Наконец, все тесты были проведены вместе на 3 серверах, чтобы определить, есть ли конкуренция за ресурсы на Data24.

Заключение

NVMeoF меняет правила игры для центров обработки данных, поскольку позволяет отделить хранилище от вычислительных ресурсов и полностью реализовать потенциал производительности своих инвестиций в флэш-хранилище. Платформа OpenFlex Data24 готова к переходу, поскольку эта платформа хранения предоставляет комплексное решение NVMe-oF от одного поставщика.

Лабораторные тесты производительности 100GbE не показали ухудшения пропускной способности и IOPS по мере того, как увеличивалась нагрузка с большим количеством хост-серверов. Как показано на графиках производительности (рис. 8, 9), все серверы обеспечивали одинаковые максимальные скорости и потоки независимо от того, на одном, двух или трех хостах выполнялись эталонные тесты FIO.

WD CDI NVMe-oF JBOF СХД - 15

Рис. 8. Потоковая производительность.

WD CDI NVMe-oF JBOF СХД - 16

Рис. 9. Производительность на случайных операциях.

3 сервера вернули совокупную пропускную способность 34,1 ГБ/с для последовательного чтения и пропускную способность 7,63 млн IOPS для произвольного чтения. С этими проверенными цифрами нет причин сомневаться в заявлении WD о том, что Data24 может обеспечить максимальную пропускную способность 71,3 ГБ/с и 15,2 млн операций ввода-вывода/с с 6 серверами, подключенными напрямую.

Источники, доп. ресурсы

[1]  Western Digital’s New NVMe™ SSDs and NVMe-oF™ Solutions Provide the Foundation for Next-Generation, Agile Data June 24, 2020 – https://www.westerndigital.com/company/newsroom/press-releases/2020/2020-06-24-western-digitals-new-nvme-ssds-and-nvme-of-solutions-provide-the-foundation-for-next-generation.

[2]  Western Digital Accelerates Leadership in Next-Generation Data Center Architectures With Acquisition of Kazan Net September 10, 2019 – https://www.westerndigital.com/company/newsroom/press-releases/2019/2019-09-10-western-digital-accelerates-leadership-in-next-generation-data-center-architectures-with-acquisition-of-kazan-networks.

[3]  Fuji NVMeoF Bridge ASIC – https://s4860a6293b86aca2.jimcontent.com/download/version/1573390104/module/8021876956/name/Fuji%20Datasheet.pdf.

[4]  Ultrastar DC SN840 from Western Digital

[5]  RapidFlex NVMe™-oF Controllers C2000 from Western Digital – https://www.westerndigital.com/products/data-center-platforms/rapidflex-c2000-nvme-controller#c2000-nvme-controller.

[6]  WD 2U Rackmount JBOF 24Bay OpenFlex Data24 Paid Review and Performance Validation Test by Binary Testing. February 16, 2022 – https://www.storagenewsletter.com/2022/02/16/wd-2u-rackmount-jbof-24-bay-openflex-data24-review-and-performance-validation-test-by-binary-testing/.

Авторы: Гантимуров А.П., Калашник А.Г.

FavoriteLoadingОтслеживать

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Максимальный размер загружаемого файла: 0 Б. Вы можете загрузить: изображение, аудио, видео, документ, таблица, интерактив, текст, архив, код, другое. Ссылки на YouTube, Facebook, Twitter и другие сервисы, вставленные в текст комментария, будут автоматически встроены. Перетащите файл сюда

Последние статьи

Top