Введение

Функция RDMA over Converged Ethernet в сетевых адаптерах Ethernet Broadcom [1]

RoCE (RDMA по конвергентному Ethernet) — это функция полной аппаратной разгрузки, поддерживаемая сетевыми адаптерами Broadcom Ethernet, которая обеспечивает функциональность RDMA в сети Ethernet. RoCE помогает снизить нагрузку на ЦП, поскольку обеспечивает прямой доступ к памяти для приложений, минуя ЦП. Поскольку обработка пакетов и доступ к памяти выполняются аппаратно, RoCE обеспечивает более высокую пропускную способность, меньшую задержку и меньшую загрузку ЦП как на стороне отправителя, так и на стороне получателя, что имеет решающее значение для машинного обучения (ML/AI), хранения и высокой производительности. Приложения для высокопроизводительных вычислений (HPC). Сетевые карты Broadcom, поддерживающие RDMA, называются RNIC.

Функциональность RoCE доступна как для приложений режима пользователя, так и для приложений режима ядра. RoCE поддерживается операционными системами Linux, Windows и VMware.

RDMA позволяет:

• считывать и записывать приложению на одном главном ЦП данные непосредственно из памяти удаленного ЦП;
• передавать данные между приложениями без участия процессора;
• обеспечивать высокую пропускную способность, малую задержку и низкую нагрузку на связь.

Когда RoCE включен, конфигурация ETS изменяется, что приводит к оптимизации производительности RDMA и менее точному распределению пропускной способности ETS.

Следующие сетевые адаптеры Broadcom Ethernet поддерживают RoCE:

• BCM9575XX:
  • BCM957504-P425G (https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p425g);
  • BCM957504-M1100G16 (https://docs.broadcom.com/doc/957504-M1100G16-DS);
  • BCM957504-N1100G (https://www.broadcom.com/products/ethernet-connectivity/network-adapters/n1100g);
  • BCM957504-N425G (https://www.broadcom.com/products/ethernet-connectivity/network-adapters/n425g);
  • BCM957508-P2100G (https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p2100g);
• BCM95741X:
  • BCM957412N4120C (https://docs.broadcom.com/doc/957412N4120C-DS);
  • BCM957414A4142CC (https://docs.broadcom.com/doc/957414A4142CC-DS);
  • BCM957414N4140C (https://docs.broadcom.com/doc/957414N4140C-DS);
  • BCM957416A4160C (https://docs.broadcom.com/doc/957416A4160C-DS);
  • BCM957416N4160C (https://docs.broadcom.com/doc/957416N4160C-DS).

Протокол RoCE v2 поддерживается по умолчанию. Поддержка RoCE v1 в сетевых адаптерах Broadcom Ethernet удалена.

Требования к оборудованию для RDMA over Converged Ethernet (RoCE)

Cлот PCIe, используемый для RNIC должен поддерживать требуемую скорость Ethernet, иначе достижение оптимальной производительности невозможно.

Пропускная способность слота PCIe:

Поколение PCIe	Ширина слота (дорожки)	Макс. пропуск. спос-ть
Gen4 (напр.,AMD Rome/Milan)	16	200 Гбит/с
	8	100 Гбит/с
Gen 3 (напр., Intel Xeon)	16	100 Гбит/с
	8	50 Гбит/с

Все сетевые адаптеры Ethernet BCM9575XX поддерживают скорости PCIe Gen4 x16, а все сетевые адаптеры Ethernet BCM95741X поддерживают скорости PCIe Gen3 x8.

Следует убедиться, что RNIC получает достаточное количество охлаждающего воздуха от системных вентиляторов. Перегрев вызывает отключение, прерывая обслуживание. Активные кабели, такие как AOC, ACC и оптические приемопередатчики, требуют дополнительной мощности и выделяют больше тепла. Сетевые адаптеры Broadcom Ethernet обычно используют порты SFP и QSFP. Выбранный кабель должен подходить физически и поддерживать максимальную требуемую скорость. Следует использовать самый короткий кабель, который достигает конечных точек, для обеспечения наилучшей скорости и минимального количества битовых ошибок:

• для скорости порта 25G – кабель SFP28 DAC или AOC;
• для скорости порта 100G – кабель QSFP28 DAC или AOC;
• для скорости порта 200G – кабель QSFP56 DAC или AOC.

На рис. 1 показан кабель QSP28 AOC длиной 3 м, поддерживающий скорость соединения 100 Гбит/с.

Рис. 1. Кабель QSP28 AOC.

Требования к ПО для RDMA over Converged Ethernet (RoCE)

Реализация Broadcom RoCE использует программный стек RDMA (librdma, libibverbs), включенный во все основные дистрибутивы Linux. Перед выполнением этих инструкций следует удалить любую установку проприетарного программного стека другого поставщика.

Адаптеры серии BCM9575XX

BCM957504P-425G

Основанная на масштабируемой архитектуре контроллера Ethernet 10/25/50/100/200G от Broadcom, сетевая карта P425G 4x25G PCIe предназначена для создания высоко-масштабируемых, многофункциональных сетевых решений на серверах для корпоративных и облачных сетей и приложений для хранения данных, включая высокопроизводительные производительные вычисления, телекоммуникации, машинное обучение, дезагрегация хранилищ и анализ данных (рис. 2).

Рис. 2. BCM957504-P425G Quad-Port 25 Gb/s SFP28 Ethernet PCI Express 4.0 x16 NIC.

Сетевая карта P425G 4x25G PCIe Broadcom объединяет контроллер Ethernet с высокой пропускной способностью с уникальным набором высоко-оптимизированных механизмов аппаратного ускорения для повышения производительности сети и повышения эффективности сервера.

В связи с растущей потребностью в более высокой пропускной способности серверов и емкости хранилища для поддержки новых и появляющихся приложений предприятия, телекоммуникационные компании и поставщики облачных услуг модернизируют свои центры обработки данных, внедряя новейшие сетевые технологии, такие как виртуализация серверов и NVMeoF™. В результате увеличение объемов данных увеличивает трафик между серверами и нагрузку на ЦП для сетевых задач.

Благодаря ведущим на рынке технологиям аппаратного ускорения сетевая плата P425G 4x25G PCIe удовлетворяет эти требования к производительности и обслуживанию сетей мегамасштабных центров обработки данных с высокой пропускной способностью и расширенной обработкой потоков. Такие функции, как TruFlow™, увеличивают плотность виртуальных машин до 50%, освобождая больше циклов ЦП для дополнительных виртуальных машин. Встроенная обработка протоколов туннелирования для Geneve, VXLAN и NVGRE обеспечивает увеличение пропускной способности до 5 раз при одновременном снижении загрузки ЦП до 90% по сравнению с чисто программными решениями. Эти решения также поддерживают передовые сетевые технологии, такие как RoCE, SDN и NFV, для облегчения управления сетями передачи данных и включения решений поставщиков услуг.

Функции:

• четырехпортовая сетевая плата SFP28 PCIe 25/10G с линейной скоростью и полнодуплексной пропускной способностью;
• разделение NIC, поддерживающее 16 физических функций (PF);
• поддержка механизма TruFlow™ для интеллектуальной обработки потоков для повышения плотности серверных ВМ и ускорения обработки vSwitch;
• самое безопасное в отрасли решение PCIe NIC, использующее технологию Broadcom BroadSAFE^® для обеспечения высокой безопасности платформы с помощью Silicon Root of Trust;
• новое сквозное предотвращение и управление перегрузками для прогнозирования и устранения перегрузок до того, как они произойдут;
• поддержка передовых сетевых технологий, включая RoCE, SDN, NFV и виртуализацию;
• поддержка TruManage™, что повышает управляемость и безопасность серверов при развертывании в центрах обработки данных.

Поддерживаемые приложения:

• облачные серверы и серверы центра обработки данных Web 0;
• серверы корпоративного центра обработки данных;
• частное облако;
• кластеры машинного обучения (ML);
• кластеры высокопроизводительных вычислений (HPC);
• многоузловые контейнерные платформы;
• дезагрегация хранилища NVMe (NVMe-oF);
• серверы баз данных.

BCM957504-M1100G16 [3]

Broadcom^® BCM957504M1100G16 — это однопортовая плата сетевого адаптера PCI Express v3.0 x16 со скоростью передачи данных 100 Гбит/с, разработанная в соответствии со спецификацией мезонинной карты Open Compute Project (OCP) с сетевым разъемом QSFP56. Адаптер разработан в соответствии со спецификацией OCP Mezzanine v2.0 как адаптер типа 2 с контуром платы, соответствующим исходным размерам v0.5. Адаптер поддерживает оптические модули QSFP56/QSFP28/QSFP+ и медные кабели прямого подключения. В карте используется MACконтроллер Broadcom BCM57504 100 GbE со встроенным трансивером 100 GbE SFI (рис.3).

Рис. 3. BCM957504-M1100G16. Single-Port 100 Gb/s Ethernet PCI Express v3.0 x16 OCP 2.0 Mezzanine Card.

Особенности:

• подключаемый мультимедийный интерфейс, совместимый с оптическим приемопередатчиком QSFP56/QSFP28/QSFP+ или медным кабелем прямого подключения;
• самый безопасный в отрасли адаптер PCIe, использующий технологию Broadcom BroadSAFE^®;
• поддерживает передачу сигналов 50G PAM-4 и 25G NRZ;
• полностью соответствует стандарту SFF-8402;
• совместимость с PCI Express v0 x16;
• SRIOV с поддержкой до 1 тыс. виртуальных функций (VF);
• поддержка сброса на функциональном уровне (FLR, Function Level Reset);
• механизм обработки потоков TruFlow™;
• Virtual Network Termination – VXLAN, NVGRE, Geneve, GREencap/decap;
• ускорение vSwitch;
• разгрузка без сохранения состояния с учетом туннеля (Tunnel-aware stateless offloads);
• поддержка DCB – PFC, ETS, QCN, DCBx;
• RDMA over Converged Ethernet (RoCE);
• интерфейс боковой полосы сетевого контроллера (NC-SI, Network Controller Sideband Interface);
• SMBus 2.0;
• MCTP over SMBus;
• Jumbo-кадры размером до 9 КБ;
• расширенное предотвращение перегрузок;
• мультиочередь, NetQueue и VMQ;
• разгрузка IPv4 и IPv6;
• разгрузка контрольной суммы TCP, UDP и IP;
• разгрузка больших посылок (LSO, Large send offload);
• большая приемная разгрузка (LRO, Large receive offload);
• разгрузка сегментации TCP (TSO, TCP segmentation offload);
• масштабирование на стороне приема (RSS, Receive-side scaling);
• масштабирование на стороне передачи (TSS, Transmit-side scaling);
• вставка/удаление VLAN;
• объединение прерываний;
• загрузка по сети — PXE, UEFI;
• загрузка iSCSI;
• пробуждение по локальной сети (WOL, Wake-on-LAN);
• MSI и MSI-X;
• поддержка OCP 2.0 FRU;
• соответствует спецификации дизайна мезонинной карты OCP v0, тип 2.

BCM957504-N1100G [4]

Broadcom^® BCM957504-N1100G — это однопортовый сетевой адаптер PCI Express 4.0 x16 со скоростью 100 Гбит/с, разработанный в соответствии со спецификацией Open Compute Project (OCP) 3.0 Design в малом форм-факторе с одним сетевым разъемом QSFP56. Адаптер поддерживает оптические модули QSFP56/QSFP28/QSFP+ и медные кабели прямого подключения. В сетевом адаптере используется MAC-контроллер Broadcom BCM57504 100 GbE со встроенным одноканальным приемопередатчиком 100 GbE SFI (рис. 4).

Особенности такие же, как у BCM957504-M1100G.

Рис. 4. BCM957504-N1100G. Single-Port 100 Gb/s QSFP56 Ethernet PCI Express 4.0 x16 OCP 3.0 SFF Network Adapter.

BCM95750-4N425G [5]

Broadcom^® BCM957504N425G — это четырехпортовый сетевой адаптер PCI Express 4.0 x16 со скоростью 25 Гбит/с, разработанный в соответствии со спецификацией Open Compute Project (OCP) 3.0 Design в малом форм-факторе с четырьмя сетевыми разъемами SFP28. Адаптер поддерживает оптические модули SFP28/SFP+ и медные кабели прямого подключения. В сетевом адаптере используется MAC-контроллер Broadcom BCM57504 100 GbE со встроенным четырехканальным трансивером 25 GbE SFI (рис. 5).

Рис. 5. BCM957504-N425G OCP 3.0 SFF Network Adapter.

BCM957508-P2100G [6]

Broadcom BCM957508P2100G — это двухпортовая сетевая карта PCI Express 4.0 x16 со скоростью передачи данных 100 Гбит/с, которая поддерживает оптические модули QSFP56/QSFP28 и медные кабели прямого подключения. В карте используется MAC-контроллер Broadcom BCM57508 200 GbE со встроенным двухканальным трансивером 100 GbE SFI (рис. 6).

Рис. 6. BCM957508-P2100G Network Interface Card.

Адаптеры серии BCM95741X

BCM957412N4120C [7]

Broadcom^® BCM957412N4120C — это двухпортовый сетевой адаптер PCI Express 3.0 x8 со скоростью 10 Гбит/с, разработанный в соответствии со спецификацией Open Compute Project (OCP) 3.0 Design в малом форм-факторе с двумя сетевыми разъемами SFP+. Адаптер поддерживает оптические модули SFP+ и медные кабели прямого подключения. В сетевом адаптере используется MAC-контроллер Broadcom BCM57412 25 GbE со встроенным двухканальным трансивером 10 GbE SFI (рис. 7).

Рис. 7. BCM957412N4120C OCP 3.0 SFF Network Adapter.

BCM957414A4142CC [8]

Broadcom^® BCM957414A4142CC — это двухпортовая сетевая карта PCI Express Gen3 x8 со скоростью 25 Гбит/с, которая поддерживает как оптические модули SFP28/SFP+, так и медный кабель прямого подключения. Карта использует MAC-контроллер Broadcom BCM57414 25 GbE со встроенным двухканальным трансивером 25 GbE SFI (рис. 8).

Рис. 8. BCM957414A4142CC Network Interface Card.

BCM957414N4140C [9]

Broadcom^® BCM957414N4140C — это двухпортовый сетевой адаптер PCI Express 3.0 x8 со скоростью 25 Гбит/с, разработанный в соответствии со спецификацией Open Compute Project (OCP) 3.0 Design в малом форм-факторе с двумя сетевыми разъемами SFP28. Адаптер поддерживает оптические модули SFP28 и медные кабели прямого подключения. В сетевом адаптере используется MAC контроллер Broadcom BCM57414 25 GbE со встроенным двухканальным трансивером 25 GbE SFI (рис. 9).

Рис. 9. BCM957414N4140C OCP 3.0 SFF Network Adapter.

BCM957416A4160 [10]

Broadcom^® BCM957416A4160C — это двухпортовая сетевая интерфейсная карта 10GBASET, PCIe 3.0 x8, которая поддерживает двухпортовый мультимедийный интерфейс 10GBASET и полностью соответствует стандарту IEEE 802.3an. Карта использует контроллер Broadcom BCM57416 Ethernet со встроенным двухканальным приемопередатчиком 10GBASET (рис. 10).

Рис. 10. BCM957416A4160C Network Interface Card.

BCM957416N4160C [11]

Broadcom^® BCM957416N4160C — это двухпортовая плата сетевого адаптера PCI Express 3.0 x8 со скоростью передачи данных 10 Гбит/с, разработанная в соответствии со спецификацией Open Compute Project (OCP) 3.0 Design в малом форм-факторе с двумя сетевыми разъемами 10GBASE-T. Адаптер поддерживает 10GBASE-T и 1000BASE-T Ethernet на кабелях витой пары категории 6, 6A или 7. 1000BASE-T может работать со стандартной UTP категории 5e. Карта использует контроллер Broadcom BCM57416 10GBASE-T (рис. 11).

Рис. 11. BCM957416N4160C OCP 3.0 Mezzanine Card.

Источники, доп. ресурсы

[1]  Broadcom Ethernet Network Adapter User Guide. Last Updated June 2, 2023 – https://techdocs.broadcom.com/us/en/storage-and-ethernet-connectivity/ethernet-nic-controllers/bcm957xxx/adapters/introduction/features/rdma-over-converged-ethernet-roce.html.

[2]   BCM957504-P425G Quad-Port 25 Gb/s SFP28 Ethernet PCI Express 4.0 x16 NIC – https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p425g.

[3]  BCM957504-M1100G16. Single-Port 100 Gb/s Ethernet PCI Express v3.0 x16 OCP 2.0 Mezzanine Card – https://docs.broadcom.com/doc/957504M1100G16DS.

[4]  BCM957504-N1100G. Single-Port 100 Gb/s QSFP56 Ethernet PCI Express 4.0 x16 OCP 3.0 SFF Network Adapter – https://www.broadcom.com/products/ethernet-connectivity/network-adapters/n1100g.

[5]  BCM957504-N425G. Quad-Port 25 Gb/s SFP28 Ethernet PCI Express 4.0 x16 OCP 3.0 SFF Network Adapter – https://www.broadcom.com/products/ethernet-connectivity/network-adapters/n425g.

[6]  BCM957508-P2100G. Dual-Port 100 Gb/s QSFP56 Ethernet PCI Express 4.0 x16 Network Interface Card – https://www.broadcom.com/products/ethernet-connectivity/network-adapters/p2100g.

[7]  Dual-Port 10 Gb/s Ethernet PCI Express 3.0 x8 OCP 3.0 Small-Form-Factor Network Adapter – https://docs.broadcom.com/doc/957412N4120C-DS.

[8]  Dual-Port 25 Gb/s SFP28 Ethernet PCI Express 3 x8 Network Interface Card – https://docs.broadcom.com/doc/957414A4142CC-DS.

[9]  Dual-Port 25/10 Gb/s Ethernet PCI Express 3.0 x8 OCP 3.0 Small-Form-Factor Network Adapter – https://docs.broadcom.com/doc/957414N4140C-DS.

[10]  Dual-Port 10GBASE-T Ethernet PCI Express 3.0 x8 Network Interface Card – https://docs.broadcom.com/doc/957416A4160C-DS.

[11]  Dual-Port 10GBASE-T Ethernet PCI Express 3.0 x8 OCP 3.0 Small-Form-Factor Card – https://docs.broadcom.com/doc/957416N4160C-DS.

Авторы: Гантимуров А.П., Калашник А.Г.

Отслеживать