Open Flash Platform (OFP)

Open Flash Platform (OFP) — новая инициатива Hammerspace, SK hynix, ScaleFlux, Xsight Labs, Linux-сообщества и LANL, которая предлагает отказаться от привычных AFA-контроллеров и вместо них подавать флэш-чипы в виде «картриджей» с DPU и стандартным pNFS. Сторонники идеи уверены, что это даст ×10 плотность, –50 % TCO и радикальную экономию энергии. Ветеран HPC-хранилищ Гэри Грайдер (LANL) напомнил в блоге Hammerspace, что классические проприетарные параллельные ФС устарели, а открытые стандарты pNFS 4.2 готовы заменить их без клиентского софта.

OFP предлагает «раскрепостить» флэш-массивы: вынести NAND на сеть, оснастить каждый картридж DPU и подавать данные по pNFS без центральных контроллеров (Blocks and Files, Inside HPC & AI News).

• В 1 стойке обещают до 1 ЭБ ёмкости и <50 кВт на питание (Blocks and Files).
• Картридж получает NAND любого вендора, DPU/IPU для локальных сервисов и Linux + NFSv4.2 (Inside HPC & AI News).
• Цель — убрать «лишние» x86-узлы, сократить сетевых хопов и удлинить жизненный цикл самих чипов (Blocks and Files). 

pNFS 4.2, встроенный в стандартный Linux, уже кормит кластеры GPU без проприетарных клиентов — NetApp, Red Hat и Hammerspace активно развивают интерес к нему (NetApp, Red Hat Documentation, Hammerspace).

Экспертное мнение Baum

Мы планируем поддерживать pNFS в продуктах Baum UDS  и Baum MDS для прямой подачи данных в обучение. Но ставка только на один протокол, как в OFP, рискует ограничить сценарии: рынку требуются много-протокольные платформы (NFS, S3, NVMe-oF).

AI-проекты всё чаще требуют пета- и эксабайт неструктурированных данных, а объектное хранилище такое как Baum SWARM  масштабируется горизонтально и несёт богатые метаданные, удобные для отслеживания датасетов и чекпойнтов моделей. 

Объектный слой со встроенными AI-модулями (Data Profiling, Anomaly Defence) даст более гибкую основу для тренинга и инференса, чем «мини-NFS-серверы» картриджей.

Мы следим за OFP и готовы интегрировать картриджи как ещё один слой под единой платформой заний SWARM, если сообщество представит открытые, стабильные спецификации. Пока же концепт выглядит смело, но «сыровато» и однобоко — будущее за гибридом низких задержек блочного доступа, файловой скорости pNFS и объектной гибкости S3.

Андрей Гантимуров
andrey_gantimurov@baum.ru