Open Flash Platform (OFP)
#AI #BaumMDS #BaumSWARM #BaumTechPulse #BaumUDS #OFP #pNFS #S3
3 минуты
Open Flash Platform (OFP)

Open Flash Platform (OFP)

Open Flash Platform (OFP) — новая инициатива Hammerspace, SK hynix, ScaleFlux, Xsight Labs, Linux-сообщества и LANL, которая предлагает отказаться от привычных AFA-контроллеров и вместо них подавать флэш-чипы в виде «картриджей» с DPU и стандартным pNFS. Сторонники идеи уверены, что это даст ×10 плотность, –50 % TCO и радикальную экономию энергии. Ветеран HPC-хранилищ Гэри Грайдер (LANL) напомнил в блоге Hammerspace, что классические проприетарные параллельные ФС устарели, а открытые стандарты pNFS 4.2 готовы заменить их без клиентского софта.

OFP предлагает «раскрепостить» флэш-массивы: вынести NAND на сеть, оснастить каждый картридж DPU и подавать данные по pNFS без центральных контроллеров (Blocks and Files, Inside HPC & AI News).

  • В 1 стойке обещают до 1 ЭБ ёмкости и <50 кВт на питание (Blocks and Files).
  • Картридж получает NAND любого вендора, DPU/IPU для локальных сервисов и Linux + NFSv4.2 (Inside HPC & AI News).
  • Цель — убрать «лишние» x86-узлы, сократить сетевых хопов и удлинить жизненный цикл самих чипов (Blocks and Files). 

pNFS 4.2, встроенный в стандартный Linux, уже кормит кластеры GPU без проприетарных клиентов — NetApp, Red Hat и Hammerspace активно развивают интерес к нему (NetApp, Red Hat Documentation, Hammerspace).

Экспертное мнение Baum

Мы планируем поддерживать pNFS в продуктах Baum UDS  и Baum MDS для прямой подачи данных в обучение. Но ставка только на один протокол, как в OFP, рискует ограничить сценарии: рынку требуются много-протокольные платформы (NFS, S3, NVMe-oF).

AI-проекты всё чаще требуют пета- и эксабайт неструктурированных данных, а объектное хранилище такое как Baum SWARM  масштабируется горизонтально и несёт богатые метаданные, удобные для отслеживания датасетов и чекпойнтов моделей. 

Объектный слой со встроенными AI-модулями (Data Profiling, Anomaly Defence) даст более гибкую основу для тренинга и инференса, чем «мини-NFS-серверы» картриджей.

Мы следим за OFP и готовы интегрировать картриджи как ещё один слой под единой платформой заний SWARM, если сообщество представит открытые, стабильные спецификации. Пока же концепт выглядит смело, но «сыровато» и однобоко — будущее за гибридом низких задержек блочного доступа, файловой скорости pNFS и объектной гибкости S3.

 

Андрей Гантимуров
andrey_gantimurov@baum.ru

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *
Author
Посетитель сайта

Добавить комментарий

Комментариев пока нет

Другие статьи, которые могут быть полезными

Сетевой протокол — это набор соглашений, определяющий принципы взаимодействия устройств в сети. Существуют более 7000 различных сетевых протоколов. helpful hints Сетевой протокол Модель OSI — семиуровневая логическая модель работы сети....
2399
3
RDMA-синхронизация применяется при синхронизации кэша записи в случае использования в качестве устройства кэширования модулей памяти NVDIMM (для RDMA синхронизации сетевые контроллеры, через которые осуществляется межконтроллерный обмен данными, должны поддерживать режим...
2264
1
№ Вопрос Ответ 1. Какова сервисная поддержка BAUMSTORAGE ? Гарантийная и сервисная поддержка производится инженерами BAUMSTORAGE и сервисными службами партнёров. Имеются три вида сервисной поддержки: гарантия на аппаратное обеспечение,...
2081
1