Вычислительные накопители — это новая технологическая парадигма, которая интегрирует вычислительные возможности непосредственно в устройства хранения данных для обработки данных там, где они находятся, снижая перемещение данных между накопителем и процессором/памятью хоста. Этот подход особенно полезен для задач с интенсивным использованием данных, таких как ИИ/МО, базы данных, аналитика больших данных и периферийные вычисления.

Что такое вычислительные накопители?

Определение: Вычислительные накопители (ВН, Computational Storage, CS) представляют собой решения для хранения данных, которые объединяют хранение данных с возможностями обработки данных, перенося определенные задачи с процессора хоста на само устройство хранения.

Традиционная модель против вычислительных накопителей:

• Традиционная модель: Перемещение данных к вычислениям (процессор извлекает данные из накопителя)
• Модель вычислительных накопителей: Перемещение вычислений к данным (обработка происходит на уровне накопителя)

Основные концепции и архитектура

Типы устройств

Сравнение архитектур

Традиционная архитектура накопителей:

Архитектура вычислительных накопителей:

Ключевые преимущества

Преимущества производительности

• Сокращение перемещения данных: Обработка данных непосредственно в устройстве хранения, экономия циклов ввода-вывода и процессора
• Более низкая задержка: Обработка в источнике устраняет задержки от передачи данных на хост
• Более высокая пропускная способность: Параллельная обработка на нескольких устройствах хранения
• Оптимизация пропускной способности: Только результаты, а не исходные данные, проходят через интерфейс хоста

Операционные преимущества

• Лучшая масштабируемость: Освобождает ресурсы хоста для других задач
• Повышенная энергоэффективность: Меньше перемещения данных = меньше энергопотребления (до 50% снижения в некоторых рабочих нагрузках)
• Оптимизация затрат: Снижает потребность в мощных процессорах хоста в определенных сценариях
• Оптимизация для периферийных и облачных вычислений: Идеально подходит там, где пропускная способность или вычислительные ресурсы ограничены

Эволюция рынка и внедрение в отрасли

Прогнозы роста рынка

• Размер рынка: Ожидается рост с $1.2 млрд (2023) до $8.5 млрд к 2028 году (CAGR: ~48%)
• Ключевые драйверы: Внедрение ИИ/МО (AI/ML), рост периферийных вычислений (edge computing), взрыв данных
• Основные рынки: Гиперскейл дата-центры, корпоративные хранилища, периферийные вычисления

Паттерны внедрения

• Ранние последователи: Крупные облачные провайдеры (AWS, Google, Microsoft)
• Корпоративное внедрение: Финансовые услуги, медиа и развлечения, научные вычисления
• Новые сценарии использования: Автономные транспортные средства, обработка данных IoT (Интернет вещей), аналитика в реальном времени

Эволюция отраслевых стандартов

• SNIA Computational Storage TWG: Разработка стандартов и спецификаций
• NVMe 2.0: Нативная поддержка функций вычислительных накопителей\
• Open Computational Storage Consortium: Отраслевое сотрудничество по API и фреймворкам

Сценарии использования и применения

Аналитика больших данных (Big Data Analytics)

Рабочие нагрузки ИИ/МО (AI/ML Workloads)

Вычислительные накопители решают хорошо документированное узкое место в конвейерах ИИ/МО: ввод-вывод данных и предварительная обработка. Исследования последовательно показывают, что загрузка и подготовка данных может потреблять 30-70% общего времени обучения, в зависимости от рабочей нагрузки и инфраструктуры хранения.

Оптимизация конвейера обучения

Практические применения

Рабочие нагрузки компьютерного зрения:

• Предварительная обработка изображений (изменение размера, нормализация) выполняется на накопителе
• Сниженные требования к памяти хоста для больших наборов изображений
• Более быстрое увеличение данных (data augmentation) для расширения обучающего набора

Обработка естественного языка (Natural Language Processing):

• Токенизация и кодирование текста на уровне накопителя
• Сокращенная передача данных для обработки больших корпусов
• Более быстрая итерация по наборам данных во время обучения

Анализ временных рядов:

• Фильтрация данных и создание окон на накопителе
• Сокращенное перемещение данных для извлечения признаков
• Более быстрые операции агрегации по историческим данным

Измеренные преимущества

На основе ранних развертываний и бенчмарков поставщиков:

• Скорость загрузки данных: Улучшение пропускной способности конвейера данных в 2-4 раза
• Использование ресурсов хоста: Снижение утилизации CPU на 20-40% для подготовки данных
• Требования к памяти: Сниженное давление на память хоста для буферизации данных
• Время итерации обучения: Более быстрое завершение эпох, когда I/O данных является узким местом

Важное примечание: Преимущества значительно варьируются в зависимости от характеристик рабочей нагрузки, размера набора данных и существующей инфраструктуры. Вычислительные накопители обеспечивают наибольшую ценность, когда I/O данных уже является узким местом в конвейере обучения.

Операции с базами данных

Вычислительные накопители революционизируют производительность баз данных, перемещая операции запросов ближе к данным, фундаментально изменяя то, как базы данных взаимодействуют с системами хранения.

Улучшение обработки запросов

Реальные преимущества баз данных

• OLTP рабочие нагрузки: Снижение времени отклика запросов на 40-70% для сложных аналитических запросов
• Хранилища данных (Data Warehousing): Массивные операции сканирования завершаются в 5-10 раз быстрее
• Смешанные рабочие нагрузки: Лучшая изоляция между OLTP и OLAP операциями
• Резервное копирование и восстановление: Более быстрые проверки согласованности и инкрементальные резервные копии

Обработка видео

Обработка видео представляет один из наиболее убедительных сценариев использования для вычислительных накопителей из-за массивных объемов данных и вычислительно-интенсивных операций.

Трансформация конвейера обработки видео

Традиционный рабочий процесс обработки видео:

Обработка видео вычислительными накопителями:

Сценарии использования обработки видео

Улучшение производительности

• Скорость перекодирования: В 4-8 раз быстрее традиционных подходов на основе CPU
• Снижение пропускной способности: Снижение сетевого/хостового трафика на 85-95%
• Параллельная обработка: Несколько видеопотоков обрабатываются одновременно
• Энергоэффективность: Снижение общего энергопотребления системы на 60%

Отраслевое применение

• Вещание: Подготовка и распространение контента в реальном времени
• Системы безопасности: Аналитика видео в реальном времени и обнаружение угроз
• Создание контента: Автоматизированные рабочие процессы редактирования и постпродакшена
• Медицинская визуализация: Обработка диагностического видеоконтента в реальном времени

Безопасность и соответствие требованиям

Вычислительные накопители предоставляют уникальные преимущества для рабочих нагрузок, чувствительных к безопасности, позволяя обрабатывать данные без раскрытия конфиденциальной информации хостам.

Преимущества безопасности

Этот подход гарантирует, что конфиденциальные данные остаются зашифрованными и обрабатываются безопасно, никогда не существуя в открытом виде в памяти хоста или во время сетевых передач.

Технологические факторы

Аппаратные технологии

1. Вычислительные блоки

• Ядра ARM Cortex: Низкопотребляющая обработка общего назначения
• FPGA: Реконфигурируемая логика для пользовательских алгоритмов
• ASIC: Специально созданные чипы для конкретных рабочих нагрузок
• Ядра GPU: Параллельная обработка для рабочих нагрузок МО (ML)

2. Иерархия памяти

Вычислительные накопители используют многоуровневую иерархию памяти для оптимизации производительности. Данные обрабатываются локально на устройстве, при этом только конечные результаты передаются на хост, что минимизирует трафик и задержки.

Программные технологии

1. Улучшения NVMe

• Функции NVMe 2.0: Нативные наборы команд ВН (CS)
• Зонированные пространства имен (Zoned Namespaces, ZNS): Оптимизированное размещение данных
• Хранилище ключ-значение (Key-Value Storage): Прямые операции ключ-значение

2. Поддержка операционной системы

Поддержка вычислительных накопителей в операционных системах находится в стадии активного развития, с различными уровнями зрелости на разных платформах.

Linux Kernel Support: Linux предоставляет наиболее развитую поддержку вычислительных накопителей через расширения NVMe подсистемы. Ядро Linux поддерживает NVMe с версии 3.3, а последние разработки включают поддержку пользовательских команд NVMe через io_uring, позволяя приложениям отправлять произвольные 64-байтовые команды NVMe и получать 16-байтовые ответы. Исследовательские проекты демонстрируют возможность создания портативных вычислительных накопителей на базе Linux, работающих как драйверы PCI endpoint функций.

Windows Support: Windows поддержка вычислительных накопителей находится в стадии разработки, в основном через драйверы поставщиков устройств и расширения NVMe подсистемы. Прямая интеграция на уровне операционной системы все еще эволюционирует.

Container Integration: NVM Express консорциум выпустил обновленные спецификации с добавлением Computational Storage Feature, создавая стандартизированный способ взаимодействия приложений с устройствами хранения, включающими возможности обработки. Однако специализированная поддержка в системах контейнеризации, таких как Docker и Kubernetes, все еще развивается через стандартные механизмы хранения и CSI (Container Storage Interface) драйверы.

Экосистема поставщиков

Основные игроки

Samsung

• SmartSSD: Накопители на базе FPGA от Xilinx (теперь AMD)
• Поколения: Первое поколение (2020) использовало Xilinx Kintex UltraScale+, второе поколение (2022) использует AMD Xilinx Versal Adaptive SoCs
• Емкость: До 8TB
• Сценарии использования: Ускорение баз данных, AI-инференс, видеообработка
• Статус: Активное производство, коммерчески доступен

ScaleFlux

• Технология: ASIC-основанные вычислительные накопители с аппаратным сжатием
• Продуктовая линейка: CSD 2000 (PCIe Gen3), CSD 3000 (PCIe Gen4), CSD 5000 (enterprise)
• Специализация: Ускорение баз данных, прозрачное сжатие данных
• Производительность: Продемонстрированные улучшения в тестах с PostgreSQL и MySQL
• Статус: Активные продажи, верифицированные независимые тесты

Pliops

• Продукт: Extreme Data Processor (XDP) — процессор хранения данных
• Технология: FPGA-основанный ускоритель на PCIe карте
• Фокус: Ускорение операций ключ-значение для баз данных
• Недавние изменения: В 2024 году вошла в эксклюзивные переговоры о слиянии с французской компанией Kalray
• Статус: Продолжает активные операции

Eideticom

• Платформа: NoLoad Computational Storage Processor (CSP)
• Архитектура: FPGA процессоры без встроенного хранилища
• Форм-факторы: U.2, Add-in-Card (AIC), EDSFF
• Особенность: Может быть развернут с NVMe-oF для разделяемых ресурсов
• Применения: Сжатие, шифрование, аналитика данных
• Статус: Активные продажи и развертывания

Важные замечания по экосистеме

Рыночная зрелость: Индустрия вычислительных накопителей все еще находится на ранней стадии, с ограниченным числом жизнеспособных коммерческих поставщиков.

Технологическое разнообразие: Поставщики используют различные подходы — от встроенных FPGA (Samsung) до отдельных процессорных карт (Pliops, Eideticom) и ASIC-решений (ScaleFlux).

Отраслевые изменения: Экосистема претерпевает значительные изменения, включая корпоративные реструктуризации (NGD Systems) и потенциальные слияния (Pliops-Kalray).

Стандартизация: Большинство решений основано на стандартах NVMe, но программные интерфейсы остаются в значительной степени проприетарными.

Проблемы внедрения

Технические вызовы

Зрелость программной экосистемы

• Ограниченная поддержка инструментов: Среды разработки все еще развиваются
• Сложность отладки: Распределенная отладка на устройствах хранения
• Профилирование производительности: Необходимы новые инструменты для оптимизации на уровне накопителей

Проблемы стандартизации

Соображения безопасности

• Расширенная поверхность атак: Больше кода выполняется на уровне хранения
• Изоляция данных: Обеспечение разделения арендаторов (multitenancy) в многопользовательских средах
• Безопасность прошивки: Защита программного стека вычислительных накопителей

Дефицит навыков

• Новые модели программирования: Разработчикам необходимо изучать программирование с учетом хранилища
• Системное администрирование: Новые навыки для управления вычислительными накопителями
• Оптимизация производительности: Понимание компромиссов между хранением и вычислениями

Заключение

Вычислительные накопители представляют собой фундаментальный сдвиг от традиционной парадигмы «перемещение данных к вычислениям» к «перемещение вычислений к данным». Эта технология является не просто постепенным улучшением, а трансформационным подходом, который решает основные узкие места в современных вычислениях с интенсивным использованием данных.

Ключевые выводы

Зрелость технологии. 

Хотя вычислительные накопители все еще находятся в стадии развития, они переместились из исследовательских лабораторий в производственные развертывания, при этом крупные облачные провайдеры и предприятия видят значительные преимущества.

Влияние на производительность.

Реальные развертывания показывают стабильные улучшения производительности в 2-10 раз в целевых рабочих нагрузках, со значительным снижением энергопотребления и затрат на инфраструктуру.

Рыночная динамика.

Сильная поддержка отрасли, усилия по стандартизации и расширяющаяся экосистема поставщиков указывают на устойчивый рост и долгосрочную жизнеспособность.

Стратегические последствия.

Организации должны оценивать вычислительные накопители не просто как обновление хранилища, а как платформу для переосмысления своих архитектур обработки данных.