В конце сентября 2021 г. состоялась ежегодная конференция Storage Developer Conference SNIA (SDC 2021, [1]), на которой были представлены ряд выступлений, посвященных развитию инфраструктуры хранения с использованием протокола CXL 2.0 (Compute Express Link, https://www.computeexpresslink.org). Введение Новые и существующие приложения с облачными вычислениями, 5G, IoT, автомобилестроением и высокопроизводительными вычислениями вызывают взрывной рост данных. Эти данные необходимо обрабатывать, […]

История DAOS DAOS (Distributed Asynchronous Object Storage, https://docs.daos.io/) — это масштабируемое хранилище объектов с открытым исходным кодом, разработанное с нуля для обеспечения чрезвычайно высокой пропускной способности/операций ввода-вывода с малой задержкой для самых требовательных данных, интенсивные нагрузки. Он направлен на поддержку рабочих процессов HPC следующего поколения, которые сочетают моделирование, большие данные и искусственный интеллект на одном […]

Введение Компания Excelero была основана в 2014 г. и разрабатывала программно-определяемое блочное хранилище на базе NVMe SSD-накопителей с малой задержкой для гипермасштабируемых приложений, таких как ИИ, машинное обучение и вычисления на GPU, в облаке и на периферии. В 2017-19 гг. Excelero была удостоена (https://www.excelero.com/recognition/) ряда престижных наград: Gold Medal Stevie® Award (16th Annual International Business […]

Введение Компания Lightbits Labs (Lightbits, https://www.lightbitslabs.com/) была образована в 2016 г. и свои первые продукты представила в 2019 г. Lightbits была инициатором и основным разработчиком стандарта NVMe® over TCP (NVMe/TCP), а также первым вендором, реализовавшим кластерную блочную СХД на базе протокола NVMe/TCP. Решение Lightbits позиционируется как программно-определяемая дезагрегированная кластерная СХД, которая может быть развернута на […]

Для идеального случая запросы распределяются между дисками равномерно. Рассмотрим сначала операции случайного чтения. В массиве RAID 0 чтение будет выполняться параллельно с каждого диска массива, поэтому производительность массива будет равна произведению производительности одного диска на число дисков в массиве. Для RAID 5 и RAID 6 картина точно такая же. Поскольку данные четности распределены между всеми […]

Рассмотрим понятие глубины очереди применительно к одиночному диску. Чем больше глубина очереди, тем больше запросов жесткий диск может обработать за единицу времени. Это объясняется тем, что диск выстраивает последовательность обработки запросов таким образом, чтобы маршрут движения головок был оптимальным с точки зрения минимизации времени операций. Чем больше глубина очереди, тем больше у диска выбор и […]

Глубина очереди – это количество одновременных запросов на чтение или запись, которые сервер посылает дисковой подсистеме. Если глубина очереди равна единице, то следующий запрос посылается только после получения подтверждения о выполнении предыдущего запроса. Если глубина очереди больше единицы, сервер сразу посылает несколько запросов и в дальнейшем поддерживает заданную глубину очереди по мере их выполнения.

Включение кэша на запись (режим Write Back) увеличивает производительность дисковых массивов любого типа (для HDD дисков примерно на порядок), поскольку данные записываются сначала в оперативную память контроллера. Перенос данных из кэша на диски осуществляется в фоновом режиме, при этом контроллер «выжимает» из массива максимально возможную производительность в IOPS за счет оптимизации внутренней очереди запросов, поскольку […]

Введение В исследовании Gartner Magic Quadrant for Distributed File Systems and Object Storage (Published 19 October 2022) [1] VAST Data позиционируется в качестве претендента в этом магическом квадранте, занимая 6-е место по присутствию на рынке (рис. 1). VAST Data Universal Storage или определяется как “унифицированная распределенная файловая система и устройство хранения объектов, предназначенное для крупномасштабных […]

Введение В исследовании Gartner – Magic Quadrant for Distributed File Systems and Object Storage (Published 19 October 2022 – ID G00760026) WEKA была признана среди лучших по “видению” рынка [1]. В апреле 2023 г. Weka был признана «Выбором клиентов» в 2023 г. в отчете Gartner® Peer Insights™ Voice of the Customer: Distributed File Systems and […]