S3 Vector Bucket для демократизации RAG

В Amazon S3 появился новый тип «vector bucket» (часть превью-функции S3 Vectors). Он хранит и индексирует эмбеддинги так же дёшево и надёжно, как обычные объекты S3, при этом предоставляет быстрый поиск и отдельный API.

По расчётам AWS, перенос «холодных» векторов из постоянно работающей базы OpenSearch в S3 снижает совокупные расходы на хранение и поиск до 90 % — именно то, чего не хватало массовым RAG-системам, где объём эмбеддингов растёт быстрее, чем сами модели. (Amazon Web Services, Blocks and Files)

Vector Bucket: как это устроено

• Емкость и масштаб. В одном vector-bucket можно держать до 10 000 индексов, каждый — десятки миллионов векторов. (Amazon Web Services)
• Метаданные и фильтры. К каждому вектору добавляются пары «ключ-значение»; по ним можно мгновенно отфильтровать выдачу (дата, языковая версия, владелец и т. д.). (Blocks and Files, AWS Documentation)
• Кейсы. От медицинских снимков и дублирующих видео до enterprise-поиска — там, где нужно быстро найти «семантически похожие» объекты в петабайтах данных. (AWS Documentation)

Retrieval-Augmented Generation (RAG) добавляет внешние знания к LLM, но требует постоянного пополнения и переиндексации эмбеддингов. (Amazon Web Services)

1. Дешёвое долговременное хранение — S3 Vectors снимает главный вопрос стоимости, особенно для «архивных» датасетов, которые нужны модели лишь иногда. (Blocks and Files)
2. Качество ответов — исследования уже показывают, что RAG-системы должны уметь бороться с амбивалентными или конфликтными источниками (см. MADAM-RAG).
3. Мультимодальность — свежие практики предлагают хранить единый эмбеддинг для текста + картинок и строить truly-multimodal RAG, что опять-таки требует огромных, но недорогих векторных хранилищ.

Экспертное мнение Baum

Мы в Baum выстраиваем сотрудничество с ведущими российскими разработчиками LLM для RAG в продукте Swarm, чтобы построить «внутренние источники знаний» компаний на собственных данных.

Что это значит для отрасли

Vector Buckets делают векторизацию «коммодити»-услугой: вместо собственных кластеров Milvus/Faiss теперь достаточно S3. Это удешевляет вход в RAG-проекты, а значит, ускорит внедрение корпоративных ассистентов, поисковых движков и агентных ИИ-систем. Следующий логичный шаг — появление «умных» объектных сторажей, где векторный поиск, версионирование и AI-функции войдут в ядро, а не будут внешними аддонами. И именно над такой гибридной архитектурой мы в Baum уже работаем.

Автор: Андрей Гантимуров