В Amazon S3 появился новый тип «vector bucket» (часть превью-функции S3 Vectors). Он хранит и индексирует эмбеддинги так же дёшево и надёжно, как обычные объекты S3, при этом предоставляет быстрый поиск и отдельный API.
По расчётам AWS, перенос «холодных» векторов из постоянно работающей базы OpenSearch в S3 снижает совокупные расходы на хранение и поиск до 90 % — именно то, чего не хватало массовым RAG-системам, где объём эмбеддингов растёт быстрее, чем сами модели. (Amazon Web Services, Blocks and Files)
Vector Bucket: как это устроено
- Емкость и масштаб. В одном vector-bucket можно держать до 10 000 индексов, каждый — десятки миллионов векторов. (Amazon Web Services)
- Метаданные и фильтры. К каждому вектору добавляются пары «ключ-значение»; по ним можно мгновенно отфильтровать выдачу (дата, языковая версия, владелец и т. д.). (Blocks and Files, AWS Documentation)
- Кейсы. От медицинских снимков и дублирующих видео до enterprise-поиска — там, где нужно быстро найти «семантически похожие» объекты в петабайтах данных. (AWS Documentation)
Retrieval-Augmented Generation (RAG) добавляет внешние знания к LLM, но требует постоянного пополнения и переиндексации эмбеддингов. (Amazon Web Services)
- Дешёвое долговременное хранение — S3 Vectors снимает главный вопрос стоимости, особенно для «архивных» датасетов, которые нужны модели лишь иногда. (Blocks and Files)
- Качество ответов — исследования уже показывают, что RAG-системы должны уметь бороться с амбивалентными или конфликтными источниками (см. MADAM-RAG).
- Мультимодальность — свежие практики предлагают хранить единый эмбеддинг для текста + картинок и строить truly-multimodal RAG, что опять-таки требует огромных, но недорогих векторных хранилищ.
Экспертное мнение Baum
Мы в Baum выстраиваем сотрудничество с ведущими российскими разработчиками LLM для RAG в продукте Swarm, чтобы построить «внутренние источники знаний” компаний на собственных данных.
Что это значит для отрасли
Vector Buckets делают векторизацию «коммодити»-услугой: вместо собственных кластеров Milvus/Faiss теперь достаточно S3. Это удешевляет вход в RAG-проекты, а значит, ускорит внедрение корпоративных ассистентов, поисковых движков и агентных ИИ-систем. Следующий логичный шаг — появление «умных» объектных сторажей, где векторный поиск, версионирование и AI-функции войдут в ядро, а не будут внешними аддонами. И именно над такой гибридной архитектурой мы в Baum уже работаем.
Андрей Гантимуров
andrey_gantimurov@baum.ru
Отслеживать