S3がベクトルデータベースになるとは

従来のRAGアーキテクチャでは、S3にソースドキュメントを保存して、別途PineconeやOpenSearchなどのベクトルデータベースにインデックスを作る、という二重構成が一般的でした。

Amazon S3 Vectorsは、この構成を根本から変えるものです。S3バケット自体がベクトルデータベースとして機能し、保存・インデックス・検索がすべてS3内で完結します。

技術的には「Vector Bucket」という新しいバケットタイプを使用し、その中に「Vector Index」を作成して「Vectors」を格納する階層構造になっています。

GA版で大幅にスケールアップ

2025年12月2日のGA版では、プレビュー版から大幅に制限が緩和されました。

1インデックスあたり最大20億ベクトル
1バケットあたり最大10,000インデックス
次元数は1〜4,096（Titan、OpenAI、Cohereなど主要モデルに対応）
書き込みスループット最大1,000 TPS
Top-K制限は100件（プレビュー時の30件から増加）

20億ベクトルは、ほとんどのエンタープライズユースケースで十分な容量です。しかも10,000インデックスまで作れるので、マルチテナントRAG（顧客ごとにインデックスを分離）にも対応できます。

実際に使ってみる

boto3を使った実装はこんな感じです。

import boto3

client = boto3.client('s3vectors')

# ベクトルを登録
response = client.put_vectors(
    vectorBucketName='my-rag-bucket',
    indexName='knowledge-base-v1',
    vectors=[
        {
            'id': 'doc-001-chunk-01',
            'vector': {'float32': [0.12, -0.45, 0.88, ...]},  # 最大4096次元
            'metadata': {
                'source': 'manual.pdf',       # フィルタリング用（最大2KB）
                'category': 'technical',
                'raw_text': 'S3 Vectorsは...' # 非フィルタリング用（最大38KB）
            }
        }
    ]
)

ポイントはmetadataの使い方。フィルタリングに使うフィールド（2KB制限）とは別に、非フィルタリング用フィールド（38KB制限）があるので、チャンク本文をそのままメタデータに入れられます。

これにより、検索結果を表示するときに「S3からテキストファイルを別途取得する」というオーバーヘッドを削減できます。

検索もシンプル

セマンティック検索のコードも直感的です。

response = client.query_vectors(
    vectorBucketName='my-rag-bucket',
    indexName='knowledge-base-v1',
    queryVector={'float32': [0.15, -0.41, ...]},
    topK=10,
    returnMetadata=True,  # RAGでは必須
    filter={
        'and': [
            {'equals': {'key': 'category', 'value': 'technical'}},
            {'greaterThan': {'key': 'year', 'value': 2024}}
        ]
    }
)

# RAGのコンテキスト生成
context = [v['metadata']['raw_text'] for v in response['vectors']]