Amazon OpenSearch Serverlessの新機能「intelligent ingestion」が登場：S3上のログとドキュメントを自動で検索可能に

Amazon OpenSearch Serverless (NextGen) において、Amazon S3に保存されたログやドキュメントを検索可能なコンテンツへ自動変換するフルマネージド機能「intelligent ingestion」が導入されました。この機能は、データ型の自動検出、ドキュメントのパース、画像のテキスト記述（Vision-Language Modelを使用）、テキストのチャンク分割、テキストのベクトル埋め込み生成、およびインデックス作成までの一連のプロセスを自動化します。サポートされる形式は、構造化データ（JSON, NDJSON, JSON array）および非構造化データ（PDF, Word, plain text, Markdown）です。一回限りのロード（Ingestion Jobs）と、S3への新規オブジェクト到着に合わせた同期（Ingestion Streams）の2つのモードを提供します。

🛠️ RAGやログ分析のパイプライン構築が劇的に簡素化される

これまで、S3上のドキュメントをベクトル検索（RAG）に活用したり、ログをOpenSearchに集約したりする場合、AWS GlueやLambda、Amazon Bedrockなどを組み合わせた複雑なデータパイプラインを自前で構築・管理する必要がありました。今回の「intelligent ingestion」は、その**「インフラ管理とパイプラインコードの記述」という最大の痛みを解決**してくれます。

🔍 注目すべきポイント

• 非構造化データの高度な処理: PDFやWordのパース時に見出しや表の構造を維持できるため、セマンティック検索の精度向上に直結します。
• マルチモーダル対応: Vision-Language Modelによる画像記述の自動生成により、図表や写真を含むドキュメントも検索対象に含められる点は非常に強力です。

🇯🇵 日本国内リージョンの状況

公式発表では「7つのAWSリージョンで利用可能」とされていますが、東京リージョン（ap-northeast-1）および大阪リージョン（ap-northeast-3）での利用可否については明記されていません。導入を検討される際は、まず対象リージョンでのコンソール確認が必要です。

💡 運用上のアドバイス

• コスト管理: アクティブな処理に対してのみ課金される仕組みですが、、大量のデータを一括でインジェクションする場合、コストの急増に注意してください。まずは小規模なデータセットでテストすることをお勧めします。
• セキュリティ: S3バケットは同一アカウントだけでなく、別アカウントのバケットもソースとして指定可能です。クロスアカウントでのデータ取り込みを行う場合は、IAMポリシーやバケットポリシーの適切な設定を確認してください。

🚀 次のアクション

1. Amazon OpenSearch Service コンソールを開き、対象のコレクションで「Ingestion」タブを確認する。
2. 少量のPDFやJSONログをS3に配置し、インジェクションジョブを実行して、インデックスの検索精度を検証する。

Reference: Amazon OpenSearch Service Developer Guide - Intelligent ingestion