Amazon OpenSearch Serverless が S3 からのインテリジェントなデータ取り込みをサポート

Amazon OpenSearch Serverless の次世代タイムシリーズ（時系列）コレクションにおいて、Amazon S3 からのログやイベントデータの「intelligent ingestion（インテリジェント・インジェスチョン）」機能が導入されました。この機能により、インジェスチョン・パイプライン（AWS Glue や Lambda 等）を構築・運用することなく、S3 上の JSON、NDJSON、JSON 配列形式のデータを直接、自動的にパースしてインデックス作成まで行えます。一回限りのロード（Ingestion job）や、S3 への新規オブジェクト到着に伴う継続的な同期（Ingestion stream）が可能です。東京リージョン（ap-northeast-1）でも利用可能です。

運用負荷の大幅な軽減が期待できます

これまで S3 に蓄積された膨大なログアーカイブを OpenSearch で分析するためには、Kinesis Data Firehose や Lambda を組み合わせたインジェスチョン・パイプラインの設計・構築・運用が不可欠でした。今回のアップデートにより、**「パイプラインの管理不要」**という大きなメリットが得られます。

💡 技術的なポイントと注意点

• タイムスタンプが必須: データの階層化（Hot/Warm tier）や保持期間（Retention）の制御は「時間」に基づいているため、各ドキュメントに有効なタイムスタンプ・フィールドが含まれていることが絶対条件です。これがないとデータが拒否されるため、ログのフォーマット確認が最優先です。
• リージョン状況: リサーチの結果、東京リージョン（ap-northeast-1）では利用可能であることが確認されています。一方で、大阪リージョン（ap-northeast-3）については、本機能のサポート対象として明記されていません。

🚀 次のアクション

まずは、既存の S3 ログバケットのデータ形式（JSON/NDJSON）を確認し、OpenSearch Serverless コンソールの「Ingestion」タブから、少量のデータでインジェスチョン・ジョブを試行してみることをおすすめします。コスト面では、アクティブな処理に対してのみ課金されるため、バッチ処理的な利用も検討の余地があります。

参照ドキュメント: Amazon OpenSearch Service intelligent ingestion documentation / Amazon OpenSearch Serverless documentation