Kinesis Data Streamsがストリーミングテーブルを発表 Apache Iceberg形式でS3に自動配信

Amazon Kinesis Data Streamsに、KinesisストリームからAmazon S3 TablesへApache Iceberg形式でデータを継続的に配信するフルサーバーレス機能「ストリーミングテーブル」が追加された。カスタムパイプラインの構築・運用が不要になり、データ配信コストを最大50%削減。インテリジェントなインラインコンパクションにより小さなファイルの問題を解消し、クエリパフォーマンスを安定化させることで、下流のクエリコストを最大30%削減する。

解決する課題

ストリーミングデータをIcebergテーブルにリアルタイムで反映させるために、これまではカスタムパイプライン（例: AWS Glue、EMR、Lambda）を自前で構築・運用する必要があった。

• 小ファイル問題: 高頻度なストリーム取り込みで発生する多数の小さなParquetファイルが、クエリパフォーマンスを低下させ、ストレージコストも増加させていた。
• 運用オーバーヘッド: フォーマット変換、スケーリング、リトライ処理、信頼性確保など、インフラ管理の手間がかかっていた。

リージョン状況（日本向け）

最新のリージョン状況によると、東京（ap-northeast-1）および大阪（ap-northeast-3）を含む、Kinesis Data Streamsが利用可能なすべてのリージョンでストリーミングテーブルが利用可能。AWS公式発表でも明記されているため、日本リージョンでも即座に利用を開始できる。

実務上のメリット

• コスト: 成功したデータ配信分のみの従量課金（On Demand Advantage/Standardモード）。セットアップ料金や最低利用コミットメントなし。
• パフォーマンス: インラインコンパクションにより、データの新鮮さを損なうことなくクエリパフォーマンスを安定化。
• 運用: サーバーレスでスケーリング、リトライ、コンパクション、配信の信頼性を自動で処理。数分で配信を開始可能。

次のアクション

1. テスト: 既存のKinesisストリームからS3 Tables（Iceberg形式）への配信を、コンソールまたはAPIで数クリックで設定し、パフォーマンスを検証。
2. コスト比較: 現在のカスタムパイプラインのコストと比較し、ストリーミングテーブル導入による削減効果を確認。
3. クエリ最適化: 下流のAthena/Redshift Spectrumなどでクエリパフォーマンスを測定し、小ファイル問題の解消を確認。

参考ドキュメント

• Amazon Kinesis Data Streams ユーザーガイド
• 料金ページ