Aurora PostgreSQLがApache IcebergおよびParquet形式のデータレイクデータを直接クエリ可能に

Amazon Aurora PostgreSQLにおいて、Amazon S3やAWS Glue Data Catalogに格納されたApache IcebergおよびParquet形式のデータを、ETLパイプラインやデータの複製なしで直接クエリできる機能が追加されました。この機能は、Aurora PostgreSQL 17.11、18.6以降のバージョンで利用可能です。クエリ実行時には、PostgreSQLに組み込まれた高パフォーマンスなDuckDBエンジンが使用されます。

🛠️ エンジニア視点での考察

🚀 Problem/Solution

従来のデータレイク（S3上のIceberg/Parquet）をAuroraで利用する場合、データをAuroraへコピーするためのETLパイプラインの構築・運用が不可欠であり、コストとエンジニアリング工数の増大が課題でした。今回のアップデートにより、DuckDBエンジンを内蔵することで、外部テーブル（Foreign Tables）として直接参照可能になり、**「データの移動なしで分析用データにアクセスする」**という理想的な構成が実現します。

🌏 Regional Availability

リサーチの結果、東京（ap-northeast-1）および大阪（ap-northeast-3）リージョンにおいて、本機能は利用可能であることが確認されています。商用リージョン全体で提供開始されており、日本のIT現場でもすぐに導入検討が可能です。

💡 Practical Advice

• コスト面: 本機能の利用に追加料金はかかりません。追加のETLコストを削減できる大きなメリットがあります。
• パフォーマンス: 低レイテンシが求められるワークロードに対しては、標準的なSQLを用いてIceberg/ParquetデータをAuroraのネイティブテーブルへ**マテリアライズ（実体化）**することが推奨されています。これにより、分析用データの鮮度とクエリ速度のバランスを最適化できます。

🔍 Next Action

まずは、Aurora PostgreSQL 17.11 / 18.6 以降のインスタンスを立ち上げ、S3上のParquetファイルを外部テーブルとして定義し、簡単なSELECT文でクエリが可能な動作を確認することから始めるのが良いでしょう。

📚 Reference

• AWS公式ブログ: Amazon Aurora PostgreSQL now supports direct querying of Apache Iceberg and Parquet data
• AWS公式ドキュメント: Amazon RDS User Guide - Query Iceberg and Parquet data