【革命】Amazon Redshift、Apache Icebergへの「直接書き込み」がついに解禁！DML操作でデータレイクが完全に動く！

Amazon Redshiftは、Apache Icebergテーブルに対して、行レベルのUPDATE、DELETE、およびMERGE（UPSERT）操作をサポートしました。これにより、Redshiftから外部エンジンを介さずに直接Icebergテーブルのデータを操作できるようになります。本機能は、RedshiftプロビジョニングクラスターおよびRedshift Serverlessの両方で利用可能で、東京・大阪を含むすべてのAWSリージョンで提供されています。

🚀 エンジニアの「面倒くさい」が解消される瞬間

これまでIcebergテーブルのデータを一行だけ更新したい、あるいは特定の行を消したいとき、Redshiftから直接行うことは不可能でした。わざわざAmazon EMRやSparkなどの外部エンジンを立ち上げて、ジョブを走らせて、パイプラインを組むという、非常に手間のかかる工程が必要だったんです。これからは、RedshiftのSQLインターフェースだけで完結します。

🗺️ 日本国内の利用環境について

最新のリージョン状況を確認しましたが、東京リージョン (ap-northeast-1) および 大阪リージョン (ap-northeast-3) の両方で、問題なく本機能が利用可能です！日本のデータエンジニアリング現場でも、すぐに導入を検討できる環境が整っています。

🛠️ 運用の現場で気を付けるべきポイント

単に「便利になった」で済ませず、以下の運用面を意識しましょう：

• Icebergのバージョン: Redshiftから書き込む場合は、テーブルがIceberg v2かつParquet形式である必要があります。
• コスト管理: 頻繁なDML操作を行うと、S3のリクエストコストやメタデータファイルの肥大化を招く恐れがあります。バッチ処理でまとめて更新するなどの設計が重要です。
• ガバナンス: AWS Lake Formationによる権限管理がサポートされているため、セキュリティ要件の厳しいプロジェクトでは、Lake Formationでの一元管理を検討してください。

🏃‍♂️ 次にやるべきアクション

まずは、既存のIcebergテーブルをIceberg v2として作成しているか確認し、RedshiftからMERGE文を叩いてみて、データの整合性が取れるかテストすることをお勧めします！

参照元: Amazon Redshift Database Developer Guide (Writing to Apache Iceberg tables) https://docs.aws.amazon.com/redshift/latest/dg/iceberg-writes.html