Amazon RedshiftがApache Iceberg v3テーブルに対応

Amazon Redshiftがデータレイク内のApache Iceberg v3テーブルの読み書きをサポート開始。v3では、デフォルト列値、行ラインナップ（疑似列）、削除ベクトルの3機能が追加される。Gravitonベースのプロビジョンドクラスターおよびサーバーレスクラスターで利用可能。

解決する課題とメリット

• スキーマ進化の簡素化: デフォルト列値により、既存テーブルに新しい列を追加する際に初期値を自動適用可能。
• 増分処理の高効率化: 行ラインナップ（疑似列）を活用して、変更された行のみを処理するCDC（Change Data Capture）ワークフローを構築可能。
• 高頻度更新/削除のパフォーマンス向上: 削除ベクトルにより、v2の位置ベース削除ファイルが圧縮ビットマップに置き換わり、コンプライアンス駆動のレコード削除などのワークロードで読み書きが高速化。

リージョン状況（日本）

• 東京（ap-northeast-1）: AWS公式の裏取りでは明示的な記載なし。Amazon Redshift管理コンソールまたはAWSサポートで確認が必要。
• 大阪（ap-northeast-3）: 上記と同様、明示的な記載なし。確認が必要。

実務上のアドバイス

• アップグレードパス: 既存のv2テーブルはALTER TABLE ... SET TABLE PROPERTIES ('format-version' = '3')でその場でアップグレード可能。新規テーブルはCREATE TABLE ... USING ICEBERG TABLE PROPERTIES ('format-version' = '3')で作成。
• パフォーマンス検証: 削除ベクトルの効果は、高頻度で更新/削除が発生するテーブルで特に顕著。テスト環境でベンチマークを実施することを推奨。
• 互換性: v3テーブルはGravitonベースのクラスターでのみサポート。x86クラスターでは利用不可のため、事前のアーキテクチャ確認が必須。

次に行うべきこと

1. テスト環境でv3テーブルを作成し、既存のETLパイプラインとの互換性を確認。
2. CDCワークフローのプロトタイプを構築し、行ラインナップの動作を検証。
3. リージョンのサポート状況をAWSサポートに問い合わせ、本番環境への展開計画を立てる。

参考ドキュメント

• Apache Iceberg v3機能 （Amazon Redshift ドキュメント）