AWS Glue 5.1 が AWS European Sovereign Cloud に対応、Apache Iceberg v3.0 や書き込み時の Lake Formation 制御をサポート

AWS Glue 5.1 が AWS European Sovereign Cloud Region で利用可能になりました。本リリースでは、Apache Spark 3.5.6、Python 3.11、Scala 2.12.18 へのコアエンジンのアップグレードが行われ、Apache Hudi、Apache Iceberg、Delta Lake の各ライブラリも最新版へ更新されています。特に Apache Iceberg v3.0 のサポートにより、デフォルト列値やデリーションベクトルなどの新機能が追加されました。また、AWS Lake Formation によるきめ細やかなアクセス制御が、Spark DataFrames および Spark SQL における書き込み操作（DML/DDL）にも拡張され、セキュリティが大幅に強化されています。

🛠️ エンジニア視点の考察

今回のアップデートは、データレイクの運用における「セキュリティ」と「パフォーマンス」の両面で非常に大きな進展があります。

💡 技術的な改善点

• 書き込み時のアクセス制御: これまで Lake Formation のきめ細やかな制御は読み取り操作に限定されていましたが、書き込み（DML/DDL）への拡張は、データガバナンスを厳格に運用する現場にとって待望の機能です。不適切なデータ更新を防ぐ仕組みがより強固になります。
• Apache Iceberg v3.0 対応: デリーションベクトル（Deletion vectors）のサポートにより、Merge-on-Read (MoR) テーブルのパフォーマンス向上が期待できます。大量のデータの更新・削除が発生するワークロードにおいて、書き込みコストの最適化に寄与するでしょう。

🇯🇵 日本国内の利用状況

リサーチ結果に基づくと、AWS Glue 5.1 は東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) を含むすべての AWS 商用リージョンで利用可能です。国内のデータ基盤構築においても、最新のエンジンとセキュリティ機能の恩恵をすぐに享受できます。

🚀 実務へのアドバイスと次のアクション

• 移行の検討: Spark 3.5.6 や Python 3.11 へのアップグレードに伴い、既存のジョブが新しいエンジンで正しく動作するか、まずは開発環境での検証を推奨します。特にライブラリのバージョンアップに伴う挙動の変化に注意してください。
• セキュリティ設定の再確認: Lake Formation の書き込み制御が利用可能になったことで、権限管理の設計を見直すチャンスです。既存の権限モデルがよりセラーブル（セキュア）なものにアップデートできる可能性があります。

参照ドキュメント: AWS Glue リリースノート (https://docs.aws.amazon.com/glue/latest/dg/release-notes.html)