AWS Glue 5.1、ついに33リージョン展開！Spark 3.5/Python 3.11でデータ処理を加速！

AWS Glue 5.1が新たに18のAWSリージョンで利用可能になりました。Apache Spark 3.5.6、Python 3.11、Scala 2.12.18へのアップグレードにより、パフォーマンスとセキュリティが向上しています。また、Apache Hudi、Apache Iceberg、Delta Lakeの最新バージョンに対応し、AWS Lake Formationとの連携も強化されました。

Glue 5.1のリリースは、データエンジニアリングの現場に大きなメリットをもたらしますね。特にSpark 3.5へのアップデートは、パフォーマンス改善に直結します。Python 3.11のサポートも、最新のライブラリを利用したい場合に重要です。

さて、日本のリージョンについてですが、最新のリージョン状況を確認したところ、東京（ap-northeast-1）と大阪（ap-northeast-3）の両方でGlue 5.1が利用可能であることがAWS公式の裏取りで確認できました。ただし、念のため、マネジメントコンソールやAWSサポートで再確認することをお勧めします。

今回のアップデートで注目すべきは、Lake Formationとの連携強化です。これまで読み取り操作のみだったアクセス制御が、書き込み操作にも拡張されたことで、よりきめ細やかなデータガバナンスが可能になります。HudiやDelta Lakeテーブルに対するフルテーブルアクセス制御も、セキュリティ面で非常に有効です。

まずは、既存のGlueジョブをGlue 5.1にアップグレードして、パフォーマンスの変化を検証してみるのが良いでしょう。特に、Spark SQLを使用している場合は、パフォーマンス改善が期待できます。また、Lake Formationと連携している場合は、書き込み操作に対するアクセス制御の設定も忘れずに行いましょう。

参考資料：AWS Glue Developer Guide - Release Notes: https://docs.aws.amazon.com/glue/latest/dg/release-notes.html