SageMaker Unified Studio、AWS Glue 5.1対応でデータ処理が爆速進化！

Amazon SageMaker Unified StudioがAWS Glue 5.1をサポートし、Visual ETL、ノートブック、コードベースのデータ処理ジョブでApache Spark 3.5.6、Python 3.11、Scala 2.12.18を利用できるようになりました。Apache Iceberg、Apache Hudi、Delta Lakeの最新バージョンも利用可能です。

これは非常に良いアップデートですね。特に、Spark 3.5.6とPython 3.11の組み合わせは、パフォーマンス向上と最新ライブラリの利用に繋がります。Delta Lake 3.3.2やIceberg 1.10.0といった最新のオープンテーブルフォーマットに対応したことで、データレイクの運用がより柔軟になるでしょう。

東京（ap-northeast-1）と大阪（ap-northeast-3）での可用性について確認しましたが、AWS公式の裏取りとドキュメントを精査した結果、東京リージョンは利用可能であることが確認できました。大阪リージョンについては、可用性リストには含まれていますが、公式ドキュメントに明示的な記載がないため、マネジメントコンソールでの確認、またはAWSサポートへの問い合わせによる検証が必要となります。

実運用上のアドバイスとしては、既存のGlueジョブをGlue 5.1に移行する際は、互換性を事前に確認することをお勧めします。特に、カスタムライブラリを使用している場合は注意が必要です。また、Sparkのバージョンアップに伴い、パフォーマンスチューニングが必要になる可能性も考慮しておきましょう。

まずは、東京リージョンでGlue 5.1を利用した簡単なジョブを実行し、パフォーマンスを比較してみるのが良いでしょう。その後、必要に応じて大阪リージョンでの検証を進めてください。

参考資料：

• Amazon SageMaker Unified Studio ドキュメント: https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/smus-creating-jobs.html
• AWS Glue リリースノート: https://docs.aws.amazon.com/glue/latest/dg/release-notes.html