AWS Glue 6.0が30%の料金削減とIceberg v3サポートを一般提供開始

AWS Glue 6.0 が一般提供開始されました。主なアップデートは以下の通りです。

• 料金: 30%のコスト削減を実現。
• ランタイム: Apache Spark 4.1、Python 3.13、Scala 2.13へのアップグレード。
• データフォーマット: Apache Iceberg v3の完全サポート（VARIANTデータ型、削除ベクトル、空間データ型、柔軟なスキーマ進化など）、およびApache Hudi/Delta Lakeの最新バージョン対応。
• 開発効率: Spark Declarative Pipelines、Real-Time Modeストリーミング、ArrowネイティブPython UDFによるパフォーマンス向上。

提供リージョンは、すべてのAWSコマーシャルリージョン（東京・大阪を含む）、AWS GovCloud (US)、およびAWS中国リージョンです。

エンジニア視点での考察・アドバイス

解決された技術的課題

• 半構造化データの高速処理: Iceberg v3のVARIANTデータ型と自動シュレッディングにより、JSONやParquetなどの半構造化データの読み取りが高速化。従来のSTRING型での保存・解析に比べ、スキーマ進化やクエリパフォーマンスが大幅に改善。
• 行レベル更新のパフォーマンス: 削除ベクトルの導入により、大規模テーブルでの行レベル更新が高速化。CDC（Change Data Capture）やデータレイクのインプレース更新がより現実的に。
• 空間データ処理: geometry/geographyデータ型のサポートで、GISアプリケーションや位置情報分析がGlue上でネイティブに実行可能に。
• 開発生産性: Spark Declarative Pipelinesにより、繰り返しのオーケストレーションコードが不要に。Real-Time Modeストリーミングでサブ秒レイテンシを実現。

日本リージョンの提供状況

• 東京リージョン (ap-northeast-1) および 大阪リージョン (ap-northeast-3) で提供済み。AWS公式発表およびMCPツールによる確認済み。
• 注意点: 大阪リージョンは東京に比べ利用可能なサービスが限定される場合があるため、Glue 6.0の機能が全て利用可能か事前に確認推奨。

運用上の影響とアドバイス

• コスト削減: 30%の料金低減は大きなインパクト。特に大規模ETLやストリーミングジョブを運用している場合、Glue 6.0への移行で即時のコストメリットを享受可能。
• 移行時の注意:
  • 既存ジョブの互換性: Spark 4.1/Python 3.13/Scala 2.13へのアップグレードに伴い、古いライブラリやUDFの互換性を確認。
  • Spark Upgrade Agentの活用: AWS公式のSpark Upgrade Agentを使用して、移行時の非互換性を事前に検出。
  • Iceberg v3の検証: VARIANT型や削除ベクトルなどの新機能は、本番環境への適用前にテスト環境で性能・互換性を検証。
• セキュリティ: 新しいデータ型（例: VARIANT）を使用する場合、IAMポリシーやデータカタログの権限設定を見直し。

次のアクション

1. コスト試算: 現在のGlueジョブの使用量に基づき、Glue 6.0への移行によるコスト削減効果を試算。
2. テスト環境での検証: 新機能（Iceberg v3、Real-Time Modeなど）をテスト環境で試し、パフォーマンスや互換性を確認。
3. 移行計画: Spark Upgrade Agentを使用して既存ジョブの移行計画を立て、非互換性リスクを最小化。

参考ドキュメント

• AWS Glue 6.0移行ガイド
• AWS Glue 料金ページ