AWS GlueでApache Sparkジョブの自動バージョンアップグレード機能が提供開始

AWS Glueにおいて、Apache Sparkジョブのランタイムバージョン設定に「Auto」オプションが追加されました。これにより、最新のAWS Glueランタイムへのアップグレードが手動の調整なしで自動的に行われます。この機能では、互換性評価、ユーザーの同意、および出力プロファイル（スキーマ、データ量、レイテンシ等）の検証という3段階のガードレールが設けられており、デグレードを防ぎつつ、最新のセキュリティパッチやパフォーマンス改善、Apache Icebergなどの最新テーブルフォーマットへの対応を自動的に適用できます。コード修正が必要なジョブも、現在のバージョンで安全に実行され続け、修正案の分析結果が提供されます。

運用上のメリットと注意点

これまでSparkジョブのランタイムアップグレードは、**「壊れるのが怖くて後回しにする」**という運用上の大きな課題がありました。特に大規模な環境では、ジョブ所有者が分散しているため、個別のテストと調整に数週間かかることも珍しくありません。今回の「Auto」設定により、プラットフォームチームは個別の調整コストを大幅に削減しつつ、環境全体の標準化を推進できます。

日本国内での利用可能性

リサーチの結果、本機能は東京リージョンおよび大阪リージョンを含むすべてのAWS商用リージョンで利用可能です。国内の商用環境ですぐに導入を検討いただけます。

実務的なアドバイス

• 検証パイプラインの信頼性: AWS側で出力プロファイルの検証が行われますが、ビジネスロジック上の微細な変更が許容されるかは、依然としてユーザー側での確認が必要です。
• 段階的な導入: 全ジョブ一斉に「Auto」にするのではなく、まずは重要度の低いジョブから適用し、自動アップグレードの挙動を確認することを推奨します。
• 修正案の活用: アップグレード不可と判定されたジョブに対しては、提供される分析結果やApache Spark upgrade agentを活用し、効率的にコード修正を行ってください。

次のアクション

1. AWS Glue Studio または CLI/API から、テスト用ジョブのバージョン設定を「Auto」に変更して挙動を確認する。
2. AWS Glue skill を利用して、複数ジョブの一括更新を検討する。

参考ドキュメント

• AWS Glue documentation: https://docs.aws.amazon.com/glue/latest/dg/auto-version-upgrades.html