Amazon EMRがApache Spark 4.1ベースの長期サポート（LTS）を導入

Amazon EMRは、emr-spark-8.1.0ランタイム（Apache Spark 4.1ベース）より、Long Term Support (LTS) を導入しました。LTSリリースは、指定されたAWSランタイムバージョンに対し36ヶ月間のサポートを提供します。サポート内容は、重大なセキュリティ脆弱性（Critical/High）、バグ、およびデータ破損に関する修正が含まれます。また、本リリースではApache Iceberg v3のフルサポート、カタログ参照の改善（Amazon S3 Tablesを含む）、Amazon S3 TablesやDelta Lake、Apache Hudiの自動検出機能、きめ細かなアクセス制御の拡張、Amazon EMR on EKSにおけるSpark Connectのトークンベース認証サポートが追加されました。emr-spark-8.1.0は、Amazon EMR on EC2、Amazon EMR on EKS、Amazon EMR Serverlessのすべてにおいて、Amazon EMRが利用可能なすべてのAWSリージョンで提供されます。

運用負荷の軽減とデータレイクの進化

今回のアップデートは、プロダクション環境でSparkを利用しているエンジニアにとって非常に大きなメリットがあります。これまでは、Sparkのバージョンアップに伴うコードの修正や検証作業が頻繁に発生し、運用コストが高くなりがちでした。LTS（長期サポート）の導入により、36ヶ月間という長期的な安定稼働が保証されるため、**「アップグレードのスケジュールを自社でコントロールできる」**という点が最大の強みです。

日本国内リージョンの状況

リサーチの結果、東京（ap-northeast-1）および大阪（ap-northeast-3）の両リージョンで利用可能であることが確認されています。国内のデータ基盤構築において、安心して最新のランタイムを選択できます。

技術的な注目ポイント

1. Apache Iceberg v3 のフルサポート: 地理空間データや高精度タイムスタンプ、スキーマ進化の強化により、データレイクの柔軟性が向上しています。
2. カタログ管理の簡素化: Amazon S3 Tablesやクロスアカウントのカタログを名前で参照でき、さらにIceberg/Delta/Hudiを自動検出するため、設定ファイルの肥大化を防げます。
3. セキュリティの強化: 列レベル・行レベルのアクセス制御が拡張されたことで、より厳格なガバナンスが必要な環境でも、より広範なジョブに対して権限管理を適用しやすくなりました。

実務へのアドバイスと次のステップ

• 移行の検討: 既存のアプリケーションを移行する場合は、AWSが提供する「Apache Spark Upgrade Agent for Amazon EMR」を活用して、スムーズなアップグレードを試みるのが良いでしょう。
• 検証の推奨: 特にIceberg v3の機能を利用する場合や、カタログ参照の挙動が変わる部分については、まずは開発環境でテストを行い、スキーマ進化やアクセス制御の挙動を確認することをお勧めします。

参照ドキュメント:

• Amazon EMR emr-spark-8.1.0 release notes
• https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark810-release.html