Amazon EMR 7.14 リリース：Apache Spark 3.5.8 および Iceberg 1.10.1 へのアップグレード

Amazon EMR 7.14 がリリースされました。本リリースでは、Apache Spark 3.5.8 および Apache Iceberg 1.10.1 へのアップグレードが含まれます。また、Amazon EMR on EKS での Spark Connect エンドポイントおよび IPv6 サポート、Amazon EMR Serverless における Spark ジョブのストレージ制限の拡張（200 GiB から 1 TiB へ）、Apache Iceberg マテリアライズドビューの更新高速化などの新機能が追加されました。

今回のアップデートの注目ポイント

今回のリリースは、データレイクのパフォーマンス向上と、EKS/Serverless 環境での柔軟性拡大に重点が置かれています。

🛠 解決される課題と技術的メリット

• Apache Iceberg の更新コスト削減: これまで更新（Update）や削除（Delete）が頻繁に発生するテーブルでは、マテリアライズドビューの更新に多大なリソースを消費していましたが、**CDC（Change Data Capture）**の活用により、変更があったデータファイルのみを読み取ることで高速なリフレッシュが可能になりました。
• Serverless での大規模シャッフル対応: Amazon EMR Serverless のストレージ制限が 1 TiB まで引き上げられたことで、大規模なジョブにおけるシャッフルデータの容量不足問題が解消されます。
• EKS 環境の高度化: Spark Connect のサポートにより、トークンベースの認証を用いたインタラクティブなセッションが容易になり、IPv6 環境への対応も進みました。

🇯🇵 日本国内での利用状況

最新のリージョン状況を確認したところ、東京リージョン (ap-northeast-1) および 大阪リージョン (ap-northeast-3) の両方で Amazon EMR 7.14 が利用可能です。国内のプロジェクトでもスムーズに導入検討が進められる状況にあります。

💡 運用上のアドバイス

• アップグレードの検証: Apache Spark や Iceberg のバージョンアップが含まれるため、既存のジョブやクエリの互換性を事前に検証することを強く推奨します。
• コスト最適化: Iceberg のマテリアライズドビュー更新が高速化されることで、計算リソースの消費を抑えられる可能性があります。既存の更新ジョブのコスト推移を比較してみてください。

✅ 次のアクション

まずは、開発環境のクラスターを 7.14 にアップグレードし、特に Apache Iceberg を利用したワークロードの実行速度と、Serverless でのシャッフル容量の挙動を確認することから始めるのが良いでしょう。

参照ドキュメント: Amazon EMR 7.14 Release Guide