Amazon EMR on EC2 が Spark Connect をサポートし、インタラクティブな Spark セッションを実現

Amazon EMR on EC2 が Spark Connect をサポートしました。これにより、データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studio や Jupyter、Visual Studio Code などの好みの IDE で、専用の EMR on EC2 クラスター上で動作するインタラクティブな Apache Spark セッションを構築・デバッグできます。本機能は AWS runtime for Apache Spark (emr-spark-8.0) 以降で利用可能であり、GovCloud および中国リージョンを除くすべての EMR 提供リージョンで利用可能です。

開発体験の劇的な改善

これまで EMR の開発サイクルは、ジョブの送信（Submit）とログ確認の繰り返しという重いサイクルも多かったですが、Spark Connect の導入で「書いては試す」というインタラクティブな開発スタイルが標準化されます。クライアントとドライバーを分離するアーキテクチャにより、ローカル IDE の利便性とクラスターの計算リソースをシームレスに統合できるのが最大のメリットです。

日本国内の利用状況（重要）

リサーチ結果に基づき、日本国内のリージョン状況は以下の通りです：

• 東京リージョン (ap-northeast-1): 全機能（独自の IDE および SageMaker Unified Studio 経由）が利用可能です。
• 大阪リージョン (ap-northeast-3): 独自の IDE 経由での利用は可能ですが、SageMaker Unified Studio は未サポートです。大阪リージョンで利用する場合は、VS Code や Jupyter などの自前環境から接続してください。

運用上の注意点とアドバイス

• ランタイムの確認: emr-spark-8.0 以降である必要があるため、既存クラスターのアップグレード計画を検討してください。
• コスト管理: インタラクティブセッションは永続的なコンテキストを保持するため、アイドル状態のクラスターがコストを消費し続けるリスクがあります。適切な自動停止設定やライフサイクル管理を徹底してください。
• オブザーバビリティ: Spark UI や History Server が引き続き利用可能であるため、パフォーマンスチューニングは従来通り詳細に行えます。

次のアクション

まずは、VS Code の PySpark 拡張機能などを用いて、ローカルから EMR クラスターへ接続し、データ探索の効率が変わるか検証することをお勧めします。

参考ドキュメント

• Interactive sessions with Spark Connect (Amazon EMR Management Guide)
• Amazon SageMaker Unified Studio Getting Started guide