Amazon EMR on EKS で Spark Connect をサポート、IDE や SageMaker Unified Studio からのインタラクティブ開発が可能に

Amazon EMR on EKS において、Spark Connect を利用したインタラクティブな Apache Spark セッションのサポートが開始されました。これにより、データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studio のマネージドノートブックや、Jupyter、Visual Studio Code などのローカル IDE から、既存の Amazon EKS クラスター上で動作する Spark アプリケーションの開発・デバッグが可能になります。対応する EMR release 7.14 (Apache Spark 3.5) および emr-spark-8.1.0 (Apache Spark 4.1) が、すべての AWS Commercial Regions で提供開始となりました。

開発体験の劇的な向上

これまでの EMR on EKS での Spark 開発は、ジョブとして投入して結果を待つバッチ処理が中心でしたが、Spark Connect の引入- Spark ドライバーとクライアントを分離するアーキテクチャにより、ローカルの Python コード実行とリモートの Spark 操作を組み合わせることが可能です。これにより、ad hoc なデータ探索や、本番環境へのデプロイ前の PySpark ジョブの段階的な開発・デバッグが非常にスムーズになります。

日本国内リージョンの利用状況

リサーチ結果に基づくと、リージョン状況は以下の通りです：

• 東京リージョン (ap-northeast-1): Amazon EMR on EKS (Spark Connect) は利用可能です。また、Amazon SageMaker Unified Studio を介した利用もサポートされています。
• 大阪リージョン (ap-northeast-3): Amazon EMR on EKS (Spark Connect) は「すべての AWS Commercial Regions」に含まれるため利用可能と推測されますが、Amazon SageMaker Unified Studio のサポートリージョン一覧には記載がありません。そのため、大阪リージョンで SageMaker Unified Studio を介したインタラクティブセッションを利用する場合は、事前確認が必要です。

運用・セキュリティ上のアドバイス

• セキュリティ: 各セッションは仮想クラスター上の Pod として実行され、AWS IAM 実行ロールによって保護されます。既存の EKS クラスターのネットワークポリシーや IAM ロール管理と整合性を保ちながら、利用を開始できます。
• コスト管理: インタラクティブなセッションは、Pod が常駐する性質上、待ち時間や開発者の利用状況によっては、リソースを消費し続けます。開発環境として利用する場合、適切な Pod のライフサイクル管理やリソース制限（Resource Quotas）の設定を推奨します。

次のアクション

まずは、ローカルの VS Code や Jupyter を使って、既存の EKS クラスターに対して Spark Connect を利用した接続テストを行い、開発フローの開発効率が向上するか検証を進めるのが良いでしょう。

参照ドキュメント: Spark Connect on Amazon EMR on EKS documentation Amazon SageMaker Unified Studio Getting Started guide