【爆速開発】AWS Glue が Apache Spark Connect 対応！ VS Code から Glue のサーバーレス Spark を直接操る時代へ

AWS Glue Interactive Sessions が Apache Spark Connect をサポート。これにより、クライアント側と Spark 実行環境を分離するシンクライアント構成が可能となり、VS Code や Jupyter、Amazon SageMaker Unified Studio などの好みの IDE/ノートブック環境から、AWS Glue のサーバーレスインフラストラクチャを利用して Apache Spark アプリケーションの開発・実行ができるようになりました。

🚀 エンジニアに激震！「重いカーネル」からの解放

これまでの Glue Interactive Sessions は、SparkMagic のような重い依存関係をクライアント側に持たせたり、環境構築で苦労したりすることが多かったですよね。今回の Spark Connect 対応は、まさに**「開発体験の劇的な改善」**です。

🛠️ ここが凄い：技術的ブレイクスルー

Spark Connect は、gRPC と Apache Arrow を活用したデカップリング・アーキテクチャを採用しています。これにより、クライアント側は軽量な Python インタープリタだけで動作し、**「ローカルの VS Code でコードを書き、実行は Glue の強大なサーバーレスパワーを使う」**という理想的なワークフローが実現します。

🇯🇵 日本国内の利用状況

最新のリージョン状況を確認したところ、東京リージョン (ap-northeast-1) で問題なく利用可能です！大阪リージョンは現時点では未対応ですが、東京を使っているならすぐに試せます。

⚠️ 運用・移行時の注意点

ここがハマりどころです。以下の点に注意してください：

• Glue バージョン: 必ず Glue 5.1 以上 を使用すること。
• API の変更: 従来の Statement API は使えません。remote() API を使用してセッションに接続する必要があります。
• セキュリティ: 現時点では AWS Lake Formation によるきめ細やかなアクセス制御 (Fine-grained access control) は非対応 です。権限設計には注意が必要です。
• UI の制限: AWS Glue Studio 上では利用できません。開発には SageMaker Unified Studio か外部 IDE を推奨します。

📝 次にやるべきこと

1. まずは Glue 5.1 が利用可能か確認しましょう。
2. ローカルの Python 環境に PySpark を入れて、remote() API を使って東京リージョンの Glue セッションへ接続テストを行ってみてください。開発のスピード感が別次元になりますよ！

参照元: AWS Glue 公式ドキュメント Using Spark Connect with AWS Glue interactive sessions