Amazon SageMaker HyperPodがRayサポートを強化、開発・運用負荷を軽減

Amazon SageMaker HyperPodが、オープンソースのAIワークロードスケーリングフレームワーク「Ray」に対する強化サポートを開始しました。主な機能として、以下が提供されます。

1. マネージド開発環境: Amazon SageMaker StudioのWebインターフェースからRayクラスターの作成・編集・監視が可能。JupyterLabやCode Editorを接続し、インタラクティブな開発を実現。
2. オブザーバビリティ: Amazon Managed Service for Prometheusと連携したGrafanaダッシュボードを自動プロビジョニング。Rayダッシュボードへのワンクリックアクセスも提供。
3. レジリエントなトレーニング: ノード自動復旧やハングジョブ検出により、GPU故障やジョブ停止に対応。階層型チェックポインティングで実効スループットを最大化。
4. 加速された推論: Ray Serveを利用した推論で、階層型KVキャッシュによりTime to First Token (TTFT)を削減。SageMaker JumpStartモデルの直接デプロイも可能。

オープンソースのRayコードは変更不要で、Amazon EKSでオーケストレートされるHyperPodクラスターで利用可能です。対応リージョンは、SageMaker HyperPodが提供されているAWSリージョンです。

エンジニア視点での考察・アドバイス

解決された技術的課題

• Kubernetes上でのRay運用の負荷: 従来、RayをKubernetesで本番運用する際は、ジョブのハングやGPU利用率の低下、複雑なオブザーバビリティ構築が課題でした。HyperPodの強化サポートにより、これらの運用負荷が大幅に軽減されます。
• 開発環境の制約: 従来はコード変更のたびにジョブを再提出する必要があり、kubectlの習熟も求められました。HyperPodでは、インタラクティブな開発環境が提供され、クラスター規模のリソースを即座にテスト可能です。

日本のリージョン状況 (東京・大阪)

• 東京 (ap-northeast-1): 利用可能 SageMaker HyperPod自体が提供されているため、Rayの強化サポートも利用可能です。
• 大阪 (ap-northeast-3): 計画中 現時点ではHyperPod自体が提供されていないため、Rayサポートも利用不可。今後のアップデートに注目。

実務での注意点とアドバイス

• コスト効率の向上: 階層型チェックポインティングやタスクガバナンスにより、GPUの有効活用が可能。長時間のトレーニングジョブでも、障害時の復旧が迅速化され、無駄なコストを削減できます。
• セキュリティ: Rayダッシュボードへのアクセスはセキュアなブラウザリンク経由で提供されるため、追加のVPNやSSH設定は不要。ただし、IAMポリシーやVPC設定は適切に構成しましょう。
• 移行の容易さ: オープンソースのRayコードを変更せずに利用可能。既存のMLプラットフォームに個別機能を統合することも可能です。

次のアクション

1. 東京リージョンで試す: SageMaker StudioからRayクラスターを作成し、インタラクティブな開発環境を体験してみましょう。
2. オブザーバビリティの確認: GrafanaダッシュボードやRayダッシュボードを活用し、ジョブの可視化とトラブルシューティングを試してください。
3. 推論のパフォーマンステスト: Ray Serveを利用した推論で、階層型KVキャッシュによるTTFTの改善効果を検証しましょう。

参考資料

• Amazon SageMaker HyperPod ドキュメント (Rayサポート)
• インタラクティブデモ