Amazon ECSがNVIDIA MPSによるGPU共有をサポート、単一GPUでの複数タスク実行が可能に

🚀 GPUリソースの「もったいない」を解消する強力なアップデート

これまで、小規模な推論モデルや埋め込み（embedding）生成、シミュレーションなどのワークロードでは、GPUの計算能力をフルに使い切れないことが多く、リソースの利用率低下とコスト増が課題でした。

今回の NVIDIA MPS サポート により、以下のメリットが得られます：

コスト最適化: 1つのGPUインスタンスに複数のタスクを詰め込める（Pack）ため、インフラコストを大幅に削減可能。
コード変更不要: アプリケーション側を書き換えることなく、ECSのタスク定義レベルでリソース制御が可能。
運用の自動化: 特に Amazon ECS Managed Instances では、MPSデーモンの状態をECSが監視し、異常時にはインスタンスの自動置換とタスクの再配置を行うため、可用性が高まります。

最新のリージョン状況を確認したところ、東京リージョン (ap-northeast-1) および 大阪リージョン (ap-northeast-3) の両方で利用可能です。商用リージョン全体でサポートされているため、国内のプロジェクトでも即座に導入検討が進められます。

リソース設計の重要性: コンテナごとに「必要なGPUメモリ」を正確に定義する必要があります。過剰な割り当ては、せっかくの共有機能による集約効率を下げてしまうため、プロファイリングに基づいた適切な値設定が鍵となります。
Managed Instances の活用: 運用負荷を下げたい場合は、MPSデーモンの監視・リカバリを自動で行ってくれる Managed Instances の利用を優先的に検討するのが定石です。

まずは、現在稼働しているGPUタスクの中で、GPU利用率が低い（アイドル時間が長い）ものをリストアップしましょう。それらのタスクを、新しいGPU共有戦略を用いてタスク定義を更新し、検証環境で集約効率とパフォーマンスのバランスを確認することをお勧めします。

Reference: Amazon ECS GPU sharing documentation https://docs.aws.amazon.com/AmazonECS/latest/developerguide/ecs-gpu-sharing.html