AWS Parallel Computing Service (PCS) がカスタムGRES、ハードウェアトポロジー、MIGに対応

AWS Parallel Computing Service (AWS PCS) において、Slurm バージョン 26.05 のサポートが開始されました。これにより、カスタム Generic Resource (GRES) 設定、ハードウェアトポロジーの認識、および NVIDIA Multi-Instance GPU (MIG) の利用が可能になります。ハードウェアトポロジーの自動構成により、NUMA ドメインを Slurm ソケットとして扱うほか、GPU コアのアフィニティや GPU 間インターコネクトの自動検出が行われ、HPC や機械学習ワークロードにおけるタスク配置の最適化が実現します。

🚀 HPC/ML ワークロードの効率が大幅に向上

今回のアップデートは、Slurm を利用した大規模計算を行うエンジニアにとって非常に大きな改善です。

🛠️ 解決される課題と技術的メリット

これまで HPC や機械学習のジョブでは、「計算リソースの配置の不一致」がパフォーマンス低下の大きな要因でした。例えば、割り当てられた GPU から物理的に遠い CPU コアでプロセスが動いてしまうといった問題です。

今回のアップデートにより、以下の最適化が自動または柔軟に設定可能になります：

• トポロジーの最適化: NUMA ドメインをソケットとして認識し、MPI ジョブのランク配置や GPU ローカルなコアへのタスク割り当てを最適化。
• リソースの細分化 (MIG): 1つの物理 GPU を複数の独立したインスタンスに分割し、Slurm が個別のリソースとしてスケジュール可能に。
• 柔軟な構成: カスタム GRES や L3 キャッシュドメインの利用により、特殊なアクセラレータ環境にも対応。

🇯🇵 日本国内での利用状況

最新のリージョン状況を確認したところ、東京 (ap-northeast-1) および大阪 (ap-northeast-3) の両リージョンにおいて AWS PCS が利用可能であることを確認しました。国内の HPC 環境構築においても、すぐにこの新機能を活用できます。

💡 運用上のアドバイス

• パフォーマンス検証: 既存の MPI ジョブや ML トレーニングジョブにおいて、トポロジー認識を有効にした際のスループット向上を必ずベンチマークしてください。
• コスト最適化: MIG を活用することで、GPU リソースの利用率を高め、コスト効率の良いクラスター運用が可能になります。

✅ 次のアクション

まずは、現在のワークロードが Slurm 26.05 のトポロジー認識によってどの程度パフォーマンスが改善するか、検証環境でテストすることをお勧めします。

参照ドキュメント: AWS PCS User Guide (Configuring custom GRES settings, Configuring hardware topology, Configuring Multi-Instance GPU (MIG)) https://docs.aws.amazon.com/pcs/latest/userguide/index.html