Amazon SageMaker HyperPodがSlurmクラスタのパーティションレベルでのトポロジ設定をサポート

Amazon SageMaker HyperPodにおいて、Slurmでオーケストレーションされたクラスタのネットワークトポロジをパーティション単位で設定できるようになりました。これにより、1つのクラスタ内でインスタンスタイプに合わせて「ツリートポロジ」と「ブロックトポロジ」を使い分けることが可能です。例えば、ml.p6e-gb200.36xlargeなどのUltraServerインスタンスにはブロックトポロジを、ml.p5.48xlargeなどの階層的インターコネクトを持つインスタンスにはツリートポロジを適用し、GPU間通信の高速化とNCCLコレクティブ操作の効率化を実現します。本機能はSlurm 25.11以降を搭載したHyperPodクラスタでデフォルトで有効となり、スケールアップ/ダウンやノード置換時も自動的に設定が維持されます。

解決される課題

分散トレーニングにおいて、GPU間の通信ボトルネックは学習速度に直結します。これまではクラスタ全体で一律のトポロジ設定を行う必要がありましたが、異なる世代や種類のGPUインスタンスを混在させて運用する場合、それぞれのハードウェア特性に最適化された通信経路を確保することが困難でした。

日本国内の利用状況

リサーチの結果、東京リージョン (ap-northeast-1) および大阪リージョン (ap-northeast-3) の両方で利用可能であることが確認されています。国内のAI開発チームは、最新のGPUインスタンスを導入してパフォーマンスを最大化させることが可能です。

実務上のアドバイス

本機能はデフォルトで有効であるため、追加の設定コストはかかりません。ただし、Slurm 25.11以降へのアップデートが必須条件となるため、既存のHyperPodクラスタを運用している場合は、バージョンの確認とアップデート計画を検討してください。

次のアクション

まずは、現在利用しているインスタンスタイプが「ツリー」か「ブロック」のどちらのトポロジに最適化されているかを確認し、パーティション構成を見直すことで、トレーニングスループットの向上が見込めるか検証することをお勧めします。

参考ドキュメント

Using topology-aware scheduling in Amazon SageMaker HyperPod https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-topology.html