【速報】SageMaker HyperPod、Slurm設定に革命！API駆動で柔軟なクラスタ構築が可能に

Amazon SageMaker HyperPodにおいて、API経由でのSlurm設定がサポートされました。これにより、クラスタの作成および更新API、またはAWSコンソールを通じて、Slurmのトポロジーや共有ファイルシステム構成を直接定義できるようになります。

HyperPodのSlurm設定がAPIで制御できるようになったのは、運用面で非常に大きな改善です。これまでSlurmの設定ファイルを直接編集する必要があり、設定のドリフトや管理の複雑化が課題でした。今回の変更で、設定の自動化と整合性の維持が容易になります。

最新のリージョン状況を確認しましたが、東京（ap-northeast-1）と大阪（ap-northeast-3）の両方で利用可能であることがAWS公式の裏取りとドキュメントで確認できました。ただし、念のためマネジメントコンソールやAWSサポートで再確認することをお勧めします。

特に大規模なLLMやFMの学習を行う場合、ノードタイプやパーティションの設定を柔軟に変更する必要があるため、API駆動での設定は非常に有効です。FSx for LustreやFSx for OpenZFSとの連携も強化されており、ストレージの構成も柔軟に行えるようになっています。

まずは、既存のHyperPodクラスタでAPIを使用してSlurm設定を変更し、設定のドリフト検出機能が正しく動作することを確認することをお勧めします。また、Managed, Overwrite, Mergeの各SlurmConfigStrategyを理解し、運用環境に最適な戦略を選択することが重要です。

参考資料：Amazon SageMaker HyperPodドキュメント - クラスタの作成 (https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-quickstart.html) および CLI (https://docs.aws.amazon.com/sagemaker/latest/dg/smcluster-getting-started-slurm-cli.html)