Amazon SageMaker HyperPod がモデルキャッシュ機能をサポートし、LLM 推論のスケーリングを高速化

Amazon SageMaker HyperPod は、モデルの重みとコンテナイメージをクラスターノードに事前ロードする「モデルキャッシュ」機能を一般提供（GA）開始しました。この機能により、LLM（大規模言語モデル）の推論におけるオートスケーリング時のコールドスタート時間を大幅に短縮できます。具体的には、Weights Cache（ローカル NVMe への重み保存）Weights Cache（ローカル NVMe への重み保存）と Image Cache（コンテナイメージの事前プル）の2つのメカニズムにより、57 GB から 145 GB のモデルを用いたベンチマークでは、スケーリングアウトが約 60% 高速化され、イメージのプル時間を 97% 削減（2分以上短縮）することが確認されています。設定は HyperPod Inference Operator を使用し、modelCacheConfig セクションを追加することで、自動的にライフサイクルを管理できます。

LLM 推論の「待ち時間」を劇的に改善する強力なアップデート

LLM の大規模なモデルサイズが増大するにつれ、オートスケーリング時の「モデルのダウンロード待ち」が運用上の大きな課題となっていました。今回の HyperPod のアップデートは、まさにその痛みを直接解決するものです。

解決される技術的課題

• コールドスタートの解消: 大規模モデルの重みを S3 や FSx からネットワーク経由で取得する時間は、モデルサイズが大きくなるほど指数関数的に増大します。ローカル NVMe ストレージを活用した Weights Cache と、ECR からのイメージプルをスキップする Image Cache の組み合わせにより、起動時間を「分単位」から「秒単位」へ引き下げることが可能です。
• 高い信頼性: キャッシュが温まっていないノードにポッドが割り当てられた場合でも、自動的に元のソース（S3/ECR）からプルするフォールバック機能があるため、デプロイの失敗リスクが低いです。

日本国内のリージョン状況

• 東京リージョン (ap-northeast-1): 利用可能。SageMaker HyperPod が提供されており、モデルキャッシュ機能も GA されています。
• 大阪リージョン (ap-northeast-3): 利用不可。現在 HyperPod 自体が「計画中」のステータスです。

運用上のアドバイス

• コストとパフォーマンスのトレードオフ: ローカル NVMe ストレージの容量を消費するため、モデルサイズとノードのインスタンスタイプ（NVMe ストレージの有無）の構成を慎重に検討してください。スケーリングの頻出しやすさや、トラフィックの変動パターンに合わせて、キャッシュの恩恵を最大化できる構成が最適です。
• 次に行うべきアクション: まずは既存の HyperPod クラスターにおいて、InferenceEndpointConfig または JumpStartModel リソースに modelCacheConfig を追加し、検証環境で検証を行うことを推奨します。

参照ドキュメント: SageMaker HyperPod documentation https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-model-deployment-model-caching.html