Amazon SageMaker HyperPod Inference Gateway：GPUアウェアなルーティングによるLLM推論の高速化

Amazon SageMaker HyperPod Inference Gatewayが発表されました。これは既存のSageMaker HyperPodインフラストラクチャ上にEKSマネージドアドオンとしてデプロイ可能な、KubernetesネイティブかつGPUアウェアなルーティングシステムです。従来のラウンドロビン方式に代わり、KVキャッシュ利用率やキュー深度などの6つの推論シグナルに基づいたリアルタイムルーティングを実現することで、混合ハードウェア環境やバーストトラフィック時におけるファーストトークンレイテンシを最大82%削減します。vLLMやSGLangなどのOpenAI互換モデルサーバーに対応しており、アプリケーション側のコード変更なしで導入可能です。

LLM推論のボトルネックを解消する「賢い」ルーティング

LLMの推論基盤を運用していると、単純なラウンドロビン方式の負荷分散では、特定のPodにリクエストが集中してレイテンシが悪化する問題に直面しますよね。今回のGatewayは、単なるトラフィック分散ではなく、KVキャッシュの状況やLoRAアダプタの有無といった「推論エンジン内部の状態」を見てリクエストを振り分ける点が非常に強力です。

特に、p99 TTFT（最初のトークン生成までの時間）を最大97〜98%も削減できるという数値は、リアルタイム性が求められるチャットアプリケーションなどのUX向上において決定的な差になります。

日本国内の利用状況について

リサーチの結果、リージョン状況は以下の通りです。

• 東京リージョン (ap-northeast-1): 利用可能（SageMaker HyperPodが提供されているため、本アドオンも利用可能です）
• 大阪リージョン (ap-northeast-3): 提供予定

国内のプロジェクトでHyperPodを活用している場合は、すぐに検討の土台に乗せられる状況です。

運用上のアドバイス

1. 既存資産の活用: vLLMやSGLangを使っていれば、アプリケーションコードを書き換えることなく、EKSアドオンの追加だけで導入できるため、移行コストが極めて低いのが魅力です。
2. 将来的な拡張性: 現在はクラスター内ルーティングがメインですが、今後は「クロスリージョン・ルーティング」や「コストティアを考慮したトラフィックシェーピング」も予定されています。コスト最適化を重視する大規模運用では、これらのアップデートを注視しておくべきでしょう。

次のアクション

まずは、現在稼働中のSageMaker HyperPod環境において、EKSマネージドアドオンとしてデプロイが可能か、および現在の推論シグナル（KVキャッシュ利用率など）のメトリクスがどのように可視化されるかを確認することをお勧めします。

参照ドキュメント: Amazon SageMaker HyperPod documentation https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-model-deployment-inference-gateway.html