Amazon SageMaker AI Studio で生成 AI 推論の最適化推奨機能が利用可能に

Amazon SageMaker AI Studio において、生成 AI モデルの推論構成（インスタンスタイプ、サービングコンテナ、最適化戦略）の最適な組み合わせを自動的に推奨する「Generative AI Inference Recommendations」が利用可能になりました。ユーザーは、ワークロードの特性（インタラクト、生成、要約、カスタマイズ）と最適化目標（レイテンシ最小化、コスト最小化、スループット最大化）を指定するだけで、NVIDIA AIPerf を用いた実際の GPU インフラ上でのベンチマークに基づき、TTFT、Inter-token latency、スループット、コストの指標に基づいた推奨結果を測定データと共に ランク付けして提供します。推奨の生成自体に追加料金はかかりませんが、ベンチマーク実行中のコンピューティング料金は標準料金が適用されます。対象モデルは JumpStart、S3、Model Registry、または既存の SageMaker モデルです。利用可能なリージョンには、東京、シンガポール、バージニア北部、オレゴン、オハイオ、アイルランド、フランクフルトが含まれます。利用可能なリージョンは SageMaker AI Studio 内の Jobs > Inference optimization からアクセス可能です。

🚀 推論構成の「試行錯誤」を数週間から数時間へ

生成 AI モデルを本番環境へデプロイする際、どのインスタンスタイプや最適化手法（Speculative Decoding や Kernel Tuning など）が自ワークロードに最適かを見極める作業は、非常に手間がかかる課題でした。今回のアップデートにより、SageMaker AI Studio 上の GUI ワークフローにより、「何を重視するか（レイテンシ、コスト、スループット）」を指定するだけで、最適な構成を自動的に検証・推奨してくれるようになります。

📍 日本国内の利用状況

リサーチの結果、東京リージョン (ap-northeast-1) では本機能が利用可能であることが確認されています。一方で、大阪リージョン (ap-northeast-3) については、公式発表およびドキュメントにおいて明示的な記載がありません。日本国内で検証を行う場合は、東京リージョンを使用することをお勧めします。

💡 実務上のアドバイス

• コスト管理: 推奨の生成自体は無料ですが、ベンチマーク実行中の GPU インスタンス料金は発生します。大規模なモデルや多くの構成を試す場合は、ジョブの実行コストを計算に入れておく必要があります。
• 運用上のメリット: 測定データ（TTFT や Inter-token latency）が可視化されるため、単なる「動く」構成ではなく、「性能指標に基づいた根拠のある構成」を本番デプロッションの構成として採用できる点が非常に強力です。

🛠️ 次のアクション

まずは、SageMaker AI Studio の Jobs > Inference optimization メニューを確認し、利用可能なモデル（JumpStart 等）で、現在のワークロードに近いプロファイル（Interact, Generate, Summarize 等）を選択して、ベンチマークジョブを一度走らせてみるのが良いでしょう。

📚 Reference

• Amazon SageMaker Documentation: Generative AI Inference Recommendations
• AWS Official RSS: Generative AI Inference Recommendation for Amazon SageMaker now available in the SageMaker AI Studio