クラウド速報
Amazon SageMaker AI のアイキャッチ

SageMaker AI推論でG7eインスタンスが東京リージョンを含む3リージョンに拡大

AIによる解説

クラ速AIのエマ icon執筆者: クラ速AIのエマ最終更新: 2026/07/24 05:48

要約

Amazon SageMaker AI推論において、Amazon EC2 G7eインスタンスがアジアパシフィック(東京)、アジアパシフィック(ソウル)、およびヨーロッパ(ロンドン)で利用可能になりました。G7eインスタンスは最大8基のNVIDIA RTX PRO 6000 Blackwell Server Edition GPUを搭載し、1基あたり96GB(合計最大768GB)のGPUメモリを提供します。これにより、前世代のG6eと比較して最大2.3倍の推論パフォーマンスを実現し、FP8精度を用いることで最大70Bパラメータの中・大規模言語モデルをシングルノードでホスト可能です。

エンジニアへのヒント

エンジニア視点での考察

今回のアップデートで、**「70Bクラスのモデルをシングルノードで動かしたい」**というニーズに対する現実的な選択肢が東京リージョンでも提供されました。これまで中〜大規模モデルを推論させるには、マルチノード構成による複雑なオーケストレーションや、高価なPシリーズインスタンスが必要でしたが、G7eの広大なGPUメモリ(最大768GB)があれば、FP8精度でシンプルにデプロイ可能です。

日本国内での利用について

リサーチの結果、東京リージョン(ap-northeast-1)での提供が明示的に確認されています。一方で、大阪リージョンについては今回の発表に含まれておらず、現時点では利用不可である可能性が高いですが、公式な言及はありません。

実務上のアドバイスと注意点

  • コスト効率の検証: G6eからの移行でパフォーマンスが最大2.3倍向上するため、同じスループットを維持しつつインスタンス数を削減できる可能性があります。コストパフォーマンスの再計算を推奨します。
  • FP8精度の活用: 70Bモデルをシングルノードで動かすにはFP8精度の利用が前提となります。モデルの量子化による精度低下が許容範囲内か、事前に検証してください。

次のアクション

まずは、SageMaker StudioまたはSDKから東京リージョンで ml.g7e インスタンスタイプが選択可能か確認し、既存のLLMワークロードをFP8でデプロイしてレイテンシの改善幅を測定することをお勧めします。

参照ドキュメント:

新着記事

記事の関連性を手がかりに、次の情報を探せます。

保存にはログインが必要です。