Amazon SageMaker JumpStart で NVIDIA Nemotron 3.5 Lightning モデルが利用可能に

AWS は、NVIDIA のオープンモデル「Nemotron 3.5 Lightning」を Amazon SageMaker JumpStart で提供開始しました。本モデルは、持続的なエージェントワークロードや高速タスク実行に最適化されたクラス最速のオープンモデルで、ハイブリッド Mixture-of-Experts (MoE) アーキテクチャを採用し、総パラメータ数 30B（前方パスあたり 3B 有効）を実現。スループットは最大約 410 tokens/sec（同等モデル比で最大 4 倍）、タスク完了速度は 30% 高速化されています。DFlash スペキュラティブ・デコーディングにより、最大 100 万トークンのコンテキスト処理が可能です。パーソナルアシスタント、金融ドキュメント処理、サイバーセキュリティトリアージ、テレコム運用などのユースケースに対応しており、SageMaker JumpStart から数クリックでデプロイできます。

エンジニア視点での考察・アドバイス

解決された技術的課題

• 高スループットと低レイテンシ: Nemotron 3.5 Lightning は、MoE アーキテクチャにより、少ないアクティブパラメータ（3B/30B）で高いスループット（~410 tokens/sec）を実現。これにより、リアルタイム性が求められるエージェントワークロード（例：カスタマーサポート、サイバーセキュリティトリアージ）でのパフォーマンスが大幅に向上します。
• 長文コンテキスト処理: DFlash スペキュラティブ・デコーディングにより、最大 100 万トークンのコンテキストを扱えるため、長大なドキュメント（例：金融レポート、契約書）の処理が可能になりました。
• オープンモデルの柔軟性: フルオープン学習データを使用しているため、企業独自のツールやポリシーに合わせたポストトレーニングが可能。エッジやオンプレミス環境へのデプロイも自由度が高いです。

日本リージョンでの提供状況

• リージョン制限の明示なし: AWS 公式発表やリサーチ結果では、東京（ap-northeast-1）や大阪（ap-northeast-3）リージョンでの提供可否は明記されていません。SageMaker JumpStart 自体はグローバルサービスですが、モデルのデプロイ可否はリージョンによって異なる場合があります。まずは SageMaker コンソールのモデルカタログで確認することを推奨します。

実務上の注意点

• コスト管理: MoE モデルは高スループットですが、インスタンスタイプ（例：ml.g5.48xlarge）やデプロイ時間によってコストが増加します。本番運用前には、SageMaker のコストエクスプローラーでシミュレーションを行い、予算を設定してください。
• セキュリティとコンプライアンス: オープンモデルとはいえ、企業独自のデータでポストトレーニングする場合は、データの機密性に注意が必要です。VPC 内でのデプロイや、IAM ポリシーによるアクセス制御を徹底しましょう。
• エージェントフレームワークとの統合: 本モデルは人気のエージェントハーネス（例：LangChain、Haystack）と直接統合可能ですが、バージョン互換性を事前に確認してください。特に、DFlash デコーディングを活用する場合は、SDK の最新版が必要です。

次のアクション

1. デプロイテスト: SageMaker JumpStart のモデルカタログから、まずは小規模なインスタンス（例：ml.g5.2xlarge）でデプロイし、パフォーマンスを評価してください。
2. ユースケースの検証: 自社のワークロード（例：金融ドキュメント処理）で、Nemotron 3.5 Lightning と既存モデル（例：Llama 3.1）のスループットや精度を比較しましょう。
3. リージョン確認: 東京リージョンで利用可能かどうかを SageMaker コンソールで確認し、必要に応じて AWS サポートに問い合わせます。

参考資料

• Amazon SageMaker JumpStart ドキュメント
• AWS 公式発表（RSS）