Amazon SageMaker AIがNVIDIA Nemotron 3.5 Lightningのサーバーレス・モデル・カスタマイゼーションをサポート

Amazon SageMaker AIにおいて、NVIDIAのオープンウェイトモデル「Nemotron 3.5 Lightning」のサーバーレス・モデル・カスタマイゼーションが提供開始されました。本機能により、SFT（教師あり微調整）、DPO（直接嗜好最適化）、RFT（強化微調整）の3つの手法を用いて、インフラ管理不要で独自のデータによるモデルの最適化が可能です。本モデルはハイブリッドMoEアーキテクチャを採用しており、総パラメータ数30B、アクティブパラメータ数3Bという効率的な構成となっています。

運用上のメリット

インフラ管理からの解放が最大のポイントです。通常、LLMの微調整（Fine-tuning）にはGPUクラスターの構築やオーケストレーションという高い運用負荷が伴いますが、サーバーレスで提供されるため、データ準備と評価にのみ集中できます。また、MoE（Mixture-of-Experts）アーキテクチャのモデルであるため、推論コストとレイテンシを低減しつつ、フロンティアモデル級の性能を維持できる「右サイズ化」が現実的な選択肢になります。

日本国内での利用可能性

最新のリージョン状況を確認したところ、東京リージョン（ap-northeast-1）で利用可能であることが明示されています。国内で低レイテンシかつデータガバナンスを重視する環境で、迅速にPoCを回すことが可能です。

実務的なアドバイス

• 手法の使い分け: タスク精度を上げたい場合はSFT、組織のトーン＆マナーを合わせたい場合はDPO、新しいタスクへの適応力を高めたい場合はRFTと、目的に応じた手法を選択してください。
• コスト管理: サーバーレスのため「利用した分だけ」の支払いで済みますが、カスタマイゼーションジョブの実行時間とデータ量に応じたコスト試算を事前に行うことを推奨します。

次のアクション

まずはSageMaker Studioの「Models」ページから、少量のラベル付きデータを用いてSFTを試行し、ベースモデルとの精度差を検証することから始めてください。

参考リソース

• Amazon SageMaker AI model customization documentation
• https://docs.aws.amazon.com/sagemaker/latest/dg/customizing-models.html