Amazon SageMaker AI のサーバーレスモデルカスタマイゼーションでカスタムシーケンス長の設定が可能に

Amazon SageMaker AI は、サーバーレスモデルカスタマイゼーションジョブにおいて、シーケンス長（sequence length）をハイパーパラメータとして設定できる機能を新しく提供開始しました。これにより、Gemma, Llama, Nemotron, Qwen などのオープンウェイトモデルのファインチューニングにおいて、トレーニングデータの特性に合わせてシーケンス長を柔軟に制御することが可能になります。SFT/DPO ジョブでは dataset_max_len、RFT ジョブでは max_prompt_length と max_response_length を使用して設定可能です。多くのモデルで最大 16K トークンまでサポートされています。

🛠️ エンジニアへの技術的メリット

これまで、SageMaker AI のサーバーレスモデルカスタマイゼーションでは、ファインチューニングのレシピごとにシーケンス長が固定されており、データの特性（短いQ&Aから長いドキュメントまで）に合わせた最適化が困難でした。今回のアップデートにより、ハイパーパラメータを通じてシーケンス長を制御できるようになったことで、**「データの長さに合わせた最適な学習」**が可能になり、モデルの精度向上に直結します。

🌏 日本国内の利用状況

リサーチの結果、本機能は Asia Pacific (Tokyo) リージョンで利用可能 であることが確認されています。なお、大阪リージョンについては、公式発表およびリサーチ結果において明記されておらず、本機能の具体的な提供範囲については未確認となっています。

💡 実務上のアドバイス

• コストと精度のバランス: シーケンス長を長く設定するほど、計算リソースの消費量が増加し、コストに影響する可能性があります。ユースケースに合わせて、dataset_max_len を適切に設定することが重要です。
• コンテキストウィンドウの活用: 多くのモデルで最大 16K トークンまで拡張可能になったため、長文ドキュメントの要約や解析といった、より高度なタスクへの適能化が期待できます。

🚀 次のアクション

まずは、現在利用しているモデルと手法（SFT/DPO/RFT）において、サポートされている最大シーケンス長を確認し、SageMaker Python SDK または SageMaker Studio を使用して、小規模なデータセットでシーケンス長の変更をテストすることをお勧めします。

参照ドキュメント: SageMaker AI documentation SageMaker Python SDK