SageMaker JumpStartにGLM-5.2 FP8、Nemotron-Nano-12B-v2、GLM-OCRモデルが追加

AWSはAmazon SageMaker JumpStartに3つの新しい基盤モデルを追加したことを発表しました。

GLM-5.2 FP8 (Z.ai)
- 長期的なエージェント型エンジニアリングタスク（例：要件定義からデプロイまでのフルサイクルソフトウェア開発）に最適化。
- 1Mトークンのコンテキストウィンドウを初めて実用レベルで提供し、プロジェクトレベルのエンジニアリングコンテキストを処理可能。
NVIDIA-Nemotron-Nano-12B-v2 (NVIDIA)
- ハイブリッドなMamba-2とTransformerアーキテクチャを採用し、128Kのコンテキスト長を持つ。
- 推論スループットが最大6倍向上し、企業アプリケーションでの精度と効率性を両立。
GLM-OCR (Z.ai)
- スキャンPDF、手書きメモ、数式を含む学術論文、多言語テキストなどの複雑なドキュメント理解に対応。
- 0.9Bパラメータのマルチモーダルモデルで、構造化データ（Markdown/JSON/LaTeX）への変換が可能。

これらのモデルは、SageMaker JumpStartのモデルカタログから数クリックでデプロイ可能。詳細なデプロイ手順はAWS公式ドキュメントを参照。

エンジニア視点での考察・アドバイス

長期タスクの課題解消: GLM-5.2 FP8の1Mトークンコンテキストウィンドウにより、プロジェクト全体の文脈を維持したまま長期的なエンジニアリングタスクを実行可能。従来のモデルでは難しかった「要件定義→設計→実装→テスト→デプロイ」の一気通貫処理が現実的に。
推論コストの削減: Nemotron-Nano-12B-v2は12Bパラメータながら、競合モデルと同等以上の精度を維持しつつ最大6倍のスループットを実現。企業アプリケーションでのリアルタイム推論コストを大幅に削減。
ドキュメント処理の自動化: GLM-OCRは、複雑なレイアウトや手書き文字、数式を含むドキュメントを高精度で構造化データに変換。請求書処理や契約書レビューなどの業務自動化に直結。

東京リージョン (ap-northeast-1): 利用可能。SageMaker JumpStartのカタログにモデルが存在し、ドキュメントやAWS公式の裏取りでも制限は確認されていない。
大阪リージョン (ap-northeast-3): 現時点での利用可否は不明。AWS公式ドキュメントやリージョン状況の確認では明示的な記載がなく、AWS Management ConsoleまたはAWSサポートでの確認が必要。

コスト管理:
- GLM-5.2 FP8の1Mトークン処理は高負荷。長期タスクでの推論コストを事前にシミュレーションし、必要に応じてSageMakerのスポットインスタンスを活用。
- Nemotron-Nano-12B-v2は高スループットだが、バッチ処理とリアルタイム処理でインスタンスタイプを使い分ける（例：リアルタイムはml.g5.2xlarge、バッチはml.g5.12xlarge）。
セキュリティとコンプライアンス:
- データの機密性: ドキュメント処理（GLM-OCR）やソースコード生成（GLM-5.2 FP8）では、機密情報を含むデータを扱う可能性がある。
  - VPC内デプロイを推奨し、データの送受信をプライベートネットワークに限定。
  - データ暗号化: SageMakerのKMSキーを使用して、保存時・転送時のデータを暗号化。
モデルの最適化:
- GLM-OCR: 多言語対応だが、日本語の手書き文字や特殊なフォントには精度が低下する可能性あり。事前に少量のテストデータで精度検証を行い、必要に応じてFine-Tuningを検討。
- Nemotron-Nano-12B-v2: 推論時に「Reasoning Traces」を生成するため、出力が冗長になる場合がある。アプリケーション側で後処理フィルタを実装し、最終回答のみを抽出。

リージョン確認: 大阪リージョンでの利用を検討している場合は、AWSサポートに問い合わせるか、AWS Management Consoleでモデルカタログを確認。
PoCの実施:
- GLM-5.2 FP8: 自社のソフトウェア開発プロセスに組み込み、1Mトークンのコンテキストウィンドウが実際に機能するかテスト。
- GLM-OCR: 日本語の請求書や契約書をサンプルとして、Markdown/JSONへの変換精度を評価。
コスト試算: SageMakerの料金計算ツールを使用し、想定される推論リクエスト数に基づく月額コストを算出。