SageMaker JumpStartに3種の特化型基盤モデルが追加、AI機能を拡充

Amazon SageMaker JumpStartに、Redisのlangcache-embed-v3-small、JetBrainsのMellum2-12B-A2.5B-Thinking、LightOnのLightOnOCR-2-1Bの3つの基盤モデルが新たに追加された。これらのモデルは、セマンティックキャッシュ最適化、コード推論、およびエンドツーエンドのドキュメントOCR機能を提供し、AWSインフラストラクチャ上で高性能かつスケーラブルなAIソリューションの展開を可能にする。SageMaker JumpStartのモデルカタログから数クリックでデプロイ可能。

エンジニア視点での考察・アドバイス

解決される技術的課題

• langcache-embed-v3-small: LLMアプリケーションにおける冗長な推論呼び出しを削減。意味的に等価なクエリをキャッシュヒットさせることで、高負荷時のレスポンス改善が期待できる。特に、チャットボットや検索システムなど、同一意図の繰り返しクエリが多いユースケースで効果を発揮。
• Mellum2-12B-A2.5B-Thinking: MoEアーキテクチャにより、12Bパラメータながら2.5Bのみを活性化する効率設計。コード生成やデバッグ、多段階推論に強く、RAGやエージェントワークフローでの低レイテンシ・高スループットが実現可能。
• LightOnOCR-2-1B: 従来のOCRパイプラインの脆弱性を解消。PDFやスキャン画像から直接テキストを抽出し、自然な順序で出力。競合モデルと比較して9倍小型かつ高速で、ドキュメント処理の自動化に貢献。

日本リージョンでの利用可否

• 現時点でのリージョン制限は公式発表に記載なし。ただし、SageMaker JumpStartのモデルは全ての商用リージョンで利用可能が原則（東京・大阪を含む）。
• 注意点: 新モデルのデプロイ時は、SageMakerコンソールの「モデルカタログ」でリージョン別の可用性を確認すること。特に、東京リージョン（ap-northeast-1）での動作検証を推奨。

実務での影響と留意点

• コスト: MoEモデル（Mellum2）はパラメータ効率が高いが、推論時のメモリ使用量は依然として大きい。インスタンスタイプ（例: ml.g5.2xlarge以上）の選定に注意。
• セキュリティ: プライベート展開時は、VPC内でのデプロイやIAMロールの最小権限を徹底。特に、LightOnOCRはドキュメント処理が主用途のため、機密データの取り扱いに留意。
• 移行: 既存のOCRパイプラインをLightOnOCRに置き換える場合、事前にOlmOCR-Benchでの精度検証を実施。言語サポート（日本語対応）も確認必須。

次のアクション

1. デプロイテスト: SageMaker JumpStartのモデルカタログから各モデルを選択し、サンプルノートブックを実行。東京リージョンでの動作確認を優先。
2. パフォーマンスベンチマーク: langcache-embed-v3-smallはキャッシュヒット率、Mellum2は推論レイテンシ、LightOnOCRは精度と速度を計測。
3. コストシミュレーション: AWS Pricing Calculatorを使用し、推論リクエスト数に応じた月額コストを見積もる。

参考資料

• Amazon SageMaker JumpStart ドキュメント
• AWS What's New 発表ページ