SageMaker JumpStartが基盤モデルの最適化デプロイに対応

概要

SageMaker JumpStartで、基盤モデルを用途別の最適化設定でデプロイできる機能が追加された。コスト最適・スループット最適・レイテンシ最適・バランスの4つのターゲットから選択でき、デプロイ前にP50レイテンシ・TTFT・スループットを確認できる。30以上のモデル（Llama 3.1/3.2、Phi-3、Mistral、Qwen、Gemma、Falcon3など）に対応する。

何が変わったか

• ・30以上のモデル（Llama 3.1/3.2、Phi-3、Mistral、Qwen、Gemma、Falcon3など）で最適化デプロイに対応
• ・4つの最適化ターゲット（コスト・スループット・レイテンシ・バランス）を選択可能
• ・デプロイ前にP50レイテンシ・TTFT・スループットを可視化
• ・SageMaker AI Managed Inference / HyperPodクラスタへのデプロイ・VPCデプロイに対応

影響

移行は不要で新機能として利用可能。既存ユーザーはSageMaker Studioから使い始められる。

対象ユーザー

基盤モデルをSageMaker上にデプロイする企業・MLエンジニア。特にコンテンツ生成・要約・Q&Aなどのユースケースでの運用を想定するチーム

原文タイトル

SageMaker JumpStart now offers optimized deployments for foundation models