AmazonがAIモデルの「Claude Sonnet 4.6」を独自開発の意志決定モデル「Strands Decider」に置き換えることで98％のコスト削減に成功

Amazonの社内チケット管理システムは、顧客からのエスカレーション、キャパシティリクエスト、自動アラーム、セキュリティ上の問題など、社内のあらゆる事象を20種類のカテゴリに分類しています。この分類を担当するAIとしてAmazonはClaude Sonnet 4.6を使用していました。しかし、分類作業はテキストや画像を生成する作業ではないため、高性能な大規模言語モデルではなく各選択肢の確率と信頼度スコアを出力する意思決定モデルが最適であると判断し、独自の意思決定モデルである「Strands Decider」に置き換えました。

当初は通常のStrands Deciderを利用していたものの、さらなる性能向上を目指してGemma 4ベースの40億パラメータモデルである「Strands Decider E4B」を構築。ラベルを適用する前にモデルがどの程度の確信度を持つ必要があるかを調整したところ、本番環境のClaude Sonnet 4.6を上回るパフォーマンスを達成しました。

Claude Sonnet 4.6はJSON形式で回答を出力していましたが、Strands Decider E4Bは選択肢のみを出力。これにより、プロンプトはClaude Sonnet 4.6利用時よりもはるかに短くなり、チケット1枚を処理するのに必要な入力トークン数と出力トークン数も劇的に節約することが可能となりました。

◆チケット1枚あたりの入力トークン数
Claude Sonnet4.6：6554
Strands Decider E4B：2009

◆チケット1枚あたりの出力トークン数
Claude Sonnet4.6：170
Strands Decider E4B：1

以下は、Claude Sonnet 4.6からStrands Decider E4Bに移行したタイミングでの、AWSのサーバーレスコンピューティングサービス・Lambdaの実行時間を示すグラフ。Strands Decider E4Bへの移行でLambdaの平均実行時間が74％も短縮されたそうです。

これにより、100万枚のチケットを処理するのにかかるコストが2万2200ドル(約350万円)から500ドル(約7万9000円)にまで削減されました。これはClaude Sonnet 4.6から98％のコスト削減となります。

なお、Strands Agentsは「ラベルに説明文が必要な場合、カタログが毎週変更される場合、有用なコンテキストを数千トークンに収めることができない場合は、意思決定モデルではLLMの仕事を代替できない可能性があります」と記しています。