Metaの最小・低コストなAIモデル「Muse Ember」各種ベンチマーク結果、本当にコスパが良いのか？

AIモデルの性能やコストを比較するArtificial Analysisによると、Muse Emberは総合的な知能を測定する「Artificial Analysis Intelligence Index」で36点を記録し、Anthropicの「Claude Haiku 5.5」の最高推論設定と同じスコアを達成したとのこと。1タスク当たりの処理コストはMuse Emberが0.14ドル(約22円)、Claude Haiku 5.5が0.41ドル(約65円)で、Muse Emberの方が約3分の1に抑えられています。

Meta's newest model Muse Ember scores 36 on the Artificial Analysis Intelligence Index, matching Claude Haiku 5.5 (max) at a third of the Cost per Task

Muse Ember is Meta's newest efficient-tier model line, with the same input and output token prices as Claude Haiku 5.5 and… pic.twitter.com/ZXq4Zw8DZj

— Artificial Analysis (@ArtificialAnlys) 2026年11月9日

Muse EmberとClaude Haiku 5.5のAPI料金は入力100万トークン当たり0.10ドル(約16円)、出力100万トークン当たり0.50ドル(約79円)と同額ですが、それでもMuse Emberの処理コストが低いのは、キャッシュされた入力トークンの料金が60％安いことに加え、Claude Haiku 5.5の約3分の1の出力トークンでタスクを処理できるためだとArtificial Analysisは分析しています。

Muse Ember costs less per task than similarly priced models

Muse Ember (max) has the same input and output token prices as Claude Haiku 5.5 (max) and GPT-6 Luna (max), but its cached input, most of the cost in our agentic evaluations, is 60% cheaper. Muse Ember (max) also uses… pic.twitter.com/uog9Gl8vsZ

— Artificial Analysis (@ArtificialAnlys) 2026年11月9日

一方、Muse Emberはすべての分野で優れているわけではありません。Artificial Analysisが実施した知識に関するテスト「AA-Omniscience」では正答率が21.1％と低く、質問の64％で回答を控えました。その結果、誤った情報を生成する割合は17.4％とClaude Haiku 5.5の約半分に抑えられています。実際のソフトウェア開発に近い課題を扱う「FrontierCode 2.0」でもClaude Haiku 5.5に及ばず、用途によって性能に差があります。

Knowledge is Muse Ember's main weakness, but it rarely hallucinates

Its AA-Omniscience accuracy of 21.1% is the lowest of the similarly intelligent models we compared, mostly because it declines to answer 64% of questions. That keeps its hallucination rate at 17.4%, half of… pic.twitter.com/SdGZ8AN66v

— Artificial Analysis (@ArtificialAnlys) 2026年11月9日

別のAI評価機関であるVals AIが実施した「Vals Index v2.2」では、Muse Emberは35モデル中12位に相当する60.48％のスコアを記録しました。1テスト当たりのコストは約0.15ドル(約24円)で、評価対象となったモデルの中で最も安価でした。また、テスト完了までの時間は約15分で、上位12モデルの中では最速だったと報告されています。

Meta's Ember is the cheapest model on the Vals Index at just $0.15 per test outperforming both Haiku 5.5 and GPT-6 Luna.

It also finishes tests in about 15 minutes, making it the fastest model in the top 12. pic.twitter.com/AH0FENtbS0

— Vals AI (@ValsAI) 2026年11月9日

Vals AIの個別評価では、法律関連の「Legal Index」で36モデル中4位、専門的な課題を扱う「HLAB-Vals-1.1」で36モデル中同率2位に入りました。金融関連の「Finance Index」では38モデル中10位だったものの、ターミナル上でのプログラミング能力を測る「Terminal-Bench 4.0」では62モデル中15位、税務関連の「Tax Agent Bench」では83モデル中14位という結果でした。

Ember is particularly strong at legal and financial tasks. It ranks #2 on Harvey's Legal Agent Benchmark, behind only Gemini 4 Argon, and is #4 on the Legal Index.

On the Finance Index, it ranks #10 while being the cheapest and fastest model on the board. pic.twitter.com/FUuntscJk2

— Vals AI (@ValsAI) 2026年11月9日

さらに、ウェブ開発に特化した評価を行うArena.aiは、Muse Emberの最高推論設定が「Code Arena: WebDev」で1608ポイントを記録したと発表しました。これは小型AIモデルとして最高の成績で、Claude Haiku 5.5の1595ポイント、OpenAIの「GPT-6 Luna」の1578ポイントを上回っています。全体では34位に相当するスコアですが、小型モデル同士の比較では優れた結果となっています。

Exciting news: @AIatMeta's Muse Ember (Max) is the highest-performing small model in the Code Arena: WebDev with 1608 pts, outperforming two leading small models from Anthropic and OpenAI:
- Claude Haiku 5.5 (High): #35, 1595 pts
- GPT-6 Luna (Max): #42, 1578 pts

At a 1608 score… https://t.co/cQCIhImDUZ pic.twitter.com/EKpq0Sjave

— Arena.ai (@arena) 2026年11月9日

Arena.aiによると、ウェブ開発タスク1件当たりのコストの中央値はMuse Emberが0.03ドル(約4.7円)、GPT-6 Lunaが0.06ドル(約9.5円)、Claude Haiku 5.5が0.11ドル(約17円)でした。APIの入力・出力トークン単価は3モデルとも同じですが、実際のタスクに必要なコストではMuse EmberがGPT-6 Lunaの半分、Claude Haiku 5.5の約27％に収まっています。

個人の開発者による評価でも、同様の傾向が報告されています。Xユーザーのtmuxvim氏は、独自のAIエージェント評価環境「Revise」でMuse Emberをテストしたところ、GPT-6 Lunaより失敗するケースがやや多かったものの、標準サービスではコストが約25％低く、高速サービスを利用したLunaとの比較ではタスクを約40％短い時間で完了したと述べています。同氏はMuse Emberについて、無料プラン向けの主力モデルとして有望だと評価しました。

Muse Ember looks good on my internal eval for the Revise agent harness...

failed a few more cases than Luna, but costs ~25% less than Luna on standard service tier, and finished tasks ~40% faster than Luna on fast service tier

looks like a good free tier workhorse model https://t.co/3JAHOXwPzW pic.twitter.com/Bzy3rmQHsl

— tmuxvim (@tmuxvim) 2026年11月9日

Muse Emberは幅広い分野で最高性能を発揮するわけではないものの、AIエージェントの反復作業やウェブ開発などでは競合モデルに近い、あるいはそれ以上の性能を低コストで実現できることが示されました。評価機関によって測定するタスクや実行環境が異なるため単純な比較はできませんが、処理コストと速度を重視する用途では有力な選択肢となりそうです。