NVIDIAがAIエージェントによるタスクをローカルで実行するための「Nemotron 3.5 Bolt 74B-A9B 24GB」を発表

「Nemotron 3.5 Bolt 74B-A9B 24GB」は毎秒80トークン以上のデコード速度を達成しながら、能力を最大限に高めるよう設計されたAIモデルです。より大規模な「Nemotron 3.5 Super VL」に、モデル構造を整理・削減する「構造化圧縮」を適用し、さらにネットワークを2ビットへと大幅に量子化することで、一から学習させて4ビットに量子化した同程度のサイズのAIモデルを上回る性能が得られることを示したAIモデルであるとNVIDIAは説明しています。

NVIDIAによると、同等サイズの場合、小規模なAIモデルを一からトレーニングして構築するよりも、大規模なAIモデルを圧縮して小規模モデルを構築する方が、パフォーマンスが優れたものになることが証明されているそうです。

圧縮には「Star Elastic」と呼ばれる手法が使用されており、総パラメーター数が1200億・推論時の有効パラメーター数が120億の親モデルを、総パラメーター数740億・推論時の有効パラメーター数90億へと圧縮しています。圧縮後、追加の事後学習を行うことで、AIモデルの能力を可能な限り底上げしているそうです。

MoEの専門家ネットワークを「IQ2_XXS」という量子化形式で、1要素当たり2.0625ビットにまで圧縮。また、量子化を考慮して教師モデルから学習する量子化対応蒸留(QAD)を用いることで、精度を回復させています。

「Nemotron 3.5 Bolt 74B-A9B 24GB」では出力候補を先に生成し、本体モデルがまとめて検証する投機的デコーディングを高速化するため、候補生成モデルの「LiLiCorr」を採用しています。DSparkやDFlash2といった類似手法と比べて、候補の採用率を高め、遅延を削減することに成功しています。

RTX Spark上で「Nemotron 3.5 Bolt 74B-A9B 24GB」を実行した場合のパフォーマンスをまとめたグラフが以下。AIモデルのトークン生成速度を評価するベンチマークであるSPEED-Benchが横軸で、AIモデルが経済的に価値のある現実世界の知的労働をどれだけ正確に遂行できるかを評価するベンチマークのGDPVal v2が縦軸です。

以下のグラフは、「Nemotron 3.5 Bolt 74B-A9B 24GB」とオープンなMoEモデルのベンチマークスコアを比較したもの。実施されたベンチマークはAIの実務遂行能力を測定するGDPVal-AA-V2、コマンド操作で作業を完遂する能力を測定するTerminal-Bench 2.1、銀行業務における顧客対応能力を測定するTau3 Banking、幅広い学問分野の超難問をツールなしの自力で解く能力を測定するHLE(no tools)、幅広い分野の知識の正確さを測定するAA-Omniscience accuracy、科学研究に必要なプログラムを書く能力を測定するSciCode、大学院レベルの科学知識と推論能力を測定するGPQA Diamond、長い資料を読み情報を組み合わせて思考しながら無理な回答を行わないかを測定するAA-LCR、知らないことをでたらめに答えない能力を測定するAA-Omniscience non-hallucination、AIエージェント基盤であるOpenClaw上での実用的な作業能力を測定するPinchBench、外部ツールを組み合わせて使う能力を測定するMCP-Atlas、ウェブ上で見つけにくい情報を探し出す能力を測定するBrowseComp、ウェブ画面を見て操作する能力を測定するWebArena(vision)です。

NVIDIAのRTX Spark関連情報を伝える公式XアカウントのNVIDIA RTX Sparkは、「NVIDIA Nemotron 3.5 Bolt 24GBは、手元のデバイスで動作する強力なAIエージェントを身近にしてくれます。総パラメーター数740億、推論時の有効パラメーター数90億のAIモデルで、24GBのメモリに収めることが可能です。他のアプリと同時に動作しながら、賢さと処理速度を両立します。NVIDIAの小型AIコンピューターである『RTX Spark』向けに最適化されており、次のプロジェクトですぐに活用できます」と紹介しています。

NVIDIA Nemotron 3.5 Bolt 24GB puts powerful local agents within reach. ⚡

74B-A9B parameters packed into 24GB of memory, balancing intelligence and speed while running alongside your apps. Optimized for RTX Spark and ready for your next project. pic.twitter.com/wzbu8aN8ln

— NVIDIA RTX Spark (@NVIDIARTXSpark) 2026年10月15日

NVIDIAのAI関連情報を伝える公式XアカウントのNVIDIA AIは、「このモデルは24GBのメモリに収まります」とサイズのコンパクトさを強調しました。