Daily MaverickTHE CONVERSATION: Why eating a handful of nuts daily might lower risk of high blood pressureInquirerNCRPO warns Asean rallyists: Assaulting cops may lead to rapsThe Jerusalem PostEuropean militaries hunt for homegrown AI alternatives to cut reliance on US giant PalantirZDF heuteEntdecken Sie das ZDF-NachrichtenstudioStraits Times SportWoods to make competitive return at December's Hero World ChallengeSCMP ChinaTrump eyes China after brief Manila stop, seeking chemistry with Xi amid fresh AI strainsIl Fatto Quotidiano“Mi è stata diagnosticata una malattia coronarica, l’ho scoperto con un test di 3 minuti. La mia peggiore paura, si avvera”: parla Gio Benitez di Good Morning America20 MinutenRoche erhält erste US-Zulassung für Brustkrebs-MedikamentWirtualna PolskaTusk ostro o wotum nieufności wobec rządu. "Hucpa"The South AfricanWEATHER TOMORROW: Thunderstorms threaten Free State as heat grips Western Capen-tvHarte Nuss für Samsung: Xiaomi 18 Pro greift mit zwei Displays und Riesen-Akku anVanguardUS House committees to quiz Nvidia ex-CEO Huang December 1
The Daily Newsstand · Free, Always
Tuesday, November 17, 2026

VRAMが数百GBなくてもGPU1基でGLM-5.3-Flashを動かすことができる「Project Maya」

Translate

AIモデルを自分のPCで動かす場合はモデルのデータをVRAMに読み込みますが、数千億パラメーター級の巨大なモデルを動かすのに必要なメモリは数百GB単位になるため自前環境で動かすことはほぼ不可能です。そこでVRAM・メインメモリ・SSDを組み合わせて条件をクリアすれば、GPU1基の環境でも巨大モデルを実行できるようにするための無料のオープンソースツールが「Project Maya」です。

mw00/project-maya: Run GLM-5.3 (744B), GLM-5.3-Flash (321B), DeepSeek-V4.1-Flash (748B) and MiniMax-M3.1-Flash (428B) on your own GPUs - one engine, one dashboard, OpenAI- and Anthropic-compatible API.
https://github.com/mw00/project-maya

peasantsmith/GLM-5.3-Flash-Maya-GGUF · Hugging Face
https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF

◆GPU1基から巨大AIモデルを実行
Project Mayaが対応する「GLM-5.3-Flash」は総パラメーター数3210億のAIモデルで、文章生成やプログラミングに加えて画像の内容を読み取ることもできます。公開された利用者の測定結果ではRTX 3090を1基使用した構成で毎秒26トークン、RTX 5090を2基とRTX 4090を1基使用した構成で毎秒148.6トークンの生成速度を記録しています。

構成構成A構成B
GPURTX 3090 24GB×1RTX 5090 32GB×2+RTX 4090 48GB×1
RAM128GB188GB
モデルMaya-S24Maya-S
生成速度26.0トークン/秒148.6トークン/秒

トークンはAIが文章を処理する単位で、この値が大きいほど回答が速く表示されます。ただし測定条件が異なるためGPUの基数だけで速度を比較できません。

◆最大8件のリクエストを同時処理
Project Mayaは最大8件のリクエストを同時処理でき、複数人やAIコーディングエージェントによる利用を想定しています。8件の同時処理は8倍の生成速度を意味するものではなく、複数の要求を並行して扱うための機能です。OpenAI互換APIとAnthropic互換APIを備えており、既存のAI対応アプリから指示を送信できます。

◆なぜGPUに収まらないモデルが動くのか
巨大モデルをGPU1基から動作させる鍵は「MoE」と呼ばれる技術で「Expert」という複数の専門的な計算部分を用意。よく利用するExpertをGPUのVRAMに置き、次に使うものをRAMへ配置し、残りをSSDに保存して必要に応じて入れ替えます。

◆量子化モデルごとの容量と品質
もう1つの工夫がモデルの数値を少ないビット数で保存する「量子化」です。GLM-5.3-Flash向けには容量73.4GBの「Maya-XS」、96.5GBの標準版「Maya-S」、24GB以下のGPU向けの「Maya-S24」、116GBの「Maya-M」、156.3GBの「Maya-L」が用意されています。

公式のゼロショット評価ではMaya-XSが元のFP8モデルの92.4%、Maya-Sが97.9%、Maya-Lが99.2%の精度を維持したと報告されています。これは特定の評価問題の相対値であり、全質問の正答率とは異なります。

モデルの種類容量元のFP8モデルに対する精度
Maya-XS73.4GB92.4%
Maya-S96.5GB97.9%
Maya-S2494.7GB97.7%
Maya-M116GB97.9%
Maya-L156.3GB99.2%


◆実行するために必要なメモリ容量
公式ドキュメントによる推奨VRAMとメインメモリの合計はMaya-XSで88GB、Maya-Sで128GB、Maya-Lで192GBとなっています。動作の最低条件は対応GPU・メインメモリ32GB・SSDですが、実際にメインメモリ64GB・VRAMが8GBのビデオカードで起動しようとすると「VRAMが足りない」とエラーが発生し起動できませんでした。


◆まとめ
Project Mayaは巨大なAIモデルを手元の機器で扱うための選択肢ですが、必要なメモリやSSD性能を事前に確認することが重要です。

View the original on GIGAZINE →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.