Gemma 4 12Bとは｜16GBノートで動かす手順・QAT/Q4_K_M量子化・256K文脈とベンチ

Gemma 4 12Bを自分のPCで動かしたい人向けに、設計・量子化の選び方・実行手順・落とし穴を、2026年10月14日に確認したモデルカードの記述で整理する。LLM全般は LLMとは？仕組み・主要モデル比較・ローカル実行・量子化を一気にまとめる2026年版 を参照。

Gemma 4 12Bとは：何が新しく、何を代替するか

Gemmaは、Geminiと同じ研究基盤から派生したオープンウェイト系列だ。Gemma 4 12Bの新しさは、別モジュールだったマルチモーダル処理をLLM本体に溶かし込んだ点にある。モデルカードの表では、Gemma 4の31Bは約550M、E2B/E4Bは約150Mの画像エンコーダと約300Mの音声エンコーダを持つ。12Bはこれらが「なし」だ。

ライセンスはApache 2.0。Gemma 3までのGemma独自ライセンスから変わったため、商用組み込みや派生モデルの再配布を法務に説明しやすい。配布時の著作権表示とライセンス文の同梱義務は残る。

位置づけは「最高スコア」ではなく「手元の1台で完結するマルチモーダル」だ。同じ時期の開放重みでは MiniMax M3｜SWE-Bench Pro 59.0%のオープンウェイトモデル がクラウド級の1M文脈を狙っており、力点が逆になる。

エンコーダレス設計と256K文脈の仕組み

モデルカードは、生の画像パッチと音声波形を軽量な線形層でLLMの埋め込み空間へ射影し、単一のデコーダ専用Transformerに流すと説明している。エンコーダの完了待ちがなく、全体を一括でファインチューニングできる。初出時に参照したGoogle公式ブログの記述では、画像は48×48ピクセルのパッチ、音声は16kHzを40msフレームに区切って射影する。

文脈長は256Kトークン、スライディングウィンドウは1024トークンで、全体を見る層と交互に重ねるハイブリッド注意を採る。ただし256Kは構造上の上限だ。KVキャッシュは文脈長に比例して増えるため、16GB機では重みを4bitにしても実効文脈は頭打ちになる。KVキャッシュの量子化（int8など）で伸ばせる場合があるが、精度とのトレードオフがあり、本記事では未検証だ。全文を毎回詰めるより、RAGで必要箇所だけ入れる方が速度も安定性も良い。

ベンチマーク：公式値の読み方

以下はモデルカード掲載の12B Unified（instruction-tuned）の公称値で、すべてGoogleの自社実測だ。

同じカードで26B A4B（MoE）はMMLU Pro 82.6%、31Bは85.2%だ。12Bは半分以下のサイズで前世代27Bを上回る一方、上位サイズには届かない。MMMU Pro 69.1%、MATH-Vision 79.7%、CoVoST 38.5は初出時にモデルカードから転記した値で、今回は再照合していない。Artificial AnalysisやLMArenaの第三者横並びも確認できていないため、数値は「ベンダー公称」として読み、自分のタスクで確かめてほしい。日本語専用のベンチは公開されていない。

量子化の選び方：QAT・Q4_K_M・int8・AWQ

重みの量子化には、学習済みの重みを後から丸めるPTQ（Q4_K_M、AWQなど）と、量子化を前提に学習し直すQAT（Quantization-Aware Training）がある。2026年7月20日、GoogleはQAT版をGemma 4ファミリーに公開した。命名の w4a16 は「重み4bit・活性化16bit」の意味で、12Bには google/gemma-4-12B-it-qat-w4a16-ct がある。

2026年8月1日の実測では、12Bの公式QAT版は直近30日で1,644,096ダウンロードだった。ファミリー最多は26B-A4B-it（12,438,942）で、総パラメータは大きいがアクティブは約4B級のMoEだ。メモリに余裕があり計算資源が限られる環境ではこちらも候補になる。12Bとはメモリと計算のトレードオフが逆向きだ。

コミュニティ版GGUFのサイズ目安は次の通り（初出時の値）。

順序は、16GB機ならまず公式QAT版、重ければQ4_K_M、精度を上げたいならQ5_K_M以上だ。重みサイズは最低ラインで、画像・音声・KVキャッシュを足すと12〜14GBに達することがある。

16GBで動かす手順（Ollama・llama.cpp・Transformers）

対応ランタイムはLM Studio、Ollama、Transformers、llama.cpp、MLX、SGLang、vLLM、Unslothなど。代表としてOllamaとllama.cppを示す。以下のコマンドは、本記事では実行環境が無く未検証で、リポジトリ名は公開ページの記載に従っている。初回は小さい量子化で起動確認し、速度とメモリを見ながら上げる。

# Ollama（Q4系GGUF、約7GB）
ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL

# llama.cpp（OpenAI互換サーバ、ポート8080）
llama-server -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL

画像入力はTransformersのチャットテンプレートに画像とテキストを並べる。

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="google/gemma-4-12B-it")
messages = [{"role": "user", "content": [
    {"type": "image", "url": "https://example.com/chart.png"},
    {"type": "text", "text": "このグラフの要点を3つに要約して"},
]}]
print(pipe(text=messages, max_new_tokens=300)[0]["generated_text"])

AppleシリコンならMLX、NVIDIA GPUならllama.cpp（CUDA）かvLLMが定番だ。ローカルLLM全般は Ollama × Codex CLIでローカルLLMを使う も参考になる。

マルチモーダルの範囲・比較・落とし穴

入力はテキスト・画像・音声、出力はテキストのみ。動画はフレーム列として扱え、1フレーム/秒で最大60秒。音声は最大30秒（モデルカード）。なお本記事の初出と2026年8月の追記では動画を「非対応」と書いていたが、モデルカードに動画の入力記述があるため訂正する。

Llama 4系やQwen 3系は、同一条件の公式数値が揃わないため数値比較をしない。

落とし穴は次の通り。
・動くと実用速度は別：16GBで起動できても、長文脈や音声併用では生成が遅くなる
・Q2・IQ系まで落とすと推論や指示追従が崩れやすい。Q4前後を起点にする
・Ollama版とHF版でテンプレートやサンプリングの既定値が違う。比較検証は条件を揃える
・学習データの知識は2025年1月までが目安。以降はRAGや検索で補う

まとめ：Gemma 4 12Bが向く用途

参照ソース

・google/gemma-4-12B — Hugging Face（モデルカード）
・Introducing Gemma 4 12B — Google公式ブログ
・Gemma 4 model card — Google AI for Developers
・unsloth/gemma-4-12b-it-GGUF — Hugging Face