ローカルLLMとは自分のPCや社内サーバーの上で動かす大規模言語モデルのこと。重みが公開されたモデルを落として、Ollama や LM Studio で動かす。推論が手元で完結するので、入力はクラウドに送られない。この記事は、2026年10月時点のおすすめモデルとツール、必要なPCスペックを、各モデルの公式リポジトリとツールの公式ドキュメントで確かめて並べ直した。
LOCAL OR CLOUD何が違うか
入力を手元に残す代わりに、性能の上限はPCで決まる
クラウドのLLM
ChatGPT・Claude など
- 入力は事業者のサーバーへ
- 従量課金・月額
- 最上位モデルが使える
ローカルLLM
Ollama・LM Studio など
- 入力は手元に残る
- ツールとモデルの多くは無料
- 動くモデルはメモリで決まる
30秒でわかるローカルLLM
・何ができる：Gemma 4・Qwen3.5/3.6・gpt-oss などのオープンウェイトモデルを手元で動かす
・何を解決する：入力の外部送信、従量課金、レート制限、オフラインで使えないこと
・何を代替する：開発・検証用途や機密データを扱う場面のクラウドLLM API
・決め手：動くモデルの大きさはGPUのVRAM（Macはユニファイドメモリ）で決まる。8GBなら小型、16GBで20B級、80GBで100B級
ローカルLLMとは？クラウドとの違いとメリット・デメリット
クラウドのLLM（ChatGPT や Claude）は、入力を事業者のサーバーへ送って答えを受け取る。ローカルLLMは同じ処理を自分の機械で行う。Ollama の公式FAQは「ローカルで動かしている間はプロンプトもデータも見えない」と書き、LM Studio の公式ドキュメントも「モデルを落とした後は、チャットに入れた内容は端末の外に出ない」と書いている。
| 観点 | ローカルLLM | クラウドLLM |
|---|---|---|
| 入力の行き先 | 手元に残る | 事業者のサーバー |
| 費用 | PCと電気代。ツールとモデルの多くは無料 | 従量課金か月額 |
| 性能の上限 | PCのメモリで決まる | 最上位モデルが使える |
| オフライン | モデルを落とせば動く | 動かない |
| 手間 | 導入・更新を自分で | 不要 |
デメリットは、性能の上限がPCのメモリで決まることだ。クラウドの最上位モデルと同じ答えを手元で出すのは難しく、長い文脈を扱うほどメモリも要る。規制業種で「データを外に出せない」、大量の処理で従量課金が重い、オフラインで使いたい、のどれかに当たるならローカルの価値が大きい。
必要なPCスペック：メモリで動くモデルが決まる
MEMORY DECIDESメモリ別の目安
動くモデルはVRAM（Macはメモリ）で決まる
-
8GB
Gemma 4 E2B など小型
Ollama Quickstart: DL約7.2GB・VRAM 8GB推奨
-
16GB
gpt-oss-20b
OpenAI: MXFP4で16GBのメモリに収まる
-
24〜48GB
27B〜35B級（Qwen3.6・Gemma 4 31B）
4bitで重みだけ約14〜18GB（本記事の見積もり）
-
80GB
gpt-oss-120b
OpenAI: 80GBのGPU1枚に収まる
目安はGPUのVRAM（Apple Silicon の Mac はユニファイドメモリ）。足りない分はシステムのRAMに回って動くが、遅くなる。公式が出している数字は次のとおり。
| メモリ | 公式の記述 | 出典 |
|---|---|---|
| 8GB | gemma4:e2b はダウンロード約7.2GB、VRAM 8GB を推奨 | Ollama Quickstart |
| 16GB | gpt-oss-20b は16GBのメモリで動く（MXFP4量子化） | openai/gpt-oss README |
| 80GB | gpt-oss-120b は80GBのGPU1枚（H100 など）に収まる | openai/gpt-oss README |
| 16GB（Mac） | LM Studio は Apple Silicon でメモリ16GB以上を推奨 | LM Studio System Requirements |
公式の数字が無いモデルは、4bit量子化なら「パラメータ数×約0.5バイト＋文脈の分」で見積もる。27Bなら重みだけで約14GBで、24GB級のGPUか32GB以上のMacが目安になる。文脈（コンテキスト）を伸ばすとその分メモリが要る。Ollama は既定のコンテキスト長をVRAMで変え、24GiB未満では4kトークンにしている。
GPUが無くてもCPUで動くが、数B（数十億パラメータ）の小型が現実的な上限になる。AMD の Ryzen AI 搭載PCなら、NPUも使う Lemonade という選択肢がある。
おすすめのローカルLLMモデル（2026年10月時点）
| メモリの目安 | モデル | 公式の情報 |
|---|---|---|
| 8GB前後 | Gemma 4 E2B / E4B | Google の Gemma 4 の小型版。Ollama の入門例が E2B |
| 8GB前後 | Qwen3.5-0.8B〜9B | 2026年3月公開の小型群。201の言語と方言に対応 |
| 16GB | gpt-oss-20b | OpenAI。21B（有効3.6B）、Apache 2.0 |
| 24〜48GB | Qwen3.6-27B / Qwen3.6-35B-A3B | 2026年4月公開。コーディングとエージェント用途を強化 |
| 24〜48GB | Gemma 4 26B-A4B / 31B | Gemma 4 の大型。26B は MoE |
| 80GB以上 | gpt-oss-120b | 117B（有効5.1B）、Apache 2.0 |
Qwen は2026年8月に Qwen3.8-27B も公開した。名前に「A3B」「A4B」とあるのは MoE（専門家混合）で、推論のたびに動くパラメータが少ないので、同じ大きさの密なモデルより速く動きやすい。ただし重み全体はメモリに載せる必要がある。
選び方は「入るか → 用途 → ライセンス」の順でよい。まず8GBなら Gemma 4 E2B か Qwen3.5 の小型で動かし、日本語の答えを比べる。コードを書かせるなら Qwen3.6 系、ツール呼び出しやエージェントなら gpt-oss も候補になる。ライセンスは gpt-oss が Apache 2.0、Qwen と Gemma はモデルと一緒に配られるライセンス文書で確かめる。
おすすめのツール：Ollama・LM Studio・llama.cpp・vLLM
PICK A TOOLツールの選び方
やりたいことから最初の1本を決める
やりたいこと
選ぶツール
やりたいこと: 画面でモデルを探して試す
選ぶツール: LM Studio（localhost:1234）
やりたいこと: CLIとAPIでアプリ・エージェントにつなぐ
選ぶツール: Ollama（localhost:11434）
やりたいこと: 量子化やビルドを自分で決める
選ぶツール: llama.cpp
やりたいこと: チームに配る推論サーバー
選ぶツール: vLLM
やりたいこと: AMD の NPU/GPU を使う
選ぶツール: Lemonade
| ツール | 向く人 | 既定のAPI | 詳しく |
|---|---|---|---|
| LM Studio | 画面でモデルを探して試したい | localhost:1234（OpenAI・Anthropic互換） |
LM Studioの使い方 |
| Ollama | CLIとAPIでアプリやエージェントにつなぐ | localhost:11434（OpenAI・Anthropic互換） |
Ollamaとllama.cppの違い |
| llama.cpp | 量子化やビルドの設定まで自分で決める | llama-server |
同上 |
| vLLM | 複数人に配る高スループットの推論サーバー | OpenAI互換 | 公式リポジトリ |
| Lemonade | AMD の Ryzen AI・Radeon で NPU/GPU を使う | OpenAI・Anthropic・Ollama 互換 | 公式リポジトリ |
| Unsloth | デスクトップアプリで動かし、学習も試す | — | Unslothの実測 |
最初の1本は、画面で始めるなら LM Studio、コードやエージェントにつなぐなら Ollama で足りる。Claude Code をローカルの推論サーバーにつなぐ専用の道具として Magnitude もある。
無料でローカルLLMを動かす手順と費用
Ollama なら3行で始められる（公式ドキュメントの手順。macOS・Linux）。
curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma4:e2b "ローカルLLMとは何か、1文で説明して"
curl http://localhost:11434/v1/models
ツールもモデルも無料なので、費用はPCと電気代になる。手持ちのPCで小型モデルを試し、足りなければメモリの多いPCかGPUを足すか、クラウドと併用する。社内で共有するなら、推論サーバーを1台立てて全員がAPIで呼ぶ形が安い。
ローカルLLMの注意点：ライセンス・公開設定・規制
手元で動かしても漏れる経路
・APIの公開：Ollama は既定で 127.0.0.1 だけを待ち受け、ローカルのAPIは認証を求めない。OLLAMA_HOST=0.0.0.0 でLANに開くと誰でも呼べる。LM Studio は「Require Authentication」を有効にしてから公開する
・モデルの出所：配布元の確かなモデルを使う。MCPサーバーも同じで、LM Studio は「信頼できない出所のMCPを入れない」と明記している
・ライセンス：無料で動かせても、商用での使い方はモデルごとの条件で決まる
ローカルで動かすこと自体を禁じる規制は無いが、扱うデータの法令（個人情報など）と社内規程はローカルでも同じように掛かる。手元に置いたログやプロンプトの保管も、クラウドと同じ基準で管理する。
参照ソース
- ollama/ollama（GitHub） — Quickstart・FAQ・Context length・Authentication（v0.40.6）
- LM Studio 公式ドキュメント — System Requirements・Offline Operation・MCP
- openai/gpt-oss（GitHub） — gpt-oss-20b / 120b のパラメータ数・メモリ・ライセンス
- QwenLM/Qwen3.5（GitHub） — Qwen3.5 / 3.6 / 3.8 の公開日と特徴
- google-deepmind/gemma（GitHub） — Gemma 4 のチェックポイント（E2B / E4B / 26B-A4B / 31B）
- lemonade-sdk/lemonade（GitHub） — NPU・GPU 対応のローカルAIサーバー
- vllm-project/vllm（GitHub） — 高スループットの推論サーバー
