LLM（大規模言語モデル）完全ガイド — AI Heartland

LLMをローカルで動かす・APIで提供する・最適化するためのOSSが急速に充実している。量子化・推論サーバー・モデル管理を組み合わせれば、クラウドAPIに頼らずに高性能なLLM環境を構築できる。コスト削減・プライバシー保護・レイテンシ改善など、ローカル実行のメリットは大きい。

実行環境GPU・CPU・Apple Siliconなど対応ハードウェア

推論速度量子化・バッチ処理・KVキャッシュで高速化

メモリ効率GGUF・GPTQ・AWQなど量子化形式の選択

モデルサイズ1Bから70B+まで用途に応じたサイズ選定

ローカルでLLMを試したいOllamaでワンコマンド実行が最短。Apple Silicon Macなら特に相性が良い。「ローカル実行・推論最適化」セクションを参照。

本番APIサーバーを立てたいvLLMのOpenAI互換APIサーバーが定番。高スループットが必要なら推論最適化ツールも併用。

複数モデルを切り替えたい「応用・統合」セクションのAPIゲートウェイ・ルーターで統一エンドポイントを構築。

モデルの性能を比較したい「モデル管理・評価」セクションのベンチマークツールで定量評価。用途に合ったモデル選定ができる。

ローカル実行・推論最適化

LLMのローカル実行・量子化・推論サーバー構築

LLM Magnitudeとは｜Claude Code接続専用のOSSローカル推論サーバーを実機で徹底検証するMagnitude（magnitudedev、★3,656・Apache-2.0）は、Claude CodeなどのAIエージェント専用に設計されたローカル推論サーバーだ。ハー... 2026.09.17

LLM WASTE解説｜Kimi K3 2.78TをNVMeで動かすC製推論エンジンと「RAM増設が効かない」実測WASTE（sqliteai/waste・★1,977・Apache-2.0）は2.78兆パラメータのKimi K3をNVMeからストリーミングして64GB MacBookで... 2026.08.10

LLM voiceboxとは｜音声クローンをローカルで動かすElevenLabs代替のオープンソースAI音声スタジオ音声クローンと音声合成、口述入力をローカルで完結させるオープンソースのAI音声スタジオ「voicebox」を解説。Tauri製デスクトップアプリに7つのTTSエンジンとWhi... 2026.07.24

LLM KTransformers解説｜24GB VRAMでDeepSeek-R1級MoEを動かすCPU/GPUヘテロ推論KTransformers（kvcache-ai・★18,900超・Apache-2.0）は、MoEの専門家をCPUへ、注意層とKVキャッシュをGPUへ置くCPU/GPUヘテ... 2026.07.23

LLM omlx徹底解説｜Apple Silicon専用・OpenAI/Anthropic両対応のローカルLLMサーバーを実測omlx（jundot/omlx・★17,900超・Apache-2.0）はApple Silicon専用のローカルLLM推論サーバー。OpenAIとAnthropicの両A... 2026.07.19

LLM llmfit完全ガイド｜ローカルLLMの判定を1コマンドで済ませる使い方AlexsJones/llmfitは、GPU・VRAM・RAMを検出して『今の自分のPCで動くローカルLLM』を1コマンドで判定するRust製のCLI／TUIツール。★34,... 2026.07.13

LLM Ollama API完全ガイド2026｜REST・OpenAI互換・Python/JSでローカルLLMを叩くOllama APIは、ローカルで動くLLMをHTTPで叩くためのREST API。/api/generate・/api/chatのネイティブAPIと、/v1のOpenAI互... 2026.07.06

LLM GLM-5.2 使い方・解説｜Z.aiの744B MoEオープンモデルをローカル運用＋ベンチ比較Z.ai（智谱AI）が公開したGLM-5.2の使い方と実力を、Hugging Faceモデルカードの公式情報で解説。744B MoE・1Mコンテキスト・MITライセンス、公称... 2026.06.17

LLM VoxCPM2｜トークナイザレス多言語TTSをローカルで動かす（音色設計・クローニング対応）VoxCPM2はOpenBMBのトークナイザレス多言語TTS。Apache-2.0・約25,576★で日本語含む30言語に対応し、テキスト記述からの音色設計とゼロショットボイ... 2026.06.04

LLM Gemma 4 12Bとは｜16GBノートで動かす手順・QAT/Q4_K_M量子化・256K文脈とベンチGemma 4 12BはGoogle DeepMindが2026年6月3日に公開したApache 2.0のオープンモデル。Vision/Audioのエンコーダを廃して線形射影... 2026.06.04

LLM Codex CLIをローカルLLMで動かす｜Ollama連携でgpt-ossに接続する手順と性能の限界Codex CLIをローカルLLMで動かす手順。Ollamaの『ollama launch codex』一発でgpt-oss等のOSSモデルに接続でき、API課金もレート制限... 2026.05.16

LLM DFlash × vLLM の使い方｜投機的デコーディングを最大6倍にするブロック拡散ドラフトvLLM で DFlash を使う手順を中心に解説。DFlashはブロック拡散モデルでドラフトトークンを並列生成する投機的デコーディングの手法で、vLLM mainlineに... 2026.05.07

LLM OpenOats：会議音声をローカルで転記しLLMと対話できるツール会議音声をMac上で完全ローカル転記し、Claude・GPT-4oなどのLLMで内容を検索・対話できるOSSツール。プライバシーを守りながら議事録作成を効率化しよう。概要 O... 2026.03.26

LLM Distributed Llama：家庭用デバイスを繋ぐだけでLLMローカル実行を高速化する分散フレームワーク家にある複数のPCやRaspberry PiをLANで繋ぎ、テンソル並列処理でLLMローカル実行を高速化するC++製フレームワーク。Llama・Qwen3・DeepSeekに... 2026.03.24

LLM bitnet.cpp（BitNet）とは｜Microsoftの1ビットLLM推論フレームワークをCPUだけで動かすbitnet.cpp（microsoft/BitNet）はBitNet b1.58専用の公式推論フレームワーク。1.58bit量子化でメモリを80〜90%削減し、CPUだけで... 2026.03.24

LLM ClaraVerse：LLMローカル実行対応のプライバシー重視プライベートAIプラットフォーム完全ガイドClaraVerseはChatGPT・Claudeをセルフホストし、データを外部送信せずLLMローカル実行できるオープンソースプラットフォームです。マルチモーダル対応、N8N... 2026.03.23

応用・統合

チャットUI・APIゲートウェイ・マルチモデルルーティング

LLM SpatialLM：空間情報を言語モデルに統合する研究フレームワーク地理的座標や空間関係を大規模言語モデルに組み込むための研究基盤。空間推論能力を備えたAIシステムの構築を支援。GitHubで公開中、4424スター獲得。概要 SpatialL... 2026.03.31

すべてのツール

新着順に全57件を表示

LLM Clairicとは｜Cloudflareの生成しない抽出モデルとstructured outputの使い分けClairicはCloudflareが2026年10月19日にWorkers AIでプレビュー公開した抽出モデル。文章を生成せず、数値・日付・推定値を型つきで返す。公式スキー... 2026.10.20

LLM OpenRouterとは｜使い方・料金・無料モデルの制限と、OpenAI互換APIで複数モデルを切り替える方法OpenRouterは、各社のLLMを1つのキーとOpenAI互換のAPIで呼べるサービスです。料金の見方（上乗せなしのトークン単価と購入時の手数料）、:freeモデルの1日... 2026.10.18

LLM Hugging Faceとは｜使い方・モデルの探し方・hf CLIでのダウンロードとライセンスの見方Hugging Faceは、AIモデルやデータセットを公開・共有するサービスです。モデルの探し方、カードで見るライセンスとゲート、hf CLIでのダウンロード、hugging... 2026.10.18

LLM d1-ultraとは｜Liquid AIの決定モデルにJevのPython SDKから送る中身を実測で確かめたd1-ultraはLiquid AIが2026-10-15に出した、文章を書かずに答えごとの確率を返すホスト型の決定モデル。JevのPython SDK 0.7.5を向け先だ... 2026.10.17

LLM Indra OCRはApache-2.0ではない｜コードと重みでライセンスが分かれるOCRモデルIndra OCRはCPUで動く1Mパラメータの軽量OCR。ただしOCR ライセンスの実体はコードがApache-2.0、モデル重みが改変OpenRAIL-Mで分かれる。Py... 2026.10.14

LLM liftとは｜PDF 構造化抽出の9BモデルをGitHubのApache-2.0表示だけで判断してはいけないliftはPDF 構造化抽出のための9Bビジョンモデル。GitHubはApache-2.0と表示するが重みは別ファイルのOpenRAIL-M改変版で、売上5M USD超の企業... 2026.10.05

LLM pg-jevとは｜Postgres 自然言語クエリをWHERE句に埋める拡張を鍵なしで実走させ課金行数を数えたpg-jevはPostgres 自然言語クエリをWHERE句の述語として書ける拡張。同梱のモックAPIを差し替えてAPIキー0本で実走させ、READMEの主張をリクエスト数と... 2026.10.05

LLM Clefとは｜Cloudflareの決定モデルの「Jev互換」を両側のJSONを生成して突き合わせたClefはCloudflareが公開した決定モデル。テキストでなく型つき確率を返す。公式ブログとHugging Faceの重みは参照せず、公開初日に生えた実装9本と当サイトの... 2026.10.03

LLM jev-seoとは｜URL1本から作るSEO監査をAPIキー無しで実走させ52ルールと3つの拒否を実測jev-seoはホームページのURL1本からサイトを巡回し、52ルールで事実を測り、意味だけをJevに型つきで聞いてPDF・XLSX・Markdownを作るMITのPytho... 2026.10.01

LLM Gemini 4 Argonとは｜いつ使える？出力上限1M・価格・ベンチ19行を公式チャートと公式SDKで実測Gemini 4 Argonはいつ使えるのか。Googleが2026-09-30に発表した新モデルは出力上限が64Kから1Mへ、価格は入力2ドル・出力10ドル。提供はFair... 2026.10.01

LLM Decisions APIとは｜Jevの対抗馬と同名OSS実装の差をスキーマ15ケースで実測OpenAIがDevDayで発表したDecisions APIは、文章を生成せず選択肢から答えを返す決定モデルのAPI。技術文書が未公開の現時点で何が分かっているかを整理し、... 2026.09.30

LLM train-llm-from-scratchとは｜素のPyTorchでLLMを作る教材をパラメータ実測で検証train-llm-from-scratchは、事前学習から報酬モデル・DPO・PPO・GRPOまでを素のPyTorchだけで書いた学習教材。star 11.5kのリポジトリ... 2026.09.28

LLM Laya-MLXとは｜Apple SiliconでLayaの型つき判定を7〜13msで動かすMLX移植を実測Laya-MLXはLayaの型つき判定モデルをApple SiliconのMLXで動かすApache-2.0の移植。star 4.4kの本体をLinuxにも入れて依存の切り分... 2026.09.22

LLM Laya-CoreMLとは｜Apple Neural Engineで型つき判定を約5msで動かすオフラインOSSを実測Laya-CoreMLはApple SiliconのNeural Engineで型つき判定を返すApache-2.0のOSS。文章を生成せず確率だけを返す設計で、公称はM3 ... 2026.09.22

LLM OpenJevとは｜Jev互換のSystem One決定サーバを自前GPUで動かすOSSをソースで実測OpenJevはTypeSafeのJevと同じwire APIを自前GPUで提供するApache-2.0のOSS。拡散モデルDiffusionGemmaを1回読むだけで型つき... 2026.09.21

LLM Jev対応OSS 11選｜ブラウザ操作・MCP・コードレビュー・Claude Code文脈選別まで実測で見る使いどころJev対応OSS 11本（jev-ultrafast・typesafe-mcp・jev-mcp・SemDecide・Winnow・Jev Reviewなど、TypeSafe ... 2026.09.19

LLM Jevとは｜文章を返さないSystem Oneモデルの正体を公式SDKのコードで実測し、Claude Codeで試すJev（TypeSafe AI）は文章を1文字も生成せず、型つきの判定と確率だけを返す「System Oneモデル」。MITで公開された公式SDKと、Claude Codeを... 2026.09.18

LLM Magnitudeとは｜Claude Code接続専用のOSSローカル推論サーバーを実機で徹底検証するMagnitude（magnitudedev、★3,656・Apache-2.0）は、Claude CodeなどのAIエージェント専用に設計されたローカル推論サーバーだ。ハー... 2026.09.17

LLM Tencent AuKとは｜TTS・音声編集・分離を1つの指示で行う1.5B音声基盤モデル（MIT）の仕組みと要件Tencent AuK（Tencent-Hunyuan/AuK・MIT・1.5B）は、ゼロショットTTS・発話内容の書き換え・感情や音色の変更・ノイズ除去・話者分離など16タ... 2026.09.15

LLM LLM 自作は本当に2時間で終わるか｜minimindを16GB MacBook Air (M2) で実測LLM 自作の定番教材 minimind（★59,466）は「3元・2時間で64Mの言語モデルをゼロから」と掲げる。この2時間が何を指すのかをREADME自身の費用表と突き合... 2026.09.08

LLM TurboFieldfareとは｜26BのGemma 4を約2GBのRAMで動かすSwift製ランタイムの実像TurboFieldfare（★6,602・Apache-2.0）は26BのGemma 4を約2GBのRAMで動かすSwift＋Metal製ランタイム。「8GBのMacでも動... 2026.09.04

LLM slotstream実測｜104GBのMoEを48GB Macで動かすSSDストリーミングの仕組みと限界slotstream（★246・MIT）は104GBのQwen3.8-Flash-Next MoEをSSDから流し、48GB Macで約12 tok/sを出すと公称するSwi... 2026.09.03

LLM awesome-gemma徹底解説｜Google公式Gemmaリンク集111本の内訳と使い分けを実測で読むawesome-gemmaはGoogleのgoogle-gemma orgが2026年8月19日に公開したGemmaリンク集。111本のエントリをclone後に機械集計し、G... 2026.08.23

LLM WASTE解説｜Kimi K3 2.78TをNVMeで動かすC製推論エンジンと「RAM増設が効かない」実測WASTE（sqliteai/waste・★1,977・Apache-2.0）は2.78兆パラメータのKimi K3をNVMeからストリーミングして64GB MacBookで... 2026.08.10

LLM MiniMax H3とは｜2K・15秒・音声同時生成のオムニモーダル動画モデルを公開重みとAPIの差で解説MiniMax H3は2026年7月31日発表・8月3日に重みが公開されたオムニモーダル動画生成モデル。テキスト/画像/動画/音声を受けて2K・15秒の音声つき動画を返す。公... 2026.08.05

LLM ESP32 LLM実装esp32-ai解説｜$8マイコンで28.9Mを動かすPer-Layer EmbeddingsESP32 LLMの実装esp32-aiは、$8のESP32-S3で28.9Mパラメータのモデルを外部通信なしに動かすOSSです。その28.9Mを3層メモリ会計へ分解し、PL... 2026.07.28

LLM Unlimited-OCR解説｜AI OCRで数十ページを一括処理するBaiduのOSSとKVキャッシュ固定の仕組みUnlimited-OCR（baidu・スター約1.9万・MIT）は数十ページの文書を1回の推論で読み切るAI OCRモデル。KVキャッシュを固定長に保つR-SWAの仕組み、... 2026.07.26

LLM gigatoken解説｜トークナイザーをGB/sで回す1000倍高速化の中身と再現条件gigatokenはトークナイザーをGB/s級で回すRust実装。「HuggingFace比1000倍」の主張を公式実測表で読み直すと、989倍と106倍を分けるのは機体とト... 2026.07.26

LLM voiceboxとは｜音声クローンをローカルで動かすElevenLabs代替のオープンソースAI音声スタジオ音声クローンと音声合成、口述入力をローカルで完結させるオープンソースのAI音声スタジオ「voicebox」を解説。Tauri製デスクトップアプリに7つのTTSエンジンとWhi... 2026.07.24

LLM KTransformers解説｜24GB VRAMでDeepSeek-R1級MoEを動かすCPU/GPUヘテロ推論KTransformers（kvcache-ai・★18,900超・Apache-2.0）は、MoEの専門家をCPUへ、注意層とKVキャッシュをGPUへ置くCPU/GPUヘテ... 2026.07.23

LLM omlx徹底解説｜Apple Silicon専用・OpenAI/Anthropic両対応のローカルLLMサーバーを実測omlx（jundot/omlx・★17,900超・Apache-2.0）はApple Silicon専用のローカルLLM推論サーバー。OpenAIとAnthropicの両A... 2026.07.19

LLM llmfit完全ガイド｜ローカルLLMの判定を1コマンドで済ませる使い方AlexsJones/llmfitは、GPU・VRAM・RAMを検出して『今の自分のPCで動くローカルLLM』を1コマンドで判定するRust製のCLI／TUIツール。★34,... 2026.07.13

LLM Ollama API完全ガイド2026｜REST・OpenAI互換・Python/JSでローカルLLMを叩くOllama APIは、ローカルで動くLLMをHTTPで叩くためのREST API。/api/generate・/api/chatのネイティブAPIと、/v1のOpenAI互... 2026.07.06

LLM GLM-5.2 使い方・解説｜Z.aiの744B MoEオープンモデルをローカル運用＋ベンチ比較Z.ai（智谱AI）が公開したGLM-5.2の使い方と実力を、Hugging Faceモデルカードの公式情報で解説。744B MoE・1Mコンテキスト・MITライセンス、公称... 2026.06.17

LLM VoxCPM2｜トークナイザレス多言語TTSをローカルで動かす（音色設計・クローニング対応）VoxCPM2はOpenBMBのトークナイザレス多言語TTS。Apache-2.0・約25,576★で日本語含む30言語に対応し、テキスト記述からの音色設計とゼロショットボイ... 2026.06.04

MCP Headroom｜LLMプロンプトを60〜95%圧縮しトークンを削減するOSSミドルウェアの仕組みと使い方Headroomはツール出力・ログ・RAGチャンクをLLMに渡す前に60〜95%圧縮するApache 2.0のプロンプト圧縮ミドルウェア。トークンコスト削減とRAG精度維持を... 2026.06.04

LLM Gemma 4 12Bとは｜16GBノートで動かす手順・QAT/Q4_K_M量子化・256K文脈とベンチGemma 4 12BはGoogle DeepMindが2026年6月3日に公開したApache 2.0のオープンモデル。Vision/Audioのエンコーダを廃して線形射影... 2026.06.04

LLM MiniMax M3｜SWE-Bench Pro 59.0%のオープンウェイトモデルをMSAアーキ・1M文脈で読み解くMiniMax M3は2026年6月1日公開のオープンウェイトモデル。SWE-Bench Pro 59.0%を主張し、新アーキMSAで1M文脈とネイティブマルチモーダルを両立... 2026.06.03

LLM Microsoft MAI-Thinking-1とMAIファミリー7モデル——OpenAI依存を切る独自AI戦略Microsoft Build 2026で発表された自社開発7モデル「MAIファミリー」を解説。主力MAI-Thinking-1は35B active MoE・256Kで、盲... 2026.06.03

LLM Codex CLIをローカルLLMで動かす｜Ollama連携でgpt-ossに接続する手順と性能の限界Codex CLIをローカルLLMで動かす手順。Ollamaの『ollama launch codex』一発でgpt-oss等のOSSモデルに接続でき、API課金もレート制限... 2026.05.16

MCP PageIndex完全ガイド：Embeddingを捨てるRAGがFinanceBench 98.7%を取るPageIndexはベクトルDBを使わず、長文PDFから階層ツリー・インデックスを構築しLLMがツリー推論で答えを引く新方式RAG。FinanceBench 98.7%精度、... 2026.05.09

LLM DFlash × vLLM の使い方｜投機的デコーディングを最大6倍にするブロック拡散ドラフトvLLM で DFlash を使う手順を中心に解説。DFlashはブロック拡散モデルでドラフトトークンを並列生成する投機的デコーディングの手法で、vLLM mainlineに... 2026.05.07

LLM Kimi K2.6とは｜Moonshot AIの1兆パラメータ・オープンLLMを使い方まで解説Kimi K2.6とは何かを公式情報で解説。Moonshot AIのオープンウェイト1兆パラメータMoEモデルで、SWE-Bench ProではGPT-5.4を上回る58.6... 2026.04.21

LLM GLM-Skills の使い方｜Zhipu AI 公式17スキルの一覧とClaude Codeへの入れ方Zhipu AI公式のGLM Skills（zai-org/GLM-skills）を解説。2026年10月時点の現行READMEにある17スキルの一覧、npxでの導入、ZHI... 2026.04.02

LLM AIマーケティングを実装する｜ai-marketing-skills 27スキルの中身と導入手順AIマーケティングを「概念」でなく実装で扱うOSS、ai-marketing-skills を解説。2026年8月時点で27スキル・31ディレクトリの実構成、うち8つが動画/... 2026.04.02

LLM SpatialLM：空間情報を言語モデルに統合する研究フレームワーク地理的座標や空間関係を大規模言語モデルに組み込むための研究基盤。空間推論能力を備えたAIシステムの構築を支援。GitHubで公開中、4424スター獲得。概要 SpatialL... 2026.03.31

LLM Microsoft Lida：自然言語からデータビジュアライゼーション自動生成するAIツールテーブルデータを自然言語で指示するだけで、視覚化とグラフ生成を自動実行。データ分析の初期段階を効率化し、技術スキル不問でインサイト抽出を加速させる。GitHubで3236スタ... 2026.03.30

LLM awesome-n8n - 実務的なn8nワークフローテンプレート集の活用ガイドawesome-n8nは2800スター超のn8n向け実務ワークフローテンプレート集。通信・ドキュメント生成・AI/LLMなど複数カテゴリに整理されており、ゼロから自動化フロー... 2026.03.28

LLM CAI（Cybersecurity AI）とは｜9000スター超のAIペネトレーションテスト自動化フレームワークCAI（Cybersecurity AI）はAlias Robotics開発、GitHub9,000スター超のAIセキュリティフレームワーク。LLMエージェントによるペネトレ... 2026.03.28

LLM Heretic（LLM検閲解除ツール）とは｜abliterationを自動化して安全性フィルタを外す仕組みと使い方Heretic（heretic llm）はLLMの検閲解除＝safety alignment除去を全自動化するOSS。abliteration（directional abl... 2026.03.27

RAG AI reads books：PDFをページ単位でAI解析し知識ベースを自動構築するPythonスクリプト完全ガイドAI reads booksは、PDFをページ単位でAIに分析させ、知識ポイントの抽出と定期的なサマリー生成を自動化するPythonスクリプト。中断からの再開機能やTOC自動... 2026.03.27

LLM OpenOats：会議音声をローカルで転記しLLMと対話できるツール会議音声をMac上で完全ローカル転記し、Claude・GPT-4oなどのLLMで内容を検索・対話できるOSSツール。プライバシーを守りながら議事録作成を効率化しよう。概要 O... 2026.03.26

LLM MoneyPrinterV2完全ガイド：YouTube Shorts・Twitter Bot・アフィリエイトを全自動化するPythonツール【3万スター】MoneyPrinterV2はYouTube Shorts自動生成・Twitter Bot・アフィリエイトを全自動化するPython OSS。GitHub Stars 29,... 2026.03.24

LLM RealtimeTTS：テキスト音声変換オープンソースで実現するLLM応答のゼロ遅延音声化手法テキスト音声変換オープンソースの決定版。LLMの最初のトークンから音声を開始するPythonライブラリで、10種以上のエンジンを統一APIで切り替え可能。AIアシスタント開発... 2026.03.24

LLM Distributed Llama：家庭用デバイスを繋ぐだけでLLMローカル実行を高速化する分散フレームワーク家にある複数のPCやRaspberry PiをLANで繋ぎ、テンソル並列処理でLLMローカル実行を高速化するC++製フレームワーク。Llama・Qwen3・DeepSeekに... 2026.03.24

LLM bitnet.cpp（BitNet）とは｜Microsoftの1ビットLLM推論フレームワークをCPUだけで動かすbitnet.cpp（microsoft/BitNet）はBitNet b1.58専用の公式推論フレームワーク。1.58bit量子化でメモリを80〜90%削減し、CPUだけで... 2026.03.24

LLM ClaraVerse：LLMローカル実行対応のプライバシー重視プライベートAIプラットフォーム完全ガイドClaraVerseはChatGPT・Claudeをセルフホストし、データを外部送信せずLLMローカル実行できるオープンソースプラットフォームです。マルチモーダル対応、N8N... 2026.03.23

FAQよくある質問

LLM（大規模言語モデル）とは？: LLM（Large Language Model）は大量のテキストデータで訓練された言語モデル。文章生成・要約・翻訳・コード生成など幅広いタスクに対応する。GPT・Claude・Llama・Gemmaなどが代表的なモデル。
ローカルLLM実行に必要なスペックは？: 7Bモデルなら8GB以上のVRAM（またはRAM）、13Bモデルなら16GB以上が目安。量子化（GGUF等）を使えば必要メモリを半分以下に削減可能。Apple SiliconのMacならUnified Memoryで効率的に動作する。
vLLMとOllamaの違いは？: vLLMは高スループットの推論サーバーで、本番API提供に最適。PagedAttentionによる効率的なメモリ管理が特徴。OllamaはローカルでのLLM実行を簡単にするツールで、ワンコマンドでモデルのダウンロード・実行が可能。開発・実験ならOllama、本番運用ならvLLMが向いている。
LLMのfine-tuning（ファインチューニング）はいつ必要？: プロンプトエンジニアリングやRAGで十分な精度が出ない場合にfine-tuningを検討する。特定ドメインの専門用語・文体・フォーマットへの適応が主な用途。LoRAやQLoRAを使えば少ないリソースでも実行可能。
RAGとLLMの違いは？: LLMは訓練データに基づいて回答するため、最新情報や社内データには対応できない。RAG（検索拡張生成）はLLMに外部データ検索を組み合わせる手法で、最新情報や独自データに基づく回答を生成できる。LLMが頭脳、RAGが参考資料という関係。