音声クローンを「クラウドに音声をアップロードせず、手元のマシンだけで」実現する。それがオープンソースのAI音声スタジオ voicebox（jamiepine/voicebox）です。数秒の参照音声から声を複製し、7つのTTSエンジンで23言語の音声を生成し、さらにWhisperによる口述入力（ディクテーション）まで、音声の入力と出力を1つのアプリに統合しています。
開発者は、ファイル同期OSS「Spacedrive」で知られる Jamie Pine 氏。voiceboxは公開から短期間でGitHubスター4万超を集め、クラウド型のElevenLabs（出力＝音声生成）とWispr Flow（入力＝音声口述）という2つのサービスの役割を、ローカル完結の1アプリでまかなう構成を打ち出しています。本記事では、voiceboxが「何ができて・何を解決し・何を代替できるのか」を公式リポジトリの一次情報から整理し、あわせて音声クローンならではの悪用リスクと対策まで踏み込みます。
- ・正体：Jamie Pine 氏（Spacedrive作者）によるローカル完結型のAI音声スタジオ。GitHubスター約46,000・ライセンスはMIT（アプリ本体）。
- ・何ができる：数秒の音声からゼロショットの音声クローン／7エンジンで23言語の音声合成／Whisperでの口述入力／MCP経由でAIエージェントに声を与える。
- ・何を解決する：「音声を生成AIに預けたくない」「入力（口述）と出力（生成）でツールが分かれて面倒」という2つの不満を、手元のマシン1つに集約する。
- ・何を代替できる：ElevenLabs（生成）とWispr Flow（口述）の役割を1アプリで。ただし品質やモデルの得意分野は用途次第で、単純な上位互換ではない。
- ・注意：他人の声の無断クローンはなりすまし・詐欺のリスク。同意の取得と用途の限定が前提。本記事は公式README・ドキュメントに基づく整理で、編集部での実機計測は行っていません。
この記事では音声クローン／音声合成のOSSとしてvoiceboxを解説します。背後で使われるモデルやローカル実行・量子化の一般的な仕組みは LLMとは？仕組み・主要モデル比較・ローカル実行・量子化を一気にまとめる2026年版 をご覧ください。
voiceboxとは：ローカル完結の「AI音声スタジオ」
voiceboxを一言でいえば、音声クローンと音声合成、そして口述入力を1つに束ねたローカルファーストのデスクトップアプリです。公式は「The open-source AI voice studio. Clone, dictate, create.（オープンソースのAI音声スタジオ。クローン、口述、制作。）」と表現しています。
この分野のクラウド勢は、音声の「入り口」と「出口」で棲み分けています。ElevenLabsはテキストから音声を作る出力側の代表格で、Wispr Flowは話した言葉を文字に起こす入力側の代表格です。voiceboxはこの両方を1つのアプリで担い、あいだをローカルLLMでつないで、すべてを自分のマシンの上で動かす——ここが設計思想の核心です。
技術的にも、この「手元で完結」の思想が徹底されています。デスクトップの外殻は Electron ではなく Tauri（Rust） で作られ、ネイティブに近い動作を狙っています。推論は macOS では MLX（Metal）、Windows/Linux では PyTorch（CUDA/ROCm/DirectML/XPU）、あるいは CPU と、環境に応じて切り替わります。モデル・音声データ・録音（キャプチャ）は原則としてマシンの外に出ない、と公式は説明しています。
・何ができるアプリか：声を複製し、テキストから話させ、話した言葉を文字にする。音声にまつわる入出力を一箇所で扱える
・何を解決するか：音声データをクラウドに預ける不安と、入力ツール／出力ツールが分断されている面倒を、同時に解消する
・何を代替しうるか：ElevenLabs（生成）とWispr Flow（口述）を、ローカルの1アプリに寄せる
① 何ができる：音声クローン＋音声合成＋口述入力の統合。② 何を解決する：クラウド依存と入出力ツールの分断。③ 何を代替できる：ElevenLabs＋Wispr Flowの役割を、ローカル完結で。
主な機能：7つのTTSエンジンと音声クローン
voiceboxの中心機能は、やはり音声クローンです。参照音声を数秒与えるだけの「ゼロショット・クローニング」に対応し、参照なしで使える50以上のプリセット音声（KokoroやQwen CustomVoice由来）も用意されています。声のプロファイルはアプリ内で録音するか、音声ファイルを読み込むか、システム音声から取り込むかを選べます。
7つのTTSエンジンを使い分ける
voiceboxは単一モデルに固定せず、生成ごとに7つのTTSエンジンを切り替えられます。それぞれ得意分野が異なり、用途で選ぶ設計です。
| エンジン | 対応言語 | 特徴（公式READMEより） |
|---|---|---|
| Qwen3-TTS（0.6B/1.7B） | 10 | 高品質な多言語クローン。「ゆっくり話す」等の指示に対応 |
| Qwen CustomVoice | 10 | 参照音声不要のプリセット9種。自然言語で話し方を指定 |
| LuxTTS | 英語 | 軽量（約1GB VRAM）・48kHz出力・CPUで高速とされる |
| Chatterbox Multilingual | 23 | 最も広い言語カバレッジ（アラビア語・ヒンディー語・スワヒリ語など） |
| Chatterbox Turbo | 英語 | 350Mの高速モデル。[laugh]等の感情タグを解釈 |
| HumeAI TADA（1B/3B） | 10 | 長尺（700秒超）でも一貫した音声を狙う |
| Kokoro | 8 | プリセット50種・82Mの小型モデル・CPUで高速 |
感情表現では、Chatterbox Turbo のみが [laugh]（笑う）・[sigh]（ため息）・[gasp]（息をのむ）といった「パラ言語タグ」を音声として解釈します。他のエンジンではタグは文字どおり読み上げられる、と明記されています。誇張せず言えば、「全エンジンで感情タグが使える」わけではなく、エンジンごとに機能差がある点は導入前に押さえておきたいところです。
生成のあとの作り込みと、複数話者の物語編集
生成した音声はそこで終わりではありません。Spotifyのpedalboardライブラリを使った8種のエフェクト（ピッチシフト・リバーブ・ディレイ・コーラス・コンプレッサーなど）を後処理でかけられ、プリセットとして保存・再利用できます。長文は文の区切りで自動分割して個別に生成し、クロスフェードでつなぐため、記事や章単位の長尺も扱えます（最大5万文字）。
「Stories」エディタでは、複数の声のクリップをマルチトラックのタイムラインに並べ、会話・ポッドキャスト・ナレーションを組み立てられます。ドラッグ＆ドロップでの配置、インラインでのトリミング、トラックごとのバージョン固定などに対応します。
話した言葉を文字に：口述入力とCaptures
voiceboxは「作る（出力）」だけでなく「取り込む（入力）」側も充実しています。グローバルホットキーを押しながら話すと、macOSではフォーカス中のテキスト欄にそのまま文字が貼り付けられます（アクセシビリティ権限が前提）。押している最中にSpaceをタップするとトグル録音に切り替わるなど、押しっぱなし（Push-to-talk）とタップ切り替えの両モードが用意され、割り当てキーも変更できます。アプリ内の各テキスト欄にはマイクボタンがあり、生成フォームでもプロファイル説明欄でも直接ディクテーションできます。
文字起こしにはOpenAIのWhisper（またはWhisper Turbo）を使い、口述・アプリ内録音・アップロードした音声はすべて「Captures」タブに原音とセットで保存されます。Capturesに溜まった音声は、別サイズのWhisperで再文字起こししたり、ローカルLLMでフィラー（「えーと」等）や言い直しを除去したり、そのままクローン音声で読み上げたり、参照サンプルとして音声プロファイルに昇格させたりできます。「一度取り込んだ声を使い回せる」設計は、ローカル完結ならではの安心感につながります。ここでの音声合成（ローカルTTS）とWhisper（STT）、そして整形用のローカルLLMは同じランタイム上で動き、モデルキャッシュとGPUメモリを共有します。1つのアプリに1つのLLM、1つのモデルキャッシュ、1つのGPUメモリフットプリント——というシンプルさは、複数のツールを併用するより資源効率の面でも理にかなっています。
・音声クローン：数秒の参照音声からゼロショットで複製。プリセット音声も50種以上
・マルチエンジン：7つのTTSを生成ごとに切り替え、10〜23言語をカバー
・後処理エフェクト：pedalboardベースの8種。プリセット保存に対応
・長尺生成：自動分割＋クロスフェードで最大5万文字
・Storiesエディタ：複数話者のタイムライン編集
導入と使い方：ダウンロードからMCP連携まで
voiceboxはビルド済みバイナリと、ソースからのビルドの両方を提供しています。まずは配布物を使うのが手軽です。macOS（Apple Silicon / Intel）とWindows向けのインストーラが公式サイトから、Dockerでの起動も用意されています（Linuxはビルド済みバイナリが未提供で、ソースからのビルド手順が案内されています）。
Dockerで動かす場合は、リポジトリを取得して以下を実行します。
git clone https://github.com/jamiepine/voicebox.git
cd voicebox
docker compose up
ソースからビルドして開発モードで動かす場合は、just というタスクランナー経由の2コマンドが入り口です。事前に Bun・Rust・Python 3.11+・Tauri の前提ツールが必要です。
# just を入れる（macOS）: brew install just
just setup # Python仮想環境の作成と全依存のインストール
just dev # バックエンド＋デスクトップアプリを起動
AIエージェント連携：MCPサーバーの登録
voiceboxの特徴的な機能が、MCP（Model Context Protocol）サーバーの内蔵です。これにより、Claude Code・Cursor・Windsurf・Cline などのMCP対応エージェントが、voiceboxを通じて「クローンした声」で発話できます。Claude Code なら1行で登録できます。
claude mcp add voicebox \
--transport http \
--url http://127.0.0.1:17493/mcp \
--header "X-Voicebox-Client-Id: claude-code"
さらに、voiceboxはREST APIも公開しています。任意のスクリプトやアプリから、テキストを指定の音声プロファイルで読み上げさせたり、音声ファイルを文字起こししたりできます。たとえば「デプロイ完了」を、クローンした声で喋らせるのはこのように書けます。
# クローンした声で任意のテキストを発話（エージェント音声出力）
curl -X POST http://127.0.0.1:17493/speak \
-H "Content-Type: application/json" \
-H "X-Voicebox-Client-Id: my-script" \
-d '{"text": "デプロイが完了しました", "profile": "Morgan"}'
・GPUバックエンドは環境依存（macOSはMLX/Metal、NVIDIAはCUDA、AMDはROCm、汎用はDirectMLやCPU）。
・モデルは初回にダウンロードが走るため、ディスクとネットワークに余裕を。
・Linuxはビルド済みバイナリが未提供（ソースビルド）。macOSの自動貼り付け（口述→フォーカス中のテキスト欄へ）は、アクセシビリティ権限の付与が前提です。
他の音声クローン・TTS OSSとの比較
「音声クローン」で検索すると、クラウドの商用サービスから各種OSSまで候補は多数あります。voiceboxの輪郭をはっきりさせるため、役割・実行環境・機能の軸で並べてみます。数値の断定は避け、各プロジェクトの公式情報や当サイトの解説記事に基づく整理です。
| ツール | 主な役割 | 実行環境 | 音声クローン | 口述入力(STT) | エージェント音声(MCP) |
|---|---|---|---|---|---|
| voicebox | 生成＋口述の統合（I/O両方） | ローカル | ○ ゼロショット | ○ | ○（MCP内蔵） |
| ElevenLabs（参考） | 音声生成（出力） | クラウド | ○ | — | — |
| Wispr Flow（参考） | 口述（入力） | クラウド | — | ○ | — |
| RealtimeTTS | 低遅延TTS（出力） | ローカル/クラウド | △ エンジン依存 | — | — |
| VoxCPM2 | 多言語TTS（出力） | ローカル | ○ | — | — |
| FluidVoice | macOS口述（入力） | ローカル | — | ○ | — |
※「—」はそのツールの主眼ではない（あるいは公式に明示されていない）ことを表します。ElevenLabs／Wispr Flowの役割区分は、voicebox公式READMEの位置づけ説明に基づきます。
こうして並べると、voiceboxの個性は「入力と出力の両方を、ローカルで、しかもエージェント連携込みで」担う点にあると分かります。単機能で見れば、低遅延ストリーミングに強い RealtimeTTS：テキスト音声変換オープンソースで実現するLLM応答のゼロ遅延音声化手法 や、トークナイザレス設計の VoxCPM2｜トークナイザレス多言語TTSをローカルで動かす（音色設計・クローニング対応） のように、特定領域を深掘りしたOSSがそれぞれ存在します。口述入力に絞れば、macOS向けの FluidVoice徹底解説：完全ローカルで動くmacOS音声入力（Wispr Flow代替） が近い立ち位置です。
① 何ができる：入力（口述）と出力（生成）を1本化。② 何を解決する：ツールの使い分けとクラウド送信。③ 何を代替できる：出力特化・入力特化の複数OSSを、統合体験に置き換える候補になる。
音声クローン（日本語では「ボイスクローン」とも呼ばれます）やTTSは「これが唯一の正解」という優劣を断定しにくい領域です。求めるのが低遅延ストリーミングなのか、多言語なのか、口述込みの統合体験なのかで、最適な選択は変わります。voiceboxを一言で位置づけるなら「ローカルで動く ElevenLabs 代替＋口述ツールの統合版」ですが、前述のとおり単純な上位互換ではありません。「統合とローカル完結」に価値を置く人に向く、と理解するのが実態に近いでしょう。
AIエージェントに「自分の声」を与える：MCPとエージェント音声出力
当サイトの読者にとって、voiceboxの最も面白い側面はAIエージェントとの連携かもしれません。voiceboxは内蔵のMCPサーバーを通じて、voicebox.speak・voicebox.transcribe・voicebox.list_captures・voicebox.list_profiles の4つのツールを公開します。MCP対応のエージェントは、これらを呼び出すだけで「発話」「文字起こし」「キャプチャ／プロファイルの参照」ができます。
具体的には、Claude Code がタスク完了時に「テスト通過、マージ可能です」と、あなたがクローンした声で読み上げる——といった使い方です。エージェントごとに声を割り当てられ（Settings → MCP で Claude Code は Morgan、Cursor は Scarlett、のように紐付け）、発話中は画面に「speaking」のピル（小さなオーバーレイ）が出るため、どのエージェントが何を喋っているかが常に見えます。
音声認識 STT"] B --> C["ローカルLLM
整形は任意"] C --> D["テキスト"] D --> E["TTSエンジン
音声クローン・合成"] E --> F["音声出力"] G["AIエージェント
Claude Code や Cursor"] -- MCPで発話 --> E F -- 発話をピルで可視化 --> G
この「入力（口述）→（整形）→出力（発話）」のループが、1つのアプリの中で、同じピルというUIで表現されているのがvoiceboxの設計の妙です。口述で使うオーバーレイと、エージェント発話で使うオーバーレイが同一のため、双方向の音声I/Oを1つのメンタルモデルで扱えます。MCPそのものの仕組みや自作方法に踏み込みたい場合は、当サイトのMCPサーバー解説を別途参照してください（voiceboxはあくまで「MCPを話す側の一例」です）。
・4つのMCPツール：speak / transcribe / list_captures / list_profiles
・エージェント別の声：クライアントごとに音声プロファイルを紐付け
・可視化：発話中はOS上のピルで「今どの声が喋っているか」を表示
・HTTP＋stdio：URL登録できないクライアント向けに同梱バイナリでも接続可
ディープフェイク音声のリスクと、ローカル完結だからこその対策
音声クローンは便利な反面、なりすまし（ボイスフィッシング）や詐欺に直結しうる技術です。数秒の音声から声を複製できるということは、裏を返せば、公開動画やボイスメッセージから他人の声が作られうる、ということでもあります。実際に「上司や家族の声を装った送金指示」といった手口は、音声合成の悪用として繰り返し警告されています。voiceboxのようなツールを扱うなら、この負の側面を無視できません。
ここで重要なのは、ツールの設計と、利用者の運用を分けて考えることです。
設計面：ローカル完結がもたらす守り
voiceboxは音声データ・モデル・録音をマシンの外に出さない設計を掲げています。これはプライバシー上の利点であり、たとえば「自分の声のサンプルをクラウドに預けて、そこから流出する」といった経路のリスクは構造的に小さくなります。クラウド型サービスに音声を渡すよりも、手元で完結させたほうが攻撃面（アタックサーフェス）が狭い、という見方です。
一方で、ローカル完結は「悪用しやすさ」とは別の話です。手元で自由に動くということは、悪意ある使い方に対する外部からのブレーキが利きにくい、という側面も併せ持ちます。だからこそ、次の運用面が効いてきます。
運用面：同意・用途限定・出所の明示
・本人の同意：他人の声をクローンするなら、事前に本人の明確な同意を得る。これは最低条件
・用途の限定：生成した音声を「誰かになりすます」用途に使わない。ナレーション・アクセシビリティ・自分の声のバックアップなど、正当な範囲に絞る
・出所の明示：合成音声であることを聞き手に伝える。SNS等では「AI生成」であることを明示する運用が広がりつつある
・受け手側の検知：不自然な間・抑揚、確認手段の欠如を疑う。金銭や機密が絡む音声指示は、別経路（コールバック等）で本人確認する
技術的な検知（合成音声のディテクタや電子透かし）も研究・実装が進んでいますが、生成側の進歩とのいたちごっこであり、「検知だけに頼らない」のが現実的です。voiceboxの公式ドキュメントにもMCP周りのセキュリティ注記があるとされますが、ツール側の設計に加えて、利用者が上記のルールを持つことが不可欠です。
まとめ：voiceboxは何を解決し、何を代替するのか
voiceboxは、「音声を外に出さずに、入力から出力まで手元で完結させたい」というニーズに真正面から応えるOSSです。音声クローン・7エンジンの音声合成・Whisper口述・MCPによるエージェント音声出力を1つのアプリに統合し、Tauri（Rust）でネイティブに近い動作を狙っています。
voiceboxは「音声I/Oのローカル完結スタジオ」。ElevenLabs（生成）とWispr Flowの口述を1アプリに寄せ、生成した声はMCP経由でAIエージェントにも渡せる。ただし同梱モデルのライセンスは個別確認が必要で、音声クローンには同意と用途限定という前提がつく。「統合」と「ローカル完結」に価値を感じる人に向くツールです。
一方で、単純な「上位互換」ではありません。低遅延ストリーミングや特定言語の品質など、単機能で深掘りしたOSS／サービスが強い領域は残ります。voiceboxの狙いは各機能で世界一になることではなく、入力と出力を1本化し、外部に出さずに回せる体験を提供することにあります。そこに価値を感じるなら、有力な選択肢です。
ライセンスと注意点
アプリ本体のライセンスは MIT です。ただし、voiceboxが同梱・利用する各TTS/音声モデル（Qwen3-TTS・Chatterbox・HumeAI TADA・Kokoro・Whisper など）は、それぞれ独自のライセンス・利用条件を持ちます。音声クローン系・TTS系のモデルには非商用限定や利用制限を伴うものもあるとされるため、商用利用の可否はモデル単位で確認が必要です。「アプリがMIT＝生成物を無条件に商用利用できる」と早合点しないでください。また、開発は Jamie Pine 氏を中心とするコミュニティ主導で、コミット比率は同氏に大きく偏っています（バス係数の観点は留意点）。オープンイシューも数百件あり、活発に開発が続く発展途上のプロジェクトである点も踏まえて導入を検討してください。
参照ソース
・jamiepine/voicebox（公式リポジトリ・README） — 機能一覧・技術スタック・API/MCP・比較の位置づけの一次情報
・Voicebox 公式サイト（voicebox.sh） — ダウンロード・デモ・製品概要
・Voicebox ドキュメント（docs.voicebox.sh） — 導入手順・MCPサーバー・トラブルシューティング
