RVC（Retrieval-based Voice Conversion）は、10分ほどの音声から自分だけの声色を学習し、ブラウザ上のWebUIで声を変換できるAI音声変換（ボイスチェンジャー）のOSSです。音声合成モデルVITSをベースにし、GitHubで約3.6万スター（2026年7月時点）、ライセンスはMIT。ゲーム実況やVTuberの声色を、外部サービスに頼らず自前で作れます。
30秒でわかるRVC
- ・10分ほどの音声から声色を学習できる、VITSベースの音声変換OSS（MIT・約3.6万スター）
- ・最大の特徴はTop1特徴検索。入力の特徴量を学習データの特徴量に置き換え、音色漏れを抑える
- ・WebUIで学習・推論が完結。リアルタイム変換は内蔵GUIで約170ms、ASIOなら約90ms
- ・歌声にも対応。UVR5でボーカルとBGMを分け、RMVPEで高精度にピッチを取る
- ・本人の同意なき学習・なりすまし・詐欺利用は厳禁。用途の責任は利用者にある
LLMと音声AIの全体像は LLMとは？仕組み・主要モデル比較・ローカル実行・量子化を一気にまとめる2026年版 にまとめています。本記事はその中で、手元で動かす音声変換に絞ります。
1. RVCとは：10分の音声で作るAI音声変換（ボイスチェンジャー）
RVCは、入力した音声の「話している内容」はそのままに、「声色（誰の声か）」だけを学習済みモデルの声に置き換えるツールです。テキストから音声を作るTTSとは向きが逆で、すでにある音声を素材にするので、マイクに向かって話した声をリアルタイムで別人の声にすることもできます。
核心は、VITSに加えたTop1検索です。公式は「Top1検索を用いて生の特徴量を訓練データセットの特徴量に置き換え、音色漏れ（tone leakage）を削減する」と説明しています。音色漏れとは、変換後の声に元話者のクセが残る現象のこと。これを検索で抑え込むため、少ないデータでも「その人らしさ」を出しやすいのです。
・何ができるか：自分（や許諾を得た人）の声を、学習した別の声色に変換できる。歌声の変換にも対応する
・何を解決するか：声優への依頼や高価な機材なしに、10分程度の音声で自分専用のボイスチェンジャーを作れる。比較的性能の低いGPUでも学習が回る
・何を代替できるか：声の高さを機械的にずらすだけの従来のDSP型ボイスチェンジャーや、月額のクラウド音声変換サービスを、ローカル完結の環境で置き換えられる
公式は「著作権侵害を心配せず使えるよう、基底モデルは約50時間の高品質なオープンソースデータセットで訓練している」と明記しています。あとは自分の素材で微調整するだけです。
2. RVCの主な機能としくみ：Top1検索・RMVPE・UVR5
・Top1特徴検索：音色漏れ（元話者のクセの残留）を抑える。RVC最大の差別化点
・少量データでの学習：10分以上のノイズの少ない音声が推奨
・RMVPEによるピッチ抽出：InterSpeech2023で発表されたアルゴリズム。無声音（かすれ）の問題を解決し、従来のcrepe_fullより高精度かつ高速・省リソース
・UVR5によるボーカル分離：人の声とBGMを素早く分ける。歌声変換の前処理に効く
・モデル融合（ckpt merge）：複数モデルを混ぜて中間的な声色を作る
・リアルタイム変換：内蔵GUIで端から端まで約170ms、ASIO入出力なら約90ms
・幅広いGPU対応：NVIDIAに加え、AMDのROCm/DirectML、IntelのIPEXでも加速できる
ピッチ抽出は pm / harvest / crepe / rmvpe から選べます。
| アルゴリズム | 公式の説明 |
|---|---|
pm |
歌声には速い |
harvest |
低音が良いが非常に遅い |
crepe |
高品質だがGPUを食う |
rmvpe |
最良でGPU負荷も小さい。迷ったらこれ |
推論時の index rate（検索特徴の割合）は、音色漏れをどれだけ抑えるかのツマミです。1に近づけるほど学習データの音色に寄り、0にすると検索による音色保護が効きません。ただし学習データより変換元の音質が高い場合、上げすぎると音質が下がることがあると案内されています。
3. RVCの使い方①：導入と学習（10分の音声で自分の声を作る）
流れは「環境構築 → 事前学習モデルの配置 → 素材の学習 → 推論」です。Python 3.8以上の環境で、まずffmpegを入れます。
# macOS
brew install ffmpeg
# Ubuntu / Debian
sudo apt install ffmpeg
PyTorchとRVC本体の依存関係を入れます（NVIDIA GPUの場合。AMDなら requirements-dml.txt、IntelのIPEXなら requirements-ipex.txt）。
pip install torch torchvision torchaudio
pip install -r requirements.txt
WebUIを起動すると、ブラウザで学習・推論画面が開きます。
python infer-web.py
Windowsは統合パッケージ（RVC-beta.7z）を解凍して go-web.bat をダブルクリック、macOSは sh ./run.sh で依存関係を入れられます。推論・学習には、HuBERT（hubert_base.pt）、RMVPE（rmvpe.pt）、pretrained などの事前学習モデルを公式のHugging Face spaceから落として所定のフォルダに置く必要があります。GPUが手元に無ければ、公式のGoogle Colabノートブックから試せます。
TRAINING PIPELINE学習の流れ
約50時間で作った基底モデルを、自分の10分で微調整する
-
素材
ノイズの少ない音声を10分〜
-
前処理
スライスして16kHzへ
-
特徴抽出
HuBERT と RMVPE
-
学習
基底モデルを微調整
-
index 生成
Top1 検索用の特徴
公式FAQが案内する目安は次のとおりです。
・学習データの長さ：10〜50分を推奨。音質が良く特徴的な声色なら5〜10分でも成功例がある。1分未満は推奨されない
・total_epoch：ノイズが多い素材なら20〜30、高音質で長い素材なら200程度まで
・VRAM：4GB未満での学習は厳しい。out of memoryが出たらバッチサイズを下げる
学習でつまずきやすい点（公式FAQより）
- ・音声パスに空白や括弧などの特殊文字があると、ffmpeg関連のエラーが出ることがある
- ・ワンクリック学習の後に
addedで始まるindexが無いときは、素材が大きくindex追加で止まっている可能性がある。「トレーニングインデックス」を押し直す - ・推論・共有に使うのは
weightsフォルダの60MB以上のpth。logs側の数百MBのpthは学習再開用で、推論用ではない
モデルを配布するときは、weights/モデル名.pth と logs/モデル名/added_xxx.index をセットで渡すのが基本です。indexが無いとTop1検索が効かず、音色漏れ対策が弱まります。ただし高品質で長尺の素材でtotal_epochを高く取ったモデルは、元話者やベースモデルの声色をあまり参照しなくなるため、indexへの依存自体が小さくなると公式FAQは説明しています。
4. RVCの使い方②：推論・「歌わせる」手順とリアルタイム音声変換
単発・バッチ推論では、WebUIの推論タブで①変換したい音声、②声色モデル、③indexファイル、④ピッチ抽出アルゴリズム、⑤ピッチシフト量（半音単位。男声↔女声などで調整）、⑥index rate を指定して「変換」を押します。
RVCで「歌わせる」——UVR5でボーカルを分離してから変換する
歌にRVCをそのまま当てるとうまくいかない最大の理由は、元の音源に伴奏が混ざっていることです。RVCは入力全体を「変換すべき声」として扱うため、伴奏ごと変換すると音が濁ります。そこで、WebUIに同梱されたUVR5（「伴奏ボーカル分離」タブ）を先に通します。
MAKE IT SING歌わせる手順
伴奏を先に外し、ボーカルだけを変換してから戻す
-
分離
UVR5 で原曲をボーカルとインストに分ける
仕上がりの上限はここで決まる
-
変換
分離したボーカルだけを推論タブに入れる
-
音程
ピッチ抽出は RMVPE。キーが離れていれば半音単位でシフト
-
合成
変換後のボーカルとインストを合わせて書き出す
ピッチシフト量は、元の歌い手と目標の声のキー差に合わせて半音単位で調整します（男声モデルで女声曲を歌わせるなら+12＝1オクターブ上が目安）。伴奏が濃い音源ほど分離で漏れが出やすいので、うまくいかないときは変換パラメータより先に、分離結果を単体で聴いて確かめます。既存楽曲のボーカルを他人の声に置き換えて公開する行為は権利上の問題を伴うので、第6章も読んでください。
リアルタイム変換
マイク入力をその場で別の声に変えるには、付属のリアルタイムGUI（go-realtime-gui.bat）を使います。公式によると端から端まで約170ms、ASIO対応の入出力デバイスなら約90msまで詰められます（ハードウェアドライバーのサポートに強く依存すると明記）。
配信やボイスチャットで本格的に使うなら、公式READMEでも案内されている w-okada/voice-changer がよく使われます。RVCで学習したモデルを読み込み、VoiceMeeterなどの仮想オーディオデバイスを経由してDiscordやOBSに流す構成が定番です。ピッチ抽出は rmvpe／fcpe あたりが扱いやすく、index rateは上げすぎると遅延・音質に響くので少しずつ調整し、入出力は同種のドライバ（WASAPI同士やASIO同士）でそろえると安定しやすくなります。
5. RVC vs so-vits-svc：音声変換ツールの違いと使い分け
RVCのリポジトリ自体がトピックに so-vits-svc を掲げており、両者は近い領域の「いとこ」です。
| 観点 | RVC | so-vits-svc | 従来のDSP型ボイスチェンジャー |
|---|---|---|---|
| 方式 | VITS＋Top1特徴検索 | SoftVC＋VITS | 信号処理（ピッチ/フォルマント加工） |
| 主な用途 | 話し声・歌声の両方 | 主に歌声変換 | 声の高さ・質感の加工 |
| 音色漏れ対策 | Top1検索で抑制（独自の強み） | 検索方式は持たない | 学習しないため対象外 |
| 学習データ目安 | 10分程度から可 | 一般に多めが望ましい | 学習不要 |
| リアルタイム変換 | 内蔵GUI＋w-okadaで対応（最短約90ms） | 別実装に依存 | リアルタイム前提 |
| WebUI | あり（Gradio製・多言語） | フォークにより異なる | 製品ごとのGUI |
| ライセンス | MIT | 実装・フォークにより異なる | 製品による |
少ないデータで話し声も歌声も、リアルタイムでも使いたいならまずRVC。歌声変換に特化して作り込むならso-vits-svc系も候補ですが、仕様・ライセンスはフォークごとに確認が要ります。声質を学習せず高さだけ手早く変えたいなら、DSP型で足りることも多いでしょう。
RVCは「話す内容」を変えるものではありません。文章から音声を作るならTTSの領域で、低遅延の実装は RealtimeTTS：テキスト音声変換オープンソースで実現するLLM応答のゼロ遅延音声化手法 が参考になります。音声クローンをローカルで使いたいなら、voiceboxとは｜音声クローンをローカルで動かすElevenLabs代替のオープンソースAI音声スタジオ が別の選択肢です。
6. 倫理・法的配慮：音声変換で守るべき一線
音声変換は両刃の剣です。自分の声を楽しく変えるのと同じ技術が、他人へのなりすましや詐欺にも転用できてしまいます。
WHERE TO STOP使ってよい範囲
通してよいのは自分の声と、許諾を得た声だけ
誰の声か・どう使うか
- 自分声色を変える 使ってよいVTuber・ゲーム実況など
- 許諾許諾を得た声 範囲内で使う合成音声も。公開時は規約を確認
- 無断同意なく学習 やらない権利侵害のおそれ
- 偽装なりすまし・詐欺 違法世論操作も同じ
・本人の同意なく他人の声を学習・変換しない：家族・有名人・声優・配信者などの声を無断で素材にすると、肖像権・パブリシティ権・著作隣接権などに触れる可能性があります
・なりすまし・詐欺・世論操作に使わない：他人になりすまして送金を求める、虚偽の発言を「本人の声」で拡散するといった利用は違法です。ディープフェイク音声による被害は各国で問題化しています
・生成物の用途に責任を持つ：公開・配布するなら、素材の権利処理と用途の適法性を自分で確かめ、プラットフォームの規約（AI生成音声の表示義務など）に従う
RVC自体はMITライセンスの中立な技術で、基底モデルも著作権に配慮したオープンデータで学習されています。だからこそ、誰の声を素材にし、生成した音声をどう使うかの判断と責任は利用者側にあります。迷う用途なら、やめておくのが安全です。自分の声、許諾を得た声や合成音声、VTuber・ゲーム実況・ラジオドラマといった範囲で使うぶんには、RVCは表現の幅を大きく広げてくれます。
参照ソース
・RVC-Project/Retrieval-based-Voice-Conversion-WebUI（GitHub 公式リポジトリ）
・RVC 日本語README（docs/jp/README.ja.md）
・RVC よくある質問（docs/jp/faq_ja.md）
・w-okada/voice-changer（RVC対応のリアルタイム変換クライアント）
