NVIDIA Audio2Face-3Dは、音声だけを入力に、高精細な3D顔アニメーションを自動生成する技術だ。話者の録音ファイルでもリアルタイムの音声ストリームでもよい。音の中身を音素レベルで解析して口の動き（リップシンク）を合わせ、声のトーンから感情表現まで推定して、顎・舌・目・皮膚の微細な変形まで一気に付ける。この記事では、NVIDIAが公開したNVIDIA/Audio2Face-3Dリポジトリ（複数の構成要素を束ねるハブ／コレクション）を軸に、この技術が「結局何ができて」「何を解決し」「自分のUnreal/Mayaパイプラインにどう入るのか」を、公式READMEをベースに日本のエンジニア・3Dアーティスト・ゲーム開発者向けに整理する。
デジタルヒューマンやゲームNPCの「しゃべる顔」を作るのは、長年3D制作の難所だった。フェイシャルキャプチャは機材とアクターが要り、手付けアニメは1秒ぶんに何時間もかかる。Audio2Face-3Dは、その工程を「音声を渡すだけ」に圧縮する。しかも単発のツールではなく、アプリ組み込み用のSDK、独自モデルを作る学習基盤、Maya/UE5のプラグイン、サーバー展開用のマイクロサービス、事前学習モデルまでを一つのコレクションとして揃えているのが今回のリポジトリの正体だ。
GitHub上のSPDXライセンス表示はNONE（未検出）だが、これは「無許諾」という意味ではない。Audio2Face-3Dはコレクションであり、構成要素ごとにライセンスが異なる（SDKはMIT、Training FrameworkはApache、モデルはNVIDIA Open Model License、NIMはNVIDIA Software License……）。導入時は「どの部品を使うか」を先に決め、その部品のライセンスを個別に確認するのが正しい。
Audio2Face-3Dとは何か——音声から3D顔アニメを生成する技術
まず全体像を掴もう。Audio2Face-3Dが引き受けるのは、「音声（オーディオ）→ 3D顔アニメーション」という一方向の変換だ。入力は2種類ある。
・録音済みの音声ファイル（オフライン・バッチ処理向け）。シネマティックやカットシーン、スタジオでの一括処理に使う。
・リアルタイムの音声ストリーム（低遅延向け）。ゲーム内のライブなダイアログ、音声対話するWebアバター、バーチャルプロダクションのその場プレビューに使う。
このどちらを渡しても、出力される情報の質は同じ方向を向いている。正確なリップシンク（音の並びに合った口の開閉と形）と、声のトーンから推定した感情表現、そして口だけでなく顎・舌・目の同期運動、顔の皮膚の微細な変形までを含んだ「顔の動き」だ。単に口をパクパクさせるのではなく、話者が今どんな気持ちで話しているかまで顔に載せてくる、というのがこの技術の狙いどころになる。
結局これで何ができるのか——音声さえあれば、フェイシャルキャプチャの機材もアクターも無しに、3Dキャラの「しゃべって表情が動く顔」を作れる。これが最短の答えだ。手付けアニメーションを代替し、モーションキャプチャスタジオへの依存を減らし、大量のセリフを持つゲームやアプリでも現実的なコストでキャラを喋らせられるようになる。
この記事が最初に答える3つの問い
技術記事にありがちな「機能の羅列」に入る前に、読者が本当に知りたい3つの問いを先に置いておく。この記事のすべての図表・コードは、この3つのどれかに答えるために存在する。
・結局何ができる？——音声から3D顔アニメ（リップシンク＋感情表現）を、リアルタイムでもオフラインでも生成できる。
・何を解決する？——フェイシャルキャプチャ／手付けアニメの「時間・コスト・機材」という3重の壁を、音声1本に置き換える。大量のセリフを持つゲームやデジタルヒューマンで特に効く。
・何を代替できる？——モーションキャプチャによる口元アニメ、手作業のリップシンク、そして「英語しか動かない」旧世代のリップシンクツール（独自学習で言語を広げられるため）。
NVIDIA/Audio2Face-3Dリポジトリそのものは、スター数で言えば大きくはない（公開時点で数百スター規模）が、これは「本体コードが薄い」からではなく、実体が複数のサブプロジェクトに分かれているハブだからだ。SDK、学習基盤、Maya用、UE5用、NIM、そしてHugging Face上のモデル——それぞれが独立したリポジトリ／配布物で、このハブがそれらを地図のようにまとめている。次章から、その地図を1枚ずつ開いていく。
音声から表情へ：リップシンクと感情推定の仕組み
Audio2Face-3Dの中身を、入力から出力まで一本の線で追ってみよう。ポイントは「音声を音素に分解してから、口の形と感情を別々に推定し、最後に3方式のどれかで顔を駆動する」という流れだ。
（録音ファイル or
リアルタイムストリーム）"] --> B["音素解析
（音の並びを分解）"] B --> C["リップシンク推定
（口・顎・舌の形）"] B --> D["Audio2Emotion
（声のトーンから感情推定）"] C --> E["顔アニメ係数の統合
（口＋表情＋目の同期）"] D --> E E --> F1["直接メッシュ変形
（頂点を直接動かす）"] E --> F2["ジョイント変換
（ボーンで駆動）"] E --> F3["ブレンドシェイプ荷重
（ARKit互換の係数）"] F1 --> G["Maya / UE5 /
アプリ / Webアバター"] F2 --> G F3 --> G
1. 音素解析による言語非依存のリップシンク
Audio2Face-3Dのリップシンクは、単語や文字ではなく音素（phoneme）——つまり「あ」「い」「s」「t」といった発話の最小単位の音——を手がかりにする。これが効いてくる。音は言語より下のレイヤーにあるので、音素で口形を決める方式は原理的に言語非依存の面を持つ。日本語だろうと英語だろうと、口を「あ」の形にすべき瞬間は音として現れる。だから「日本語だから全く動かない」ということにはならず、事前学習モデルのままでもある程度は口が合う。
ただし、後述するように「音素で口が合う」ことと「その言語話者にとって自然に見える」ことは別だ。日本語には日本語特有の口形の癖（母音の明瞭さ、無声化、リップの丸めの少なさなど）があり、そこを詰めたければ独自学習に進む——という立て付けになる。
2. Audio2Emotion——声のトーンから感情を載せる
口の動きだけでは、キャラは「無表情でしゃべる不気味な人形」になる。Audio2Face-3Dはこれを避けるため、Audio2Emotionという感情推定を併走させる。声のトーン（抑揚・強さ・テンポなど）から、その発話が持つ感情を推定し、眉・目・頬といった表情に反映させる。怒鳴っているのか、囁いているのか、笑っているのかで、同じセリフでも顔つきが変わる。
Hugging Face上にはこのAudio2Emotionモデルがv2.2／v3.0として公開されているが、ライセンス上、Audio2Faceと併用する場合にのみ利用が許諾されるという条件が付く点は覚えておきたい（感情モデル単体を別用途に転用する使い方は想定されていない）。
3. 出力は3方式——mesh / joint / blendshape
推定された「顔の動き」を、実際の3Dキャラにどう適用するか。ここでAudio2Face-3Dは3つの出力方式を用意している。パイプラインやキャラのリグ構成に合わせて選ぶ。
・直接メッシュ変形（mesh deltas）：顔メッシュの頂点そのものを動かす。最も直接的で、リグに縛られず高精細な変形を載せられる。
・ジョイント変換（joint transforms）：ボーン／ジョイントを介して駆動する。既存のスケルタルアニメーション基盤と相性が良い。
・ブレンドシェイプ荷重（blendshape weights）：あらかじめ用意した表情モーフの重み係数を出す。ARKit互換の52ブレンドシェイプ的な世界と繋ぎやすく、ゲームエンジンで最も扱いやすい。
mesh／joint／blendshapeは後から自由に切り替えられるものではなく、キャラのリグ設計に直結する。MetaHumanやゲーム向けキャラならブレンドシェイプ荷重、映画品質の高精細な顔なら直接メッシュ変形、といった具合に、受け側のリグから逆算して選ぶのが実装の出発点になる。
コレクション構成：SDK・Training・プラグイン・NIM・HFモデル
ここが本記事の背骨だ。NVIDIA/Audio2Face-3Dは前述の通り複数の部品を束ねたコレクションであり、READMEにも構成要素の一覧表がある。まず早見表で全体を掴んでから、それぞれの役割を見ていく。
コレクション構成 早見表
| コンポーネント | 形態 | ライセンス | 主な用途 |
|---|---|---|---|
| Audio2Face-3D SDK | C++/Python ライブラリ | MIT | アプリへの直接統合・低遅延のリアルタイム推論 |
| Training Framework | Python + Docker | Apache | 自前データで独自モデルを学習（多言語対応） |
| Maya ACE（MACE） | Autodesk Maya プラグイン | MIT | Maya内でリアルタイム生成・FBX/キーフレーム書き出し |
| Unreal Engine 5 プラグイン | UE5.4/5.5/5.6（v2.5） | MIT | Blueprint統合・MetaHumanサンプル同梱 |
| Audio2Face-3D NIM | コンテナ化マイクロサービス | NVIDIA Software License | gRPCで大規模・マルチユーザー展開 |
| HFモデル（回帰v2.3／拡散v3.0 ほか） | 事前学習モデル | NVIDIA Open Model License | すぐ使えるリップシンク／感情モデル |
Audio2Face-3D SDK（MIT）——アプリに直接埋め込む核
SDKは、リアルタイム推論を自分のアプリケーションに直接統合するためのライブラリだ。クロスプラットフォームのC++で書かれ、Pythonバインディングも持つ。低遅延を狙った設計で、NVIDIA GPUによる加速が基本だがCPUフォールバックも用意されているため、GPUが無い環境でも（性能は落ちるが）動かせる。ライセンスがMITと寛容なのも大きく、商用アプリへの組み込みハードルが低い。
概念としては、音声バッファを渡すと顔アニメ係数が返ってくる、というシンプルなAPIになる。以下は概念的な擬似コード（READMEに実物のコードがあるわけではないため、API名は説明用の仮であることに注意。正確な呼び出しは公式SDKドキュメントを参照）。
# 概念的な擬似コード：Audio2Face-3D SDK（実APIは公式ドキュメント参照）
# 音声バッファ → 顔アニメ係数
from audio2face_3d import A2FClient # ← 名称は説明用の仮
client = A2FClient(model="claire-v2.3.1", device="cuda") # GPU推論、CPUフォールバック可
audio = load_wav("dialogue_ja.wav", sample_rate=16000)
# リアルタイム/オフラインどちらもストリーミングで処理できる
for chunk in stream_audio(audio, frame_ms=33): # 約30fps相当
result = client.infer(chunk)
# 出力は3方式のいずれかを設定で選択
blendshapes = result.blendshape_weights # ARKit互換の荷重ベクトル
# mesh_delta = result.mesh_deltas # 直接メッシュ変形
# joints = result.joint_transforms # ジョイント変換
apply_to_character(blendshapes)
Training Framework（Apache）——独自モデルを学習する
事前学習モデルで足りないとき、あるいは特定言語・特定キャラに最適化したいときに使うのがTraining Frameworkだ。Python＋Docker構成で、自前のデータ（音声と、それに対応する顔メッシュ／ブレンドシェイプのシーケンス）から独自のリップシンクモデルを学習できる。重要なのは、NVIDIA公式のMark/Claire/Jamesモデルも、このフレームワークで学習されたものだという点。つまりユーザーが手に入れるのは「NVIDIAが自社モデルを作ったのと同じ道具」ということになる。
多言語対応も明記されており、単一言語のカスタムデータでも、複数言語を混ぜたデータでも学習できる。学習が終わるとJSON形式のモデルカードが出力され、モデルのメタ情報が構造化されて残る。
# 概念的な擬似コード：Training Framework は Python + Docker 構成
# 自前データ（音声 + 対応する顔ジオメトリ/ブレンドシェイプ）で独自モデルを学習
git clone https://github.com/NVIDIA/Audio2Face-3D
cd Audio2Face-3D/training-framework # ← ディレクトリ名は説明用
# データセット準備：日本語音声 + 対応する顔形状シーケンス
# data/ja_custom/{audio/, geometry/, config.yaml}
docker build -t a2f-training .
docker run --gpus all -v "$(pwd)/data:/workspace/data" a2f-training \
python train.py \
--config configs/ja_custom.yaml \
--output /workspace/models/ja_lipsync_v1
# 学習後、JSON のモデルカードが出力される
Audio2Face-3D NIM（NVIDIA Software License）——サーバー展開の要
NIM（NVIDIA Inference Microservice）は、Audio2Face-3Dをコンテナ化されたマイクロサービスとして提供する。gRPCで通信し、複数の音声ストリームを同時に処理できるため、Web／クラウド上で多数のデジタルヒューマンを同時に喋らせるような、大規模・マルチユーザーな展開に向く。SDKが「1アプリに埋め込む」方向なのに対し、NIMは「サーバー側で集中的に推論を回し、多数のクライアントに配る」方向だと理解するとよい。
そして後述するが、UnityやBlenderなど公式プラグインが無いエンジンを繋ぐときの現実的な入口も、このNIMのgRPCになる。
# 概念的な擬似コード：Audio2Face-3D NIM をコンテナで起動（gRPC）
# 実際のイメージ名・ポートは build.nvidia.com / NGC のカタログを参照
docker run --gpus all -p 50051:50051 \
nvcr.io/nim/nvidia/audio2face-3d:latest
# クライアントは gRPC で音声ストリームを送り、顔アニメ係数を受け取る
# ・複数音声ストリームを同時処理
# ・Web/クラウドのデジタルヒューマン向け
# ・Unity/Blender 等はこの gRPC 経由で接続するのが定石
Hugging Face のモデル群——「すぐ使える」重み
コードだけあってもモデルが無ければ動かない。Audio2Face-3Dは事前学習済みのモデルをHugging Face上で配布している。
・リップシンクモデル：回帰版 v2.3 と、拡散版 v3.0。いずれもNVIDIA Open Model License（Open Weights、onnx-trt形式）で、公式キャラのMark（v2.3）、Claire（v2.3.1）、James（v2.3.1）、そして拡散モデル v3.0 がある。
・Audio2Emotion：v2.2／v3.0。前述の通り、Audio2Faceと併用する場合にのみ許諾される。
・学習サンプルデータ Claire v1.0.0：評価目的でのみ利用が許される、学習の入口となるサンプル。
回帰版と拡散版の2系統がある点は押さえておきたい。拡散モデル（v3.0）は近年の生成手法の潮流に沿ったもので、表現の多様性や自然さで有利になりうる一方、推論コスト特性は回帰版と異なる。用途（リアルタイム性重視か、品質重視か）で選ぶ余地がある、という理解で十分だ。
Unreal・Maya・その他エンジン連携の実態
ここが実務でいちばん誤解されやすい。結論から正直に書く。公式プラグインが用意されているのは Autodesk Maya と Unreal Engine 5 の2つだけ。UnityやBlenderの公式プラグインは存在しない。ここを誇張せず正しく設計すると、後で詰まらない。
Maya ACE（MACE）——アーティストのための統合
Maya ACEは、Audio2Face-3DをAutodesk Mayaに統合するプラグインだ（MIT）。特徴はコーディング不要のUIで、アーティストがそのまま使える点にある。
・ビューポート内でリアルタイムに生成・プレビューできる。音声を差し替えれば顔がその場で動く。
・ローカル推論とリモート（マイクロサービス）推論の両方に対応。手元のGPUで回すことも、NIM等のサーバーに投げることもできる。
・生成結果はMayaのキーフレームとして焼き込めるほか、FBXとして書き出せる。既存のDCCワークフローにそのまま乗る。
つまりMayaユーザーにとっては、「音声をドラッグして、ビューポートで確認して、キーフレーム化してFBXで出す」という、既存の作業感覚を崩さない導線が用意されている。
Unreal Engine 5 プラグイン——Blueprintとゲームの世界
UE5プラグイン（MIT）は、UE5.4／5.5／5.6に対応し、バージョンはv2.5。ゲーム／リアルタイム制作側の入口だ。
・Blueprintノードで統合できるので、C++を書かずにビジュアルスクリプティングで音声→顔アニメを組める。
・EpicのMetaHumanに対応したサンプルプロジェクトが同梱されており、いきなり「MetaHumanが喋る」状態を試せる。
・こちらもローカル／リモート推論の両対応。C++ソースも同梱されるため、より深いカスタマイズにも踏み込める。
# 概念的な擬似コード：Maya / UE5 での接続イメージ（実UIは各プラグインのドキュメント参照）
# ── Maya ACE（MACE）─────────────────────────
# 1. Maya に MACE プラグインを読み込む
# 2. キャラのブレンドシェイプ/ジョイントを A2F 出力にマッピング
# 3. 推論先を選択：ローカル or リモート（NIM マイクロサービス）
# 4. 音声クリップを指定 → ビューポートでリアルタイム生成
# 5. キーフレーム化 → FBX 書き出し
# ── Unreal Engine 5 ───────────────────────────
# [Load Audio] → [A2F Infer (Local/Remote)] → [Drive MetaHuman]
# 同梱の MetaHuman サンプルプロジェクトで即試せる
Unity・Blenderはどう繋ぐか（正直な話）
では公式プラグインの無いUnityやBlenderはどうするか。ここはNIM（gRPC）経由か、SDK統合か、コミュニティ実装でつなぐ、というのが実態だ。
・NIM（gRPC）経由：最も筋が良い。NIMをサーバーとして立て、Unity／Blender側からgRPCで音声を送り、返ってきた顔アニメ係数（多くはブレンドシェイプ荷重）を自前のスクリプトでキャラに適用する。エンジンに依存しないのが利点。
・SDK統合：C++/PythonのSDKを、エンジンのネイティブプラグインやスクリプト層から呼ぶ。実装の手間は増えるが、ローカルで完結できる。
・コミュニティ実装：有志が公開しているアダプタやサンプルを使う。ただし公式サポート対象ではないため、動作保証や更新追従は自己責任になる。
「Audio2Face-3DはUnityでもBlenderでも動く」と言い切るのは正確ではない。正しくは「公式プラグインはMaya/UE5のみ。他エンジンはNIM/SDK経由でつなぐ」。この違いは工数見積もりに直結するので、パイプライン設計の前提として最初に共有しておきたい。
日本語音声との相性と独自モデル学習
日本のチームにとって最大の関心は「日本語で自然に喋るか」だろう。ここも honest に、事実の立て付けだけを積み上げて答える。
まず前提として、公式の事前学習モデル（Mark/Claire/James）は主に英語ベースだ。だから「英語話者向けに最適化された口形の感覚」で学習されている。一方で、前章までに見た通りリップシンクは音素ベースなので、日本語を入力しても口はある程度は合う。「日本語だと一切動かない」ということはない——ここは安心してよい。
問題は「合う」と「自然に見える」の差だ。日本語には、母音がはっきり出る、無声化（「です」の「す」など）がある、英語ほど唇を丸めない、といった固有の口形の傾向がある。英語ベースのモデルは、これらを英語話者の感覚で近似するため、細部で違和感が残ることがある。ここを詰める正攻法が、Training Frameworkによる独自学習だ。
・Training Frameworkは多言語のカスタムデータ学習に対応している（単一言語でも複数言語混在でも学習可）。
・日本語音声と、それに対応する顔形状のペアを用意すれば、日本語の口形・発話に最適化した独自モデルを作れる。
・公式のMark/Claire/Jamesと同じ道具立てで学習するので、「NVIDIAが英語モデルを作ったのと同じ品質基準」で日本語モデルを狙える。
# 概念的な擬似コード：日本語特化モデルの学習設定イメージ（config は説明用）
# configs/ja_custom.yaml
model:
base: regression # 回帰版 or diffusion（拡散版）
output: blendshape # mesh / joint / blendshape から選択
data:
language: ja
audio_dir: data/ja_custom/audio # 日本語音声（クリアな発話が望ましい）
geometry_dir: data/ja_custom/geometry # 対応する顔形状シーケンス
train:
epochs: 200
emotion: true # Audio2Emotion を併用する場合
# → 学習後に JSON モデルカードが出力される
まとめると、日本語対応の現実的な戦略は2段構えだ。まず英語ベースの事前学習モデルで動かして感触を掴み、品質が要件に届かなければTraining Frameworkで日本語データを学習して差し替える。「最初から日本語モデルが用意されている」わけではないが、「日本語モデルを作れる正規の道が用意されている」というのが正確な現状認識になる。
他のAudio→Face手法との比較
Audio2Face-3Dを評価するには、周辺の手法との「軸の違い」を押さえるのが早い。ここで大事なのは、「3Dメッシュ駆動」「2D動画」「顔トラッキング」は、そもそも解いている問題が違うという点だ。優劣ではなく、目的が違う。各手法の事実は一般に知られた範囲にとどめ、断定しすぎないように整理する。
| 手法 | 駆動方式 | 出力 | ランタイム | ライセンス・入手性 | 日本語 |
|---|---|---|---|---|---|
| NVIDIA Audio2Face-3D | 音声駆動 | 3Dメッシュ/ジョイント/ブレンドシェイプ | リアルタイム/オフライン両対応 | 構成要素ごと（SDK=MIT、モデル=NVIDIA Open Model License 等） | 独自学習で最適化可 |
| NVIDIA Audio2Face（旧Omniverse版/ACE） | 音声駆動 | 3Dブレンドシェイプ中心 | リアルタイム | NVIDIA（Omniverse連携） | 主に英語ベース |
| Epic MetaHuman Animator | 映像＋音声（顔キャプチャ） | MetaHumanリグ | オフライン中心 | Unreal内で利用可 | 撮影素材次第 |
| Apple ARKit ブレンドシェイプ | 顔トラッキング（カメラ） | 52ブレンドシェイプ荷重 | リアルタイム | iOS/ARKit | 音声非依存（顔の動き次第） |
| VOCA / FaceFormer（学術） | 音声駆動 | 3Dメッシュ変形 | オフライン中心 | 研究用途（要確認） | 学習データ次第 |
| Wav2Lip / SadTalker | 音声駆動 | 2D動画（口元合成） | オフライン | 研究用途 | 概ね言語非依存 |
軸1：3Dメッシュ駆動 vs 2D動画
Wav2LipやSadTalkerは「音声から顔を動かす」点ではAudio2Face-3Dと似て見えるが、出力が2Dの動画（既存の顔画像／動画の口元を差し替える）であって、3Dのメッシュやリグを動かすわけではない。だから、任意のカメラアングルで回り込んだり、ゲーム内で3Dキャラとして扱ったり、ライティングを当て直したりはできない。「1枚の顔写真から喋る動画を作る」用途にはWav2Lip系が向くが、3Dパイプラインに載せる用途ではAudio2Face-3Dの土俵になる。
軸2：音声駆動 vs 顔トラッキング
Apple ARKitのブレンドシェイプは、そもそもカメラで実際の顔をトラッキングして駆動する仕組みで、音声から生成するものではない。アクターの顔をリアルタイムで写し取るには強力だが、「音声だけがある（顔映像が無い）」状況——たとえばTTSで生成したセリフや、電話音声、事前収録のナレーション——には使えない。入力が音声しか無いならAudio2Face-3D、実演者の顔映像があるならARKit/MetaHuman Animator、と切り分けられる。
軸3：プロダクト vs 研究
VOCAやFaceFormerは音声駆動の3D顔アニメを扱う学術研究として重要だが、プロダクションで即使える統合（プラグイン、SDK、サーバー、事前学習モデルの束）という面ではAudio2Face-3Dが一歩踏み込んでいる。旧Omniverse版のAudio2Face／ACEはNVIDIAの先行資産で、今回のNVIDIA/Audio2Face-3Dはそれを「アプリ組み込み・独自学習・マルチエンジン・サーバー展開」まで開いたコレクションとして捉えるのが自然だ。
まとめ：自分のパイプラインにどう入れるか
最後に、この記事の3つの問いに一気に答えて締める。
・結局何ができる？——音声（録音でもリアルタイムでも）から、リップシンクと感情表現を伴う高精細な3D顔アニメを生成できる。出力はmesh／joint／blendshapeの3方式から選べ、Maya・UE5にそのまま入り、Unity/Blenderも NIM経由で繋げる。
・何を解決する？——フェイシャルキャプチャや手付けアニメの「時間・コスト・機材」を、音声1本に置き換える。大量セリフのゲーム、Webのデジタルヒューマン、シネマティック、バーチャルプロダクションで効く。
・何を代替できる？——モーションキャプチャの口元アニメ、手作業のリップシンク、そして英語しか動かない旧世代ツール（独自学習で言語を広げられるため）。
導入手順を実務目線で並べると、こうなる。
・受け側のリグを決める：MetaHuman／ゲームキャラならブレンドシェイプ荷重、映画品質なら直接メッシュ変形。ここから逆算する。
・入口の部品を選ぶ：Mayaで作るならMaya ACE、UE5ならUE5プラグイン、アプリ組み込みならSDK、サーバー配信ならNIM。
・モデルを選ぶ：まずHugging Faceの事前学習モデル（Mark/Claire/James、拡散v3.0）で試す。
・日本語が要件なら学習に進む：Training Frameworkで日本語データを学習し、独自モデルに差し替える。
・ライセンスを部品ごとに確認する：SDK=MIT、Training=Apache、プラグイン=MIT、NIM=NVIDIA Software License、モデル=NVIDIA Open Model License（感情モデルは併用時のみ許諾）。
「音声を渡すだけで3Dキャラが自然に喋る」——この一点に、NVIDIAはSDK・学習基盤・Maya/UE5プラグイン・サーバー・事前学習モデルまでを一括で用意した。あとは、自分のパイプラインのどこに「音声→顔」の変換を差し込むかを決めるだけだ。まずは公式のMaya/UE5サンプルとHugging Faceのモデルで手を動かし、日本語が要件なら独自学習へ——という順番が、遠回りせずに済む現実的なルートになる。
参照ソース
・NVIDIA/Audio2Face-3D（GitHub） — 本記事の一次ソース。SDK・Training・プラグイン・NIM・モデルを束ねるハブ／コレクションのREADMEと構成要素一覧。
・NVIDIA/Maya-ACE（GitHub） — Autodesk Maya統合プラグイン（MACE）。ビューポート内リアルタイム生成・FBX書き出し・公式デモGIFの出典。
・nvidia/Audio2Face-3D（Hugging Face） — 事前学習モデル（回帰v2.3／拡散v3.0、Audio2Emotion、Claireサンプルデータ）の配布と各ライセンス表記。
・Audio2Face-3D NIM（build.nvidia.com） — gRPCで大規模・マルチユーザー展開するコンテナ化マイクロサービスの公式カタログ。
・SPDX License List — MIT／Apache-2.0など、構成要素ごとのライセンス条文を確認するための一次リファレンス。
