3DVTuberになるためのツールまとめ

前書き

VTuberなりてえ~!!!となって雑にまとめました。
ある程度知っている人向けです。使い方はまとめていません。


[更新履歴]

2020/08/29:VMagicMirrorを追加。
2020/09/01:VMagicMirrorのリンクを追加。


ツールの組み合わせ

VMC

VRMモデルを全身動かしたいだけれあればこれ単体でできる。トラッカーがない場合は足などがIKで動く。

VMC + LIV

VMCで読み込んだモデルをゲーム内に反映させたい場合はこれ。

VMC + EVMC4U + CineSwitcher

VMCで読み込んだモデルをVR空間で物を持たせたりなどのシステムを組みたい場合はこれ。
CineSwitcherがなくても実現できるが、カメラワークが欲しくなるためセットであると良い。

VMC + waidayo

VMCで読み込んだモデルに表情を反映させたい場合はこれ。
ただし、顔認証機能のついたiPhoneiPadが必要。

Luppet + LeapMotion

VRMモデルをバストアップで動かしたい場合はこれ。WebカメラとLeapMotionを使うので頭、目パチ、手、指がトラッキングできる。

VMagicMirror

キーボードの操作やマウス操作がメインならこれ。頭トラッキングリップシンク、簡易ハンドトラッキングができる。Webカメラとマイクがあればすぐ始められるので非常にお手軽。


各ツール説明

OBS

配信ツール。グリーンバックなどで透過できます。割愛。
Open Broadcaster Software | OBS

VMC(VirtualMotionCapture)

VRMを読み込み、VR機器のトラッカーでトラッキングして、自分の動きをモデルに反映してくれる便利ツール。背景色を変えられるのでそのままOBSに流すだけで簡単に使える。
EVMC4Uなど他ツールにVMCの情報を送信するには、有料版を購入するか、GitHubにあるソースコードを自前でビルドする必要がある。
sh-akira.github.io

EVMC4U(EasyVirtualMotionCaptureForUnity)

VMCと連携してトラッキングしたモデルをUnity上に表示できる。コメントに合わせてギミックを出したりとUnity上で動かす必要があるため凝ったことをしたいなら必須。
VMCが情報を送信する必要があるので、VMCは有料版もしくは自前ビルドが必要。
github.com

CineSwitcher

カメラ制御を便利にするUnityのプラグイン。カメラ切り替えや追従を簡単にできる。Youtube Liveのコメントでカメラを切り替えることも可能。
booth.pm

waidayo

表情のキャプチャができるツール。舌、ほっぺ、眉などのブレンドシェイプができる。VMCに対応しており、キャプチャ情報を送ることでVMC上のモデルに反映できる。
ただし、顔認証機能のついたiPhoneもしくはiPadが必要。
github.com

Luppet

WebカメラとLeapMotionでトラッキングしてVRMモデルに反映させるツール。頭、目パチ、手、指のトラッキングができ、バストアップに特化している。
Webカメラ、LeapMotion、Luppetの3つだけなので値段が高くてVR機器に手が出せない人にオススメ。個人だと5000円のライセンスなので、他機材と合わせても2万円前後から始められる。また、顔や指の細かい動きを表現したい人にもオススメ。
luppet.appspot.com

VMagicMirror

Webカメラとマイクがあれば頭トラッキングリップシンクができる。キーボードやマスウを操作すれば手と腕がIKで動くので、トラッカーがない人でもそれっぽく動けるのが特徴。グリーンバッグができるのでそのままOBSに流せる。
booth.pm

LIV

SteamでVR空間にモデルを合成するツール。Webカメラ・キャプチャカードを使うと実写合成、フルトラッキングしたいならViveトラッカーが必要。実写の場合はグリーンバックが必要。
VMCでは仮想Webカメラとして入力することで合成できる。
store.steampowered.com
LIVで合成 · sh-akira/VirtualMotionCapture Wiki · GitHub


最後に

未だにVTuberデビューまでこぎつけてません。


参考文献

LIV - vrapp Wiki*