Vtuberのイベント出演を効率化する技術ワークフロー

VTuber のイベント出演を効率化する技術ワークフロー
株式会社バーチャルキャスト　開発部　基盤技術開発セクション
角　真宇 <SUMI Masataka>
1
2019 年 10 月 5 日

- VTuber などのキャラクタをイベントや生放送に出演させる
際に必要な技術とその選択について
- イベントや生放送ならではのよくある課題
- バーチャルキャスト社の取組事例
このセッションは？
2

昨今の VTuber の急速な盛り上がりをうけて、今後の VR 市場の
世界的な成長を見据え、株式会社インフィニットループと
株式会社ドワンゴが 2018 年に設立した、本社札幌の会社です
株式会社バーチャルキャスト　とは
3

VRライブ・コミュニケーションサービス「バーチャルキャスト」
- バーチャルキャラクターになりきって VR 空間のスタジオで
リアルタイムにコミュニケーション
4

VR アプリだけの会社？
いえ、じつは様々な技術の研究開発を行い、実践しています
- VR 向け 3D アバターフォーマット「VRM」の開発主導
- VTuber の音楽ライブイベントにおける 3D 演出制作
5

名前：角　真宇　（さんたーP）
分野：リアルタイム3DCG のプログラマ & モデラ
過去：3DCG モデル Web 共有サービスの開発
　　　　　ex. 3DCGArts, ニコニ立体, THE SEED ONLINE
　　　PSVR アプリ「超歌舞伎VR」の開発
仕事：リアルタイム 3DCG キャラクタに関するすべて
　　　　　フォーマット (VRM), 表現 (MToon), モーキャプ (MotionHub),
　　　　　イベント演出 (Unity), etc
自己紹介
6
アバター

VTuber を出演させるイベントをしたい！
- 来場者に楽しんでもらいたい！（大切）
イベントにおける問題と制約
- どういう出力形式（ex. ディスプレイ）で表示させよう？
- リアルタイムで行うのか？事前に収録するのか？
- どういう風にキャラクタに動きをつけよう？
- モーションキャプチャ機器は？
- アクタの演じ方は？
- 運用はどうすればいい？
VTuber のイベント出演
7

イベントごとに要件（やりたいこと・やれないこと）は違う
- 出演者はたくさん
- 指はワキワキ動かしたい
- ゲーム実況で Wii や VR ゲームをプレイしたい
- 歌ったり踊ったりしたい
- 用意できるスペースは 2m x 2m
- 小道具を持ったり置いたりしたい
- ピアノを弾きたい
- リハーサルで用意された検証時間は 1 時間
- え、来週ですか？
イベントにおける問題・制約
8
キャプチャ方法？
赤外線干渉？
物理的スペース？
どうやる？
時間……

要件に応じた多様な出力システム
● バーチャルキャスト
● 自社開発 AR 撮影システム Polaris
● イベント用レンダリングシステム
○ ネットワーク非依存
○ 特殊な出力ディスプレイ
○ 多重化・冗長性
9
要件に応じた最適な出力システムを選択
最近のバーチャルキャストって
こんな絵作れるんですよ（余談）
イベント用
レンダリングシステム

モーション入力機材にまつわるリアルの制約
● 時間
○ タイムスケジュールは規定の時間を厳守
○ モーションキャプチャのセットアップ時間は変動大
● 空間
○ WiFi や Bluetooth の電波干渉
○ ゲーム機・照明との赤外線干渉
○ 大音量スピーカーによる振動
10
制約に応じて最適な機材を取捨選択
電波ヨシ！

具体的にどういったモーションキャプチャ機器が使われる？
- HTC Vive Tracker → 安い！
- Perception Neuron → 個人でも買える値段！
- Xsens MVN → 個人では買えない値段
- OptiTrack → 個人では買えない値段
- VICON → 個人では無理な値段
HTC Vive Tracker だけはソフトウェアが無いので、自分で作るか
FinalIK や IKINEMA Orion などを使う必要アリ
モーションキャプチャ機器の選択
11

光学式
- HTC Vive Tracker
- OptiTrack
- VICON
慣性・磁気センサ式
- Perception Neuron
- Xsens MVN
12
技術的な仕組みから、２通りに大別できる

光学式
- キャプチャエリアを明確に
決定し、センサを設置
- キャプチャエリアの中で
のみ動くことができる
- アクタにのみセンサを装着
- 場所に固定されず、比較的
自由に動き回れる
13
キャプチャできる場所の違い

光学式
- キャプチャエリアの中での
絶対的な位置を取得
- 時間の経過で位置がズレる
ことはない
（センサがズレない限り）
- 最初の位置からの
相対的な位置を取得
- 時間が経つにつれ、実際の
位置からズレてくる
14
データの違い

光学式
- アクタはマーカと呼ばれる
物体を装着する必要がある
- 身体に精密機器を装着する
必要は無い
(Vive Tracker 除く)
- 身体の全体に精密機器の
センサを装着する必要
- センサを厳密に固定する
必要から、身体は
締め付けられる
15
モーションアクタへの負担の違い

光学式
- キャプチャエリアを構える
ため「スタジオ」としての
運用になりやすい
- どこにでも持っていけるが
独りで運用するのは難しい
16
運用にかかる人員の違い

光学式での比較
- HTC Vive Tracker
- コンシューマ用なのでとにかく安い
- 無線だけでなく有線接続もできる安心
- 機器が大きいので固定しづらい
- キャプチャスペースが不安定
- OptiTrack
- VICON よりは安価に、それでいて精度良く
- VICON
- 価格が高いから精度も最高！業界老舗のデファクトスタンダード
17

慣性・磁気式での比較
- Perception Neuron
- 個人で届く価格帯
- 指をトラッキングできる
- 磁場の影響を受けやすいため特に都会だと狂いがち
- Xsens MVN
- 慣性センサのみで行っているとは思えない高い精度
- 指はトラッキングできない（追加のグローブを購入する必要あり）
- 磁場の影響を受けないためいろいろな場所で安定して使える
18

- 高い機器ほど良い、という単純さは無い
- 高い機器ほど熟練したスタッフ、土地、金が必要
- 高い機器ほどバックアップの用意が困難
- コンシューマ向けの機器はイベントで使えない可能性も高い
- オフィスでは起きないこと (ex. 電波干渉) がイベント現場で起きる
- 基本はトレードオフ
- 手軽か？正確か？
- 安定性？コスト？
- あえて安い機材を使う場合もある
19
モーションキャプチャ機器の銀の弾丸は今は無い

多種多様な入力と出力の組み合わせ
問題・制約に対する解決 1/4
20
VICON
OptiTrack
Xsens MVN
Perception Neuron
MotionBuilder
Facial Control
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
LED/画面出力
来場者参加イベント
インターネット番組
音楽ライブイベント
トークイベント
透過 OLED 出力
AR 出力
VirtualCast

多種多様な入力と出力の組み合わせを毎度実装……
21
VICON
OptiTrack
Xsens MVN
Perception Neuron
MotionBuilder
Facial Control
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
LED/画面出力
透過 OLED 出力
AR 出力
VirtualCast
Program A
Program B
Program C
Program D

多種多様な入力と出力の組み合わせ
22
VICON
OptiTrack
Xsens MVN
Perception Neuron
MotionBuilder
Facial Control
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
LED/画面出力
透過 OLED 出力
AR 出力
VirtualCast
Program A
Program B
Program C
Program D
保守性の低さ・新規開発へのハードルの高さ

一元化して再利用性と保守性、拡張性を高める MotionHub
23
VICON
OptiTrack
Xsens MVN
Perception Neuron
MotionBuilder
Facial Control
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
LED/画面出力
透過 OLED 出力
AR 出力
VirtualCast
MotionHub
Supported by
保守性、拡張性を高める MotionHub

機能概要
- 入力：多種モーション機器からの入力を組み合わせ
- 出力：多種レンダリング App にモーション出力
- 単独 App
- VRM モデル Import
- 独自リターゲティング実装
- 複数人の入出力対応
- モーション記録
MotionHub <VC社モーションキャプチャ基盤>
24

MotionHub 機能トピック
● Xsens MVN の精度向上
○ 独自ドライバ書き起こしにより、純正プラグインよりも精度向上
○ 足滑りをほぼゼロに
● 冗長構成
○ MotionHub 自体を複数の PC で起動
○ ダウンタイムを最小限
● 案件に合わせた迅速な拡張
○ 既存実装を使いまわしての素早い
新規デバイス対応
25

MotionHub 実例
入力: Xsens MVN
出力: VirtualCast
26
VirtualCast MotionHub
モーションを送信

デモ
27

事例：2018 年 2 月　けもみみおーこく国営公式生放送
28
VICON
OptiTrack
Perception Neuron
LED/画面出力
透過 OLED 出力
AR 撮影システム
VirtualCast
Finger Tracking
Fixed AnimationFile
MotionBuilder
Facial Control
HTC Vive Tracker MotionHub
Supported by
Xsens MVN

入力：OptiTrack
出力：VirtualStudio（VC社イベント基盤）
VRM ワークフロー第 1 弾
初の VRM モデルはみここでした
29https://live.nicovideo.jp/watch/lv310636122

30
リアルタイムで自由なカメラワークお絵かきソフト演出

事例：2018 年 4 月　月ノ美兎の放課後ニコ生放送局
31
VICON
OptiTrack
Xsens MVN
Perception Neuron
HTC Vive Tracker
LED/画面出力
透過 OLED 出力
VirtualCast
Finger Tracking
Fixed AnimationFile
MotionHub
MotionBuilder
Facial Control
Supported by

入力：Xsens MVN + HTC Vive Tracker
出力：VirtualStudio（VC社イベント基盤）
VRM ワークフロー第 2 弾
MVN の欠点位置ズレを Tracker の
絶対位置で補正
32https://live.nicovideo.jp/watch/lv312205115

33
視聴者とのインタラクション VR ゲームの中に入ったかのような演出

事例：2018 年 4 月ニコニコ超会議バーチャルYouTu”BAR”
34
VICON
OptiTrack
Perception Neuron
LED/画面出力
透過 OLED 出力
VirtualCast
Xsens MVN
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
MotionHub
MotionBuilder
Facial Control
Supported by

事例：2018 年 9 月『ときのそら』デビュー1周年超おめでとう記念公式生放送
35
VICON
OptiTrack
Perception Neuron
透過 OLED 出力
VirtualCast
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
MotionBuilder
LED/画面出力
Xsens MVN
Facial Control
MotionHub
Supported by

入力：OptiTrack
　　　ピアノ MIDI 信号
出力：VirtualStudio (VC 社イベント基盤)
本人の手元の指の動きを映像に反映させた
ピアノ演奏を実現
36
https://dwango.co.jp/pi/ns/2018/0914/index3.html

37

事例：2019 年 3 月第 4 期叡王戦七番勝負発表会ひふみちゃん
38
VICON
OptiTrack
Perception Neuron
透過 OLED 出力
VirtualCast
Xsens MVN
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
MotionBuilder
Facial Control
LED/画面出力
MotionHub
Supported by

事例：2019 年 3 月第 4 期叡王戦七番勝負発表会ひふみちゃん
● モーショントラッキング
○ HTC Vive Tracker x3
● レンダリング
○ バーチャルキャスト
バーチャルアイドルひふみちゃんは
高貴な方なのでセットアップを
1 分で完了させる必要があった
39

事例：2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO”
40
VICON
OptiTrack
Perception Neuron
LED/画面出力
透過 OLED 出力
VirtualCast
Xsens MVN
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
MotionHub
MotionBuilder
Facial Control
Supported by

2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO”
● 3D 担当
● モデルセットアップ
○ VRM
● モーションキャプチャ
○ Xsens MVN
● レンダリング
○ Unity
41

事例：2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO”
42
https://www.youtube.com/watch?v=H6esydXvoFY

事例：Polaris 【VC 社配信用 AR システム】　出演：アメノセイ
43
VICON
Perception Neuron
透過 OLED 出力
VirtualCast
HTC Vive Tracker
Fixed AnimationFile
MotionBuilder
LED/画面出力
Xsens MVN
OptiTrack
Finger Tracking
Facial Control
MotionHub
Supported by

事例：Polaris 【VC 社配信用 AR システム】　出演：アメノセイ
44

このような多種多様なイベントに対応できるのはなぜ？
ワークフローにおける VRM フォーマット
46

一元化して再利用性と保守性、拡張性を高める MotionHub
47
VICON
OptiTrack
Xsens MVN
Perception Neuron
MotionBuilder
Facial Control
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
LED/画面出力
透過 OLED 出力
AR 出力
VirtualCast
MotionHub
Supported by
ワークフローの構築の根幹を成すのは VRM フォーマット

VRM とは？
- 「人型 3D アバター」における細かなデータの差異を吸収し
アプリケーションにおける取り扱いを簡単にする
プラットフォーム非依存で横断型の
3D アバターファイルフォーマット
（シェーダは私が策定しました）
48

キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
49

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
50
キャラごとにボーン構成が
違いすぎて(Aポーズ・Tポーズ)
プログラムで扱いづらい……

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
51
このキャラクタ、どういう
表情が正解だっけ……？

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
52
ボーンがスケールしている
せいでプログラムがめっちゃ
バグる……

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
53
指のボーンの向きがバラバラで
透過的に扱えない……

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
54
他社 IP なので見た目の正解を
やりとりするために何往復も……

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
55
モデルの数だけ演出システムを特殊化して実装する必要…
バグる……

- 3D メッシュ → glTF の定義
- ボーン → glTF の定義と VRM の人体定義
- スキニング → glTF の定義
- マテリアル → glTF の PBR 定義と VRM の NPR 定義
- 物理演算 → VRM の定義
- 表情 → VRM の定義
56
モデルデータと演出システムを分離、疎結合

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
57
VRM は T ポーズで
ボーンが正規化されているので
扱いやすい！

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
58
Blendshape と Material を
ラップした抽象レイヤの
表情をモデラが定義、利用できる

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
59
バグる……
ボーンのスケールは 1

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
60
扱いやすい！

- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
61
VRM ファイルの制作と確認は
モデラが行うことができる！

VRM をワークフローに敷くことで
- モデル製作
- モーション適用（MotionHub）
- 表情適用
- レンダリングシステム
（ex. VirtualCast）
を横断して、分業を促進し、システムの再利用性を高める
62
VRM によりバーチャルキャラクタの演出を一般化

63
VRM はいいぞ！

● 開発・運用事例
● イベントにおける問題・制約
○ さまざまなシステムを横断する必要性
○ 多種多様な要件・制約に対して適切な機器を取捨選択する必要性
● 問題・制約に対する解決
○ VRM をワークフローに敷くことでシステムの再利用性を高める
○ 特に共通化できるモーション適用システム MotionHub の開発
まとめ・質疑応答
64

Vtuberのイベント出演を効率化する技術ワークフロー

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Vtuberのイベント出演を効率化する技術ワークフロー

Similar to Vtuberのイベント出演を効率化する技術ワークフロー (20)

More from VirtualCast, Inc.

More from VirtualCast, Inc. (7)

Vtuberのイベント出演を効率化する技術ワークフロー