CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
•
4 likes•4,437 views
CEDEC 2018 「一万人規模音楽ライブからトークイベントまで バーチャルキャラクターをリアルイベントへ召還する技術」 講演資料
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
Similar to CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術 (20)
CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
- 4. というわけで… • 現株式会社バーチャルキャスト CTO • これまでドワンゴでイベント演出・ AR・VRの開発全般を担当 • 個人では「携帯動画変換君」という フリーウェアの作者として（一部 で）知られています 岩城 進之介 （ハンドル：MIRO / @MobileHackerz）
- 8. 超歌舞伎 (2016～)
- 19. 体の動き（モーション）のキャプチャ HTC ViveなどのVR機器利用 （HTC Vive, Oculus Rift） Kinectや画像処理など （Kinect, iPhone X, Live2D, FaceRig…） ジャイロ・加速度センサ式 モーションキャプチャ （Perception Neuron, Xsens MVN） 光学式モーションキャプチャ （OptiTrack, VICON） モーションキャプチャに銀の弾丸はまだない 技術によって一長一短。場面によって適したものを選ぶ おもに手軽さと正確性、コストと安定性のトレードオフ。 民生品は「会社では動いたがイベント現場では動かない」と いうことが普通に発生する。逆に高価な機材を持っていても、 現場設営環境に適応するためあえて安い機材を使うことも。
- 20. 表情（フェイシャル）の実現 画像処理によるキャプチャ （iPhone X, FaceRig…） 声や動きによる自動適応 コントローラによる 外部オペレータ操作 （Xbox, nanoKontrol, StreamDeck…） コントローラによる 出演者自身による操作 アニメ調キャラクタの場合はコントローラ操作が現状最適解 フェイシャルキャプチャは、そのために作られたモデルに対 してはうまくいくが、極端な・多彩な表情を持つアニメ調 キャラクタへはそのまま適用できない 外部オペレータが表情を操作する場合は、該当出演者の既存 （慣れた）システムにいかに近づけるか、を考慮する
- 22. リアルタイムなのか事前収録なのか • 「バーチャルキャラクターをリアルイベントへ召喚する」のであれ ば、できればすべてをリアルタイムに処理し、イベントとしてキャ ラクターと来場者の間のコミュニケーションを成立させたい • しかしリアルタイムだけではできないことをしたい場合、事前に収 録した「完パケ」の動きを用意することもある • 「完パケ」は映像完パケ（動画として用意し、尺の調整などもまっ たくない場合）とモーション完パケ（モーションのみ用意し、レン ダリングはその場で行う）とどちらのパターンもありえる • モーション完パケの場合は、リアルタイム（キャプチャ）と完パケ パートを途中モーションブレンドして行き来することも可能 • 「決め」のポーズをきめておいて、そのポーズですっと事前収録データに移 行する（正確には「決めのポーズに移ろうとしている最中」にするとよい）
- 26. 透過表示 透過スクリーン＋プロジェクター （DILADボード, アミッド, ポリッド…） 透過ディスプレイ表示 （透明有機EL, 透過液晶, 透過LED） ハーフミラー／ペッパーズゴースト （Eyelinerなど） 透過表示にも銀の弾丸はない。透過スクリーンが汎用性大 透過スクリーンは選択肢も多いがリアプロジェクション必須 （のものが多い）でスクリーン背後に別の演者が入れないな どの制約もある。ハーフミラー式は設置位置に奥行きが必要 でコストも高く、透過ディスプレイはそれぞれ一長一短があ りステージの条件によって手段を選択する必要がある。
- 29. 召喚の世界観をどうつくるか • キャラクターを表示する、のではなく、そのキャラクターはそこに「存在する」。 あらゆる技術は「その存在を生身では知覚できないあわれな 我々が、存在を感じ取れるようにするための手段」である。 • 技術選択は冷徹に現場の条件から判断する必要があるが、技術の上に構築する 「世界観」は上記の心構えが大事。 • 表示は等身大なのか、それよりディティールを見せるのか。ディスプレイの背景 はどうするのか。キャラクターと同じレイヤ（奥行き）に別の演出は表示するの かしないのか。演者の出ハケ（登場と退出）は演出するのか、それとも生身とし て立ち去るのか、など。 • 足はきちんと地面に接しているか、影は、照明は？「そこに存在する」というの はどういうことなのか？
- 31. Voca Nico Night Live Stage in nicofarre (2012)
- 32. koyori (電ポルP) Live「World on Color」(2013)
- 33. IA生誕3周年LIVE We gotta run | IAxJumicchi (2015)
- 37. ボイスアクターとモーションアクター • ボイスアクターとモーションアクターは同一か、それとも分担され ているか。分担されている場合はおたがいの意思疎通は大丈夫か。 モーションアクターのうごきを見て声をあてるのか、声にモーショ ンアクターがうごきをつけるのか。どちらがどちらを見ている状態 が良いのか（配置の問題） • 表情はだれがつけるのか、ボイスアクターが話す内容（アドリブ） はアクターが決めるのかほかに指示者が必要なのか、指示者とボイ スアクターはどう（マイクに声が入らないよう）連絡するのか • 舞台監督、進行、ディレクターからの指示はどこから誰へ？ • など「意思が流れる経路」を意識して現場の配置を行う必要がある
- 38. キャラクターの動きや会場の様子 • リアルタイムにキャラクターと来場者のコミュニケーションが 行われる場合は、会場の様子をアクターに伝える必要がある • そのために「客席を撮影するためのカメラ」を増設する必要が あるかもしれないことに注意 • アクターからは、キャラクターの動きを常時確認できるモニタ （左右反転）・会場の様子を確認できるモニタ・ 番組があれば そのスイッチングアウト・カンペといった情報を返す • アクターが混乱しないよう、必要なものは左右反転（鏡表示） して提示する。そのためにレンダラに左右反転出力モードをつ けたり、カメラ用左右反転機材を用意するなどが必要
- 39. 会場内か遠隔出演か • 会場へ光学式モーションキャプチャなど大規模な機材を設営す る時間的・空間的余裕があるか • アクターが会場の雰囲気を肌で感じ取る必要があるか • 高度に同期した演目（生バンドにあわせて歌うなど）があるか • 安定し高速なネット回線が手配できるか • アクターのスケジュールは、会場の地理的問題はあるか • 遠隔の場合、舞台進行にかかわるスタッフなども手配できるか
- 41. それはどういうイベントなのか？ • バーチャルキャラクターを出演させる「だけ」なのか • ほかの演目との兼ね合いがあると難易度が上がる • 舞台上機材の出ハケの問題 • リハーサルや設営などの段取りの問題 • 照明などの制約が増える • 機材構成が複雑化する（映像や音声の経路など） • 事前にステージ進行にあわせて綿密に指示系統・映像・音声の経路を確認する • イベントの要件によって技術を妥協することも大事 • 設営スケジュールの制約により「1点トラッキング」で実施した事例 • 観客にとって新鮮なおどろきが提供できれば正義。技術視点はいったん忘れよう
- 42. 最適な技術は条件によって違う • 放送（配信）をメインに見せたいのか？それとも会場にいる観 客が満足することが最優先なのか？ • キャラクターの何を見せたいのか？ • 実在感？世界観？ • ひとつの技術で解決しない場合はハイブリッドで拡張する • LED＋AR • 透過スクリーン＋AR • LED＋単純合成 • 加速度センサ・ジャイロ式モーションキャプチャ＋Tracker
- 43. イベントにはイベントの設計がある • 映像・音響・照明・ステージ進行それぞれ専門職のプロがいる • どれも大規模な会場では繊細な調整が必要、専門の機材もある • ソフトウェアエンジニア視点ではPCで代替可能に見えることも 多いが、やはりプロ向け機材はたいへんよくできている •餅は餅屋、現場ではそれぞれプロにまかせよう
- 44. 「プロにまかせる」とは • 映像・音響・照明・ステージ進行など、舞台のプロたちはお互 いに共通言語と仕事のプロトコルを持っているので意思疎通が とてもはやい • 素人が無理にプロにあわせる必要はない。が、何をしたいのか、 何が必要なのかは正確に過不足なく伝える努力をしよう • その上で、プロの判断・調整にはあまり細かく口を挟まないこ とをおすすめ（プロはプロなりの経験をもとに考えている） • 演出や構成で「どうしても譲れない一線」は決めて、そこだけ はプロに理解・妥協してもらうのがよい • IT業界的には「SIerとユーザー企業」のようなイメージ
- 45. イベント会場は魔物！ • 赤外線式のトラッキング • 赤外線ワイヤレスマイク、西日、窓ガラスや壁の反射など • 磁気・加速度センサ・ジャイロ式のトラッキング • 電源ケーブルやトラスなどの構造材、鉄筋などと干渉 • WiFi, Bluetooth • 2.4GHz帯の無線はまず繋がらないものだとおもったほうがよい • 5GHz帯も最近は結構混んでいる • ケーブル • 抜ける。ちぎれる。断線する。 バックアッププランは必ず用意しよう！
- 51. にじさんじの部屋～でろ～んとおしゃべり編！～ in ニコぶくろスタジオ (2018) 視点用カメラ 透過有機ELディスプレイは裏側からは透けて見えるので 演者が「正しく自分から見た視点」を得られる
- 52. Reload / IA & ONE (2017)
- 56. イベント演出基盤の汎用化 • モデルデータフォーマットを定義（VRM）することで、モデル データと演出システムの分離・一般化が可能になった • イベントに活用できる基盤の汎用化 • 「バーチャルキャストを使った」イベントだけでなく、イベン トの演出基盤としてバーチャルキャストを利用する、という手 段も選択できるように • イベント現場で必要な機能の拡張も随時進めていきます • 「VRM」でキャラクターモデルにポータビリティができた • 他キャラクターとのコラボレーションなど「システム間の移動」が促 進される