2019/11/29 VRMコンソーシアム セミナー 第1回「ビジネスにおけるアバター活用術」 で発表した資料です https://vrmc.connpass.com/event/154631/

1. © 2019 pulse Inc.
バーチャルライブプラットフォーム
「INSPIX」におけるVRM活用事例
パルス株式会社
加田健志
2019.11.29

2. © 2019 pulse Inc.
自己紹介
加田 健志
パルス株式会社 / VR Live Engineer
アーケードゲーム開発会社、 VRゲーム開発会社を経て
2018年パルス株式会社に入社
2015年より公私にわたって VRコンテンツの制作に従事
現在はINSPIXにおけるクライアント開発全般を担当
登壇
- xR Tech Tokyo #14 バーチャルライブプラットフォーム「INSPIX」を支える技術とその活用法
- CEDEC2018 おうちでVRライブ体験 バーチャルライブプラットフォーム「INSPIX」のこれまでと今後
- UNREAL FEST EAST 2017 脱Unity！？ UE4でVR開発のここが変わった

3. © 2019 pulse Inc.
パルス株式会社
株式会社イグニスの子会社
「INSPIX」開発・運営
岩本町芸能社・株式会社ミラクルプロと業務提携中
えのぐ 馬越健太郎 米米米(マイベイベー)Marpril

4. © 2019 pulse Inc.
アジェンダ
● バーチャルライブプラットフォーム「INSPIX」とは
● VRM活用事例
● INSPIXでのアバター活用事例
● 今後の展開

5. © 2019 pulse Inc.
とは？
バーチャルライブプラットフォーム

6. © 2019 pulse Inc.
生放送 ライブビューイング
握手会 MV
ARライブ
VRライブ
バーチャルタレントが活躍できるシステムの総称

7. © 2019 pulse Inc.
「INSPIX」の特徴
https://1923.co.jp/press-release/2019/07/03_01.html
・フルタイムリアルタイムライブ
・スマホVRに対応
・多人数出演

8. © 2019 pulse Inc.
フルタイムリアルタイムライブ
● 全てがリアルタイム
○ リアルタイム体験こそライブ
○ 歌とダンスも生
○ 実在感を表現
● 要望によっては部分的なリアルタイムにも対応可能
○ MCだけ生、モーションだけ生、歌だけ生 etc.
歌 MC 歌
生 生 生

9. © 2019 pulse Inc.
スマホVRに対応
● ユーザーが高価な機材を買わなくても体験できる
● VRライブの認知度を上げてから専用デバイスに拡大
● エンジニア・デザイナ的には厳しいところからスタート

10. © 2019 pulse Inc.
多人数リアルタイム出演
● 光学式モーションキャプチャシステムで実現
● 理論上は何人でも出演可能
● 専用スタジオを完備

11. © 2019 pulse Inc.
アジェンダ
● バーチャルライブプラットフォーム「INSPIX」とは
● VRM活用事例
● INSPIXでのアバター活用事例
● 今後の展開

12. © 2019 pulse Inc.
アバター活用
今回は主に
こちら
タレント側
観客側

13. © 2019 pulse Inc.
VRM活用事例(1)
- 株式会社サンリオ
- バーチャルタレント「となりの研究生マ
シマヒメコ。」
- MV作成にINSPIXを活用
- モデルのインポートにVRM
マシマヒメコ『Arco Color』short ver./Music Video

14. © 2019 pulse Inc.
VRM活用事例(2)
- 斗和キセキ×Marprilコラボ動画
- 提供していただいたVRMを
インポートしコラボ動画を撮影
やたのメンタルクリニック 斗和キセキ編@Marprilチャンネル

15. © 2019 pulse Inc.
INSPIXのランタイムモデル操作機能
- 表情変更
- まばたき
- 目線操作
- 口パク
- マテリアル変更
- オブジェクトON/OFF
- 小物を持たせる
- 特定の関節を固定
- 全身トラッキング
- 揺れ物

16. © 2019 pulse Inc.
マテリアル変更 / オブジェクトON/OFF
- マテリアル変更
- 紅潮表現などに使用
- 顔の表現を大きく変えたいとき
- オブジェクトのON/OFF
- >< のようなBlendShapeで表現が難しい表情時に使用

17. © 2019 pulse Inc.
小物を持たせる / 特定の関節を固定
- マイクやアクセサリの追加に使用
- 手先のトラッキングは不安定になることが多い
→ マイクを持つ手などは特定のポーズで固定
→ ピースや指さしなどに応用

18. © 2019 pulse Inc.
モデル実装ワークフロー
VRMがないとき
FBX書き出し
表情毎にブレンドシェ
イプの値を設定
揺れモノを設定 QAチェック
1ヶ月

19. © 2019 pulse Inc.
モデル実装ワークフロー
VRMがあるとき
VRM書き出し QAチェックINSPIX用にコンバート
1週間

20. © 2019 pulse Inc.
モデル実装工数
VRMがないとき
1キャラクターあたり1か月
VRMがあるとき
1キャラクターあたり1週間

21. © 2019 pulse Inc.
VRM＋INSPIXの実装
- INSPIX側からコンバート層を経てVRMの表情システムを叩く
- 揺れ物はVRM Spring Boneをそのまま使う
VRM表情システム
Unity
モーション
キャプチャシ
ステム
VRM
Spring
Bone
Unity
Chan
Spring
Bone
揺れ物INSPIX表情システム
INSPIX→VRMコンバート

22. © 2019 pulse Inc.
他プラットフォームへのVRMコンバート
- INSPIXで使っているキャラクターをVRMで出力
- 様々なプラットフォームで使用することが可能
- バーチャルキャスト
- REALITY など
コラボ案件などに容易に対応可能

23. © 2019 pulse Inc.
VRM Viewer
- 作成したVRMファイルの挙動確認に使用
- Unityを使わなくてもアプリ単体で確認可能
- イテレーションを早く回せる
- VRMビューワー( https://w.atwiki.jp/beamman/ )
- VRM Live Viewer( http://fantom1x.blog130.fc2.com/blog-entry-309.html )

24. © 2019 pulse Inc.
VRライブでVRMを使うとき

25. © 2019 pulse Inc.
INSPIXの基本構成
スタジオ 各家庭
中継サーバ
モーション
表情
ボイス
演出
etc.

26. © 2019 pulse Inc.
単純に各データを送ってしまうと
音声データ
モーションデータ
音声データと
モーションデータの
タイミングがそろわない
イマイチなライブ体験

27. © 2019 pulse Inc.
モーションデータにタイミング情報を付与
音声データ
モーションデータ
エモいライブ体験
何秒目の音声の時の
モーションだったか
タ
イ
ミ
ン
グ
を
そ
ろ
え
て
か
ら
再
生

28. © 2019 pulse Inc.
処理負荷の分散
- モバイル端末で動かすために、重い処理を送信元で実行する
モバイルは結果を受け取るだけ
- 送信元で行なっている処理
- 揺れ骨の計算
- 補助骨の計算
- リップシンクの解析
PCで計算を行い
結果を送信

29. © 2019 pulse Inc.
揺れ骨の送信
- 1キャラクターにつき100以上の揺れ骨が付いていることがある
- 揺れ骨の回転情報を送信する
- INSPIXでは下記の揺れ骨ライブラリに対応
- Unity Chan Spring Bone
- VRM Spring Bone
- モバイルでは揺れ骨Componentをdisable
- 受け取った回転情報で描画

30. © 2019 pulse Inc.
通信量の削減
通信は無尽蔵に使えない
通信量は減らした方が安定する
〇送信モーションデータの削減
・毎フレーム送らず受信側で補間
・見た目に影響しないボーン情報を送信しない
〇ボーンの回転情報をfloat[4]ではなくintに圧縮
・参考：Quaternionを16byteから3byteへ圧縮
http://cottonia-cotton.cocolog-nifty.com/backyard/2017/11/quaternion16byt.html

31. © 2019 pulse Inc.
VRM活用事例まとめと今後
- VRMを使うことでモデル実装工数の削減
- INSPIXへのコンバート機能を実装して実現
- export機能を使って他プラットフォームにも展開
- 重い処理は送信元で処理することでモバイルでも動作
- VRMの機能拡充で、モデル実装工数がさらに低く、表現豊かに
- クロス、カプセルコライダー
- アタッチターゲット etc.

32. © 2019 pulse Inc.
アジェンダ
● バーチャルライブプラットフォーム「INSPIX」とは
● VRM活用事例
● INSPIXでのアバター活用事例
● 今後の展開

33. © 2019 pulse Inc.
生放送 ライブビューイング
握手会 MV
ARライブ
VRライブ

34. © 2019 pulse Inc.
リアルタイム性を活かしたコミュニケーション
- ロケーションでも自宅でもリアルタイムコミュニケーション
- リアルタイムにバーチャルタレントと交流
- タレントが安全
気軽で安全に交流できるのがバーチャルタレントの強み

35. © 2019 pulse Inc.
INSPIX LIVE
- iOS / Android向けスマートフォンアプリ
- どこでもVRライブが楽しめる
- お見送り会・トーク会機能もあり
- Ver.1.1からはタレントとの双方向会話も実装

36. © 2019 pulse Inc.
ロケーションライブイベント
- ライブハウス・映画館などのビジョンに投影してイベントを開催
- お客さんに集まってもらってイベントを実施
- ARライブ / ロケーションVRライブも実施実績あり
第32回東京国際映画祭
Virtual×Real×Techライブ
～featuring 直感×アルゴリズム♪～
えのぐ1周年記念ARライブ

37. © 2019 pulse Inc.
バーチャル握手会
● えのぐデビューシングル発売イベントとして2018年12月初実施
● その後も全国各地でイベントを実施
● のべ体験人数5000人以上

38. © 2019 pulse Inc.
チェキ会 / 呼び込み
- お客さんと2ショットチェキを撮影
- 撮影前に会話を楽しむこともできる
- イベントの呼び込みに応用

39. © 2019 pulse Inc.
INSPIXでのアバター活用事例まとめ
- リアルタイム性を活かしたイベントを数多く実施
- タレントとお客さんが気軽に安全にコミュニケーション
- コミュニケーションができるとお客さんの満足度UP
コミュニケーションはいつの時代もキラーコンテンツ

40. © 2019 pulse Inc.
アジェンダ
● バーチャルライブプラットフォーム「INSPIX」とは
● VRM活用事例
● INSPIXでのアバター活用事例
● 今後の展開

41. © 2019 pulse Inc.
大型アップデート予定
https://1923.co.jp/press-release/2019/11/13-01.html

42. © 2019 pulse Inc.

43. © 2019 pulse Inc.

44. © 2019 pulse Inc.
INSPIX LIVE
App Store/Google Playで配信中
定期的に「えのぐ」がライブ開催中
次回は11月30日
双方向会話が楽しめる
個別トーク会が12月より開催予定
11/30 18:00 (OPEN 17:30)
えのぐ定期公演~Jump out!

45. © 2019 pulse Inc.
開催予定のロケーションイベント
12/8～12
えのぐに逢いに恋‼ IN秋葉原
12/15
ナゴヤVTuberまつり
12/22
Marpril 1st LIVE
2/16
えのぐ結成2周年ライブ

46. © 2019 pulse Inc.
INSPIX Support Program
- INSPIXを使ってみたい
- ライブ・握手会・チェキ会・生放送・MV収録 etc.
- 詳しく話を聞きたい
- 下記のURLからお問い合わせください！
https://pulse227.com/products.html

47. © 2019 pulse Inc.
ご清聴ありがとうございました