HKU-project in Mixed Reality, by Raoul Postel AR and VR creation and development

1. VR 360 AR
HKU
MIXED REALITY / IMMERSIVE MEDIA

2. SIMULATIE,
EDUCATIE,
INFORMATIE,
NAVIGATIE,
VISUALISATIE
virtual reality web world

3. KENNISMAKEN EN
EXPERIMENTEREN MET DE
ACTUELE MOGELIJKHEDEN
VAN VR EN AR
Waar begin je eigenlijk?
MIXED REALITY

4. auteur: Raoul Postel
WAT IS…
▸ Virtual = 360 simulatie
▸ Augmented = laag op werkelijkheid
▸ Combinaties van beide en
andere interactie, zoals sensoren
en controllers
▸ Mobiliteit (bril)
▸ Doel van VR/AR (waarde)
▸ Sensoren / controllers (fysiek - digitaal)
MIXED REALITY

5. HET COMMUNICATIEF KUNNEN
INZETTEN VAN SIMULATIE EN
DEVICE-GEPROJECTEERDE
INFORMATIE
Doel
MIXED REALITY

6. auteur: Raoul Postel
WAT WORDT HET VOLGENDE GROTE COMPUTER PLATFORM?
MIXED REALITY
Computing Cycles of the 20th & 21st Centuries | Devices or Users in Millions
1.000.000
100.000
10.000
1.000
100
10
1
1960 1970 1980 1990 2000 2010 2020 2030
MainFrame
1M+ Units
Mini Computer
10M+ Units
PC
100M+ Units
Desktop Internet
1B+ Units / Users
Mobile Internet
10B+ Units / Users
AR / VR / MR
? Units / Users

7. auteur: Raoul Postel
VR BRILLEN & CONTROLLERS
▸ VR HTC Vive
▸ VR Oculus Rift en Go
(wired en wireless)
▸ Mobile VR (webRTC webGL)
▸ Leap Motion sensor
▸ Cardboard / stereoscope
▸ En er komen wekelijks brillen bij…
MIXED REALITY
standalonewired+PChand-controller
— + ++
++ ++

8. auteur: Raoul Postel
360
FOTO | VIDEO | STREAMING | SOCIAL
▸ Google StreetView App (foto’s)
▸ Kodak, GoPro, Panoview 360
▸ Ricoh Tetha
▸ Insta360 One
▸ Equirectangular image —>
MIXED REALITY
—
+
++
++
++
++

9. auteur: Raoul Postel
AR
▸ AR MetaVision ll (physical touch)
▸ AR Hololens (gebaren)
▸ MergeCube AR
▸ Magic Leap
▸ Er komen wekelijks ervaringen bij…
MIXED REALITY

10. auteur: Raoul Postel
SPEEL EN FUN SOFTWARE
▸ HP Reveal (AR)
▸ Ikea app (AR) i.c.m. print catalogus
▸ Pokémon Go (AR)
▸ Google Streetview app
▸ Jaunt (VR)
▸ VeeR (VR)
▸ Roundme (VR)
▸ Kuula (VR)
MIXED REALITY

11. auteur: Raoul Postel
ONTWIKKEL SOFTWARE
▸ AR Vuforia
▸ AR VR Unity
▸ AFrame VR / Tree.js
▸ vectary.com AppleAR
▸ Google Tour Creator
▸ Story Spheres
▸ Blippar / Jaunt
▸ Processing
▸ Adobe CC en Aero (op uitnodiging)
▸ AR.js en ARToolkit.js (markers)
MIXED REALITY

12. auteur: Raoul Postel
STANDAARDEN
▸ WebGL & browsers
▸ Devices en toegankelijkheid (camera, geluid,
gyroscoop)
▸ VR-bil resoluties
▸ Steam / Oculus / HTC app stores
▸ Geluid 360 Bijv. Theta V met immersive sound
▸ Controllers
▸ https://www.digitaltrends.com/virtual-reality/
oculus-rift-vs-htc-vive/
▸ CTA-2069
▸ Operating Systems
MIXED REALITY

13. MIXED REALITY
Equirectangular
source:
wiki.panotools.org/Panorama_formats
Cylindrical
Boven: volledig in beeld
Rechts: afgesneden beeld

14. MIXED REALITY
Rectilinear
source:
wiki.panotools.org/Panorama_formats
Cutted Equirectangular
vergelijkbaar met
een FishEye lens

15. MIXED REALITY
Little Planet Cubic
source:
wiki.panotools.org/Panorama_formats
Orientation Plate
Deze kubus is
ook volledig 360

16. Augmented projecties geven informatie
of helpen bij het leren op oplossen

17. ▸ https://mog-
technologies.com/interactive-
virtual-studios
▸ https://youtu.be/IZI7-3rK-X4
▸ https://youtu.be/
OlwqAYKR_nc
GREENSCREEN AR

18. VR FILM & ANIMATIE

19. VR ALS 3D TEKEN & ANIMATIE ENGINE
Door direct in VR te tekenen en animeren
wordt de tijdrovende frame-rendering
sterk terug gebracht. Een enorme tijdwinst
en besparing op het renderproces!
Bron: Penrose Studios

20. Het resultaat van de in VR getekende
visual. Over de grove VR-tekening wordt
alleen nog een structure-filter geplaatst.

21. Ook animatie kan direct in VR worden
gecreëerd, waardoor alles direct in
een 3D omgeving staat.

22. auteur: Raoul Postel
INSPIRATIE
▸ Claire Bardainne and
Adrien Mondot.
Augmented & Mixed Reality
MIXED REALITY

23. auteur: Raoul Postel
OPDRACHTEN WEEK 1
maandag, woensdag, vrijdag 9:00-12:00 uur
▸ Conclusie op 5 onderzoeksvragen binnen
een van de aangedragen thema’s.
▸ Maak een 360 foto op een voor jou
onbekende lokatie of lokatie die je anders
nooit zou fotograferen.
▸ Maak een AR ervaring met HP Reveal
▸ Verwerk in het VR beeld emotie/sfeer door
aanpassen van kleurcontrast, toevoegen
van lagen en andere montage.
▸ Vrijdag: Presenteren research en resultaten.
V
MIXED REALITY

24. auteur: Raoul Postel
ONDERZOEK THEMA’S
MIXED REALITY
▸ Navigeren door de virtuele
ruimte (interface) Er gebeuren
dingen om je heen, hoe trek je
de aandacht?
▸ Van fysiek naar digitaal (zintuigen)
▸ Toepassingen van AR VR
in de samenleving (mental
health, e-learning/
simulation, retail, travel)
▸ Journaistiek & immersive media
▸ Mixed Reality als
visualisatie medium
(kunst, expressie)

25. IK WIL VERTELLEN DAT…
[ HOOFDVRAAG ]
WANT | OMDAT | ZODAT…
[ SUBVRAGEN ]
DIT LAAT IK ZIEN DOOR…
[ UITWERKING ]

26. auteur: Raoul Postel
OPDRACHTEN WEEK 2
maandag, woensdag, vrijdag
2 docenten: Stefan (Unity) / Raoul (A-Frame)
▸ Training in Unity & A-Frame
▸ Tijdens de lessen:
Unity basis
A-frame storyboard/gallery
▸ Opdrachten en studies
uploaden in Projectcampus
▸ MergeCUbe Unity AR
▸ Google Blocks / Tilt brush (met Vive)
MIXED REALITY

27. MAAK EEN VERBORGEN
SPOT INFORMATIEF
ZICHTBAAR DOOR VR EN AR
Eindopdracht [verleden - heden - toekomst]
MIXED REALITY

28. auteur: Raoul Postel
WERKWIJZE MIXED REALITY CREATIE
1. onderzoek & doelstelling
2. storytelling & concept
3. asset creatie
4. rendering & prototyping
MIXED REALITY

29. auteur: Raoul Postel
OPDRACHTEN WEEK 3
maandag, woensdag, vrijdag
woensdag 1,5 uur (korter ivm lezing)
▸ Eindopdracht
▸ Verhaallijn bedenken en
visualiseren in VR / AR
▸ Storyboard in VR-aframe zetten
▸ Planning, voortgang en onderzoek
uploaden in Projectcampus
MIXED REALITY
0.8.0 › Guides

30. auteur: Raoul Postel
OPDRACHTEN WEEK 4-5
maandag, woensdag, vrijdag
▸ Eindopdracht ontwikkelen
▸ Tijdens lessen individueel
bespreken met docent
▸ Vrijdag: korte presentatie/standup
van hetgeen je gemaakt hebt deze
week.
▸ Storyboard en concepten
uploaden in Projectcampus
MIXED REALITY

31. auteur: Raoul Postel
OPDRACHTEN WEEK 6
maandag, woensdag, vrijdag
▸ Eindopdracht ontwikkelen
▸ Tijdens lessen individueel
bespreken met docent
▸ Vrijdag:
- ochtend = afronden opdracht
- middag = beoordelen
MIXED REALITY