“Welcome to an new era of Windows. Welcome to Windows HoloGraphic.” Met deze woorden werd de HoloLens in januari 2015 geïntroduceerd door zijn schepper, Alex Kipman. Hiermee bracht Microsoft een futuristisch apparaat op de markt, dat zo uit een science fiction film zou kunnen komen. Terwijl veel grote bedrijven in 2015 bezig waren met de ontwikkeling van Virtual Reality headsets, ging Microsoft een heel andere kant op met zijn Augmented Reality headset om zo een technology shift teweeg te brengen.
Microsoft voorzag een toekomst waarin het mogelijk was om de moderne werkplek te creëren door de virtuele werkelijkheid te mixen met de daadwerkelijke realiteit. In deze toekomst is de ruimte om ons heen de computer en bedienen wij zij deze met ons lichaam als muis.
De afgelopen jaren heeft Microsoft een sterke marktpositie kunnen verwerven door de concurrentie in 2015 voor te blijven. Waar Facebook in 2015 Oculus Rift overnam om zich te storten op de Virtual Reality markt en Google faalde met zijn Google Glass, kwam Microsoft een jaar later met een aantal applicaties die de sterke punten van de HoloLens benadrukten. Mede hierdoor is de populariteit van de HoloLens toegenomen en proberen veel bedrijven momenteel ‘killer app’ te ontwikkelen.
Dit is het eerste deel van een serie blogs waarin ik inga op de HoloLens en hoe de magie wordt gecreëerd.
De HoloLens
De HoloLens is een bril waarmee hologrammen in de werkelijkheid kunnen worden geplaatst om hier vervolgens interactie mee kunnen hebben. Een zogenaamde “mixed reality”-ervaring. De magie van de “mixed reality” wordt bepaald door vier factoren, namelijk de lenzen, de sensoren, de HoloGraphic Processing Unit en manier van interactie.
Lenzen
De HoloLens bestaat uit een paar high-definition lenzen die weer bestaan uit drie lagen glas met de primaire kleuren rood, groen en blauw. In de lagen glas zitten meerdere kleine groeven. De light-engine van de HoloLens bevat lichtdeeltjes die wordt gezonden naar deze groeven. Vervolgens worden de lichtdeeltjes onder een bepaalde hoek, lichtintensiteit en kleur in de ogen van de gebruiker gereflecteerd om een “beeld” te genereren.
Sensoren
De HoloLens bevat verschillende sensoren die verantwoordelijk zijn voor het uitvoeren van taken als head-tracking, eye tracking en scannen van de omgeving. De sensorbar van de HoloLens bestaat uit meerdere omgevingscamera’s, een dieptesensor, lichtsensor en een inertial measure unit (IMU).
De omgevingscamera’s volgen de hoofdbewegingen van de gebruiker. De dieptesensor detecteert handbewegingen voor de interactie en plaatst hologrammen op daadwerkelijke objecten. Naast deze sensoren bevat de HoloLens meerdere microfoons die de stemcommando’s van een gebruiker registreren en omgevingsgeluid genereren. De laatste sensor, de IMU, bevat gyroscopen, accelerometers en een magnetometer die de bewegingen met de HoloLens registreert.
De HoloGraphic Processing Unit (HPU)
De HoloGraphic Processing Unit is verantwoordelijk voor de magie van de HoloLens. Deze processor zorgt voor het blenden van de virtuele wereld met de werkelijkheid. De verschillende sensoren leveren data aan over de omgeving en de handelingen van de gebruiker. Als voorbeeld kan worden gedacht aan alle stemcommando’s en handgebaren die nodig zijn om interactie te hebben met een hologram.
Interactie
Om de ervaring van de gebruiker realistischer te maken, bedacht Microsoft dat het interessant zou om op een natuurlijk manier interactie te kunnen hebben met de geplaatste hologrammen. Interactie met hologrammen vindt plaats middels het kijken (gaze), handgebaren (gestures) en stemcommando’s (voice commands). De ingebouwde sensoren van de HoloLens zorgen dat een cursor de blik van de gebruiker volgt. Daarnaast volgen ze ook hoofdbewegingen, waarna de cursor meebeweegt. De sensoren volgen niet alleen de bewegingen van het hoofd, maar ook de bewegingen van iemands hand.
Bij het detecteren van de handbewegingen kijkt de HoloLens of iemands hand zich bevindt binnen het gesture-frame. Dit is een onzichtbaar veld dat loopt van de schouders tot aan de buik. Eenmaal gevonden controleert de HoloLens in welke toestand de hand van de gebruiker zich bevindt: “ready” of “pressed”. Bij de ready state bepaalt de HoloLens welke vorm van interactie moet worden uitgevoerd en bij de “pressed” state wordt de interactie daadwerkelijk uitgevoerd. De HoloLens bevat verschillende handgebaren voor het selecteren, draaien, schalen en bewegen van een hologram.
Tot slot ondersteunt Cortana de HoloLens bij het uitvoeren van taken als het openen, selecteren en navigeren van/naar applicaties op basis van stemgebruik. De ingebouwde microfoons van de HoloLens zorgen dat dit goed ‘verstaan’ wordt, zelfs in een drukke omgeving.
Toepassingen van de HoloLens
Hoewel de HoloLens nog niet productie gereed is, wordt deze al in grote mate omarmd. Het is een uniek device met vele nieuwe mogelijkheden. Momenteel zijn er veel prototypes in de omloop op het gebied van opleiden van personeel. Één van de bekendere toepassingen op dit gebied is de applicatie van Japan AirLines om cabinepersoneel op te leiden. Deze applicatie plaatst bijvoorbeeld een paneel van de cockpit in de werkelijkheid, zodat piloten in opleiding deze kunnen memoriseren en handelingen kunnen oefenen.
Inmiddels zie je dat de HoloLens ook zijn weg vindt in de gezondheidszorg. Er zijn bijvoorbeeld toepassingen ontwikkeld voor het aanbieden van lesstof in 3D, om leren interactiever te maken. En toepassingen voor het leren uitvoeren van hersenchirurgie. Deze app laat het menselijk brein in 3D-beelden zien, waar momenteel nu veel gebruik wordt gemaakt van 2D-afbeeldingen bij het opleiden van neurochirurgen. Door het gebruik van 3D-beelden heeft een trainee veel beter inzicht in wat hij/zij aan het doen is. Kijk hier voor meer mixed reality toepassingen in de gezondheidszorg.
Naast diverse bedrijven blijft Microsoft zelf ook mixed reality (MR) promoten door nieuwe apps te introduceren als Remote Assist en Layout. Met Remote Assist kan in de HoloLens handsfree worden gebeld naar andere mensen. Deze app wordt momenteel veelal ingezet bij monteurs wanneer deze extern om hulp vraag bij een probleem. Op deze manier kan er sneller worden getroubleshoot. De Layout app stelt ontwikkelaars in staat om 3D-modellen in te laden op ware grootte. Recentelijk heeft Microsoft een beta-versie uitgebracht van Microsoft Marguette. Dit is een applicatie waarmee 3D-modellen kunnen worden opgebouwd middels een Paint-achtig programma.
In de volgende blog ga ik verder in op 3D-objectherkenning met Vuforia in combinatie met de HoloLens.
– Gideon Kuijpers – Software Engineer
