Microsoft HoloLens na BUILD 2015

Microsoft

8 years ago

Letos jsem se již podruhé zúčastnil vývojářské konference Microsoft Build 2015 v San Franciscu. Mezi největší lákadla patřila rozhodně demonstrace Microsoft HoloLens - revolučních brýlí pro holografickou realitu, které přichází spolu s Windows 10 jako prvním operačním systémem pro tento typ zařízení. Měl jsem to velké štěstí, že jsem si HoloLens mohl vyzkoušet sám na vlastní oči a chtěl bych se nyní s vámi o mé zážitky podělit. 08023260-photo-hololens.jpg

Zaregistrujte se, rychle!

V keynote prvního dne konference bylo ohlášeno, že někteří z účastníků si budou moci sami vyzkoušet HoloLens. Vstupenkou k tomuto privilegiu byla registrace přes speciální rezervační stránku. Registrace byla otevřena ihned po skončení keynote a jak bylo předem avizováno z časových důvodů mohla pokrýt pouze malou část z více než šesti tisíc vývojářů, kteří se konference účastnili. Proto jsem ihned, jak to bylo možné přešel na registrační web ve prohlížeči na svém telefonu (zpomalen extrémním vytížením všech dostupných Wi-Fi sítí kolem) a byla mi nabídnuta volba ze tří různých aktivit - Holografická Akademie, Holografická prezentace a HoloLens One on One. Z těchto tří byla aktivita One on One právě ztělesněním toho, co představovalo ukázkové video o HoloLens, takže jsem přirozeně chtěl vybrat tuto aktivitu. Bohužel, či spíše bohudík - když jsem ji vybral a chtěl svoji volbu potvrdit, můj prohlížeč (ve v té době ještě nestabilní alpha-verzi Microsoft Edge) rozhodl, že Holografická Akademie je lepší volbou a tu také odeslal. Nakonec jsem byl za tuto změnu rozhodně rád, protože právě Akademie byla z nabízených tří voleb tím nejpodrobnějším a nejdelším možným seznámením s HoloLens.

WP_20150428_10_00_56_Rich

Asi hodinu poté, těsně před obědem jsem obdržel e-mailem pozvánku na Holografickou Akademii, která měla začínat za pouhých 30 minut v blízkém pětihvězdičkovém hotelu. Neváhal jsem tedy, rychle vyzvednul balíček s oběděm a běžel na místo.

Přípravy

V hale hotelu netrpělivě vyčkávali všichni pozvaní na signál od členů týmu HoloLens, kteří postupně vpouštěli na vybrané aktivity. Skupina čekající na Holografickou Akademii byla zřejmě největší a tak i čekání tomu odpovídalo.

WP_20150429_13_19_32_Pro__highres

Když vše bylo připraveno, byli jsme vpuštěni do výtahů a ty nás zavezly do patra, které bylo vyhrazeno pro Microsoft k účelům demonstrace HoloLens. Přímo v přední části vstupní haly byla skleněná kostka ve které jsme mohli vidět poprvé naživo Microsoft HoloLens samotný. Samozřejmě však platilo, že žádné dotýkání ani fotografování nebylo povoleno! Následovala registrace, podpis smlouvy NDA a souhlas s faktem, že budeme natáčení na video za účelem záznamů a rozhovorů, které nyní můžete shlédnout na internetu. Navíc nám byl přidělen klíč k šatnové skříňce, kde jsme museli odložit své osobní věci a veškerá elektronická zařízení, která byla na místě konání akce přísně zakázána.

WP_20150704_14_43_46_Rich (2)

Také nám byly přiřazeny účastnické visačky a byla nám změřena vzdálenost mezi očima. Tato hodnota potom sloužila jako referenční pro základní nastavení HoloLens pro optimální kvalitu zobrazení.

Vítejte ve vývojářském ráji

Po vyřízení všech formalit a vytvoření dlouhé fronty všech účastníků jsme byli rozděleni do dvojic a každé dvojici byl přidělen "vedoucí" z řad týmu HoloLens. Tento vedoucí po zbytek odpoledne byl nápomocen v případě potíží nebo dotazů. S naším vedoucím jsme poté vstoupili do místnosti, kde se měla odehrát samotná Holografická Akademie. Tato místnost byla středně velká konferenční hala s pódiem uprostřed a několika oddělených sekcí kolem něho. Každá ze sekcí sestávala z konferenčního stolku uprostřed a třech až čtyřech stolů kolem. U každého stolu mohli sedět dva účastníci u počítačů, které zde byly připraveny. Překvapením bylo, že nikde zatím nebyly žádné brýle HoloLens! Atmosféra v místnosti byla skvělá. Očekávání bylo doslova hmatatelné a bylo zřejmé, že se nikdo nemůže dočkat až si bude moci vyzkoušet poprvé vstoupit do světa hologramů. Ve videu níže se můžete sami přesvědčit, jak to na Akademii vypadalo (mimochodem, v čase 0:06 můžete spatřit i mě :-) ).

Úvod

Jakmile všichni byli usazeni a dveře se zavřely, jeden z prezentátorů se ujal slova na pódiu a uvítal všechny účastníky. Po krátkém uvedení do toho, co můžeme očekávat a popisu zařízení a technologie, která jej pohání, byl každému z účastníků rozdán konečně jeho "vlastní" Microsoft HoloLens, který bude moci po zbytek odpoledne používat. HoloLens byl v té době ještě ve své testovací fázi, ale vypadal téměř jako dokončený. Nevyžadoval již velkou baterii na zádech uživatele jako v předchozích demonstracích. Chybělo mu pouze fungující uživatelské prostředí Windows 10 Holographic, které ještě nebylo připraveno. Náš vedoucí nám pomohl zařízení nakonfigurovat a nastavit jeho parametry přes webové rozhraní, které sloužilo jako dočasná náhrada za rozhraní operačního systému na HoloLens. Toto rozhraní navíc umožňovalo přímo instalovat aplikační balíčky APPX. Systém běžící na brýlích byl tedy v tu dobu vlastně pouze běhovým prostředím pro nahrané aplikace (podobně jako je to v případě Windows IoT). Gradient-Windows-3d-Holographic-logo

Ahoj, hologramy

Po nastavení brýlí jsme na zařízení nahráli naši první ukázkovou aplikaci a mohli si brýle poprvé nasadit na hlavu. Prvním velkým překvapením byl fakt, že HoloLens jsou překvapivě lehké. Přestože jde o plnohodnotný a velmi výkonný počítač s velkým množstvím senzorů, velmi lehce sedí na hlavě a po korektním přizpůsobení jeho tvaru se vůbec neopírají o nos a jsou velmi pohodlné. Ukázková aplikace nám nabídla možnost umístit do prostoru na jakýkoliv povrch malé autíčko a následně jej instruovat pomocí pohledu a gest ruky kam má jet. Autíčko se inteligentně vyhýbalo reálným překážkám kolem sebe a dokonce dokázalo seskočit z desky stolu na zem nebo přejet přes moji nohu přesně tak, jak by se chovalo skutečné autíčko na ovládání. Vše bylo nesmírně realistické a hologram auta byl schopen "vnímat" své okolí jako reálný fyzický objekt. Ten pocit, že něco takového je vytvářeno a zobrazováno v malém zařízení na mé hlavě byl opravdu neuvěřitelný. Doslova dech beroucí zážitek. Musím se také zmínit o stabilitě holografického obrazu. Nezávisle na tom, jak moc jsem pohyboval hlavou nebo přecházel po kolem hologramu, autíčko bylo stále naprosto přesně na tom samém místě v reálném prostředí. Nechápu jak tým, který vytvořil HoloLens, dosáhl takové přesnosti, ale skutečně se zde smývá rozdíl mezi realitou a hologramy. Den před vyzkoušením HoloLens jsem měl navíc možnost otestovat i virtuální realitu s Oculus Rift, ale technologie Microsoftu zde v přesnosti vítězí na celé čáře. Ano, jistě očekáváte, že okomentuji velikost zorného pole zařízení, což je popisováno jako hlavní nevýhoda HoloLens. Ano, zorné pole je menší než bylo v předchozích živých demech a ve videích a Microsoft toto veřejně zmiňuje jako věc, která v prvním vydání brýlí může být mírně limitující. Pravděpodobně jde primárně o problém způsobený životností baterie, ale můžeme očekávat, že v každém dalším vydání HoloLens se bude zorné pole postupně zlepšovat. Osobně však se přikláním k tomu, že pro normální použití byla velikost obrazu, který jsme měli možnost vidět více než dostatečná. Většina hologramů je viditelná bez potíží a pouze pro pohled zblízka se někdy stane, že dojde k "oříznutí" pohledu.

Let's //build/!

Abychom byli přivedeni zpět do "reality" z našeho úžasu nad hologramy, ozval se hlasitý gong, který ohlašoval, že máme brýle odložit a sledovat dění na pódiu. Prezentátor nás provedl plánem toho co nás čeká na Akademii. Cílem bylo krok za krokem vyvinout naši první holografickou aplikaci a stát se tak prvními na světě mimo Microsoft, kteří budou moci sestavit a otestovat svůj výtvor na HoloLens. Hlavními nástroji, které nám byly nápomocny bylo Visual Studio a Unity - obojí v interní testovací verzi. Unity mělo navíc speciální HoloLens SDK, které obsahovalo připravené objekty pro vývoj holografických aplikací - jako například holografickou kameru nebo spatial mapping. V průběhu odpoledne jsme vytvářeli jednoduchou aplikaci zvanou Project Origami.

Část první: Zobrazení hologramů

První fází bylo zobrazení 3D objektu v prostoru před námi. Jednoduše jsme mohli přetáhnout připravené objekty na scénu v Unity a umístit holografickou kameru. Pro prostor v případě holografických aplikací platí, že jednotky v Unity odpovídají metrům ve skutečnosti. Po připravení scény jsme aplikaci exportovali jako Windows 10 aplikaci a následně řešení nahráli přes Visual Studio na HoloLens.

Část druhá: Pohled

První interakcí, kterou jsme přidali do naší aplikace byl pohled. Toto umožnilo HoloLens sledovat pohyb našich očí a dle toho zvýraznit přesně to místo, na které jsme se dívali.

Část třetí: Gesta

Druhou interakcí s modelem byla gesta - takzvaný "air tap", což lze volně přeložit jako "ťuknutí ve vzduchu, které lze provést pohybem palce a ukazováčku. V našem trojrozměrném modelu byly zobrazeny dvě papírové kuličky, které levitovaly ve vzduchu. Pohledem na ně a použitím gesta najednou začaly reagovat na okolní gravitaci a spadly dolů na zem. V tuto chvíli je ale zem nezastavila propadly se až dolů do nekonečna.

Část čtvrtá: Hlas

Dále jsme přidali hlasové ovládání jako alternativu k gestu rukou. Použitím hlasu jsme mohli říct papírovým kuličkám aby spadly dolů a navíc jsme takto mohli restartovat celou "scénu". Přidání hlasu změnilo interakci na ještě více přirozenou a ukázalo jasně volnost, kterou HoloLens nabízí uživateli ve volbě způsobu vstupu, který v danou chvíli je nejvhodnější. Navíc zařízení reaguje právě a pouze na váš hlas a nenechá se zmást okolním hlukem ani kolegy, kteří zrovna shodou náhod vyslovují přesně stejné příkazy.

Část pátá: Spatial mapping

Aby hologramy byly schopny rozpoznat a interagovat se svým okolím, je nutné přidat spatial mapping. Toto byl opět jeden z předpřipravených "pluginů" v HoloLens SDK v Unity. Stačilo jej přidat a bylo hotovo - mohli jsme umístit náš hologram na jakýkoliv vodorovný povrch kolem nás a papírové kuličky již nepropadaly skrz podlahu, ale správně narážely do okolí včetně stolu a pohovky. Také jsme měli možnost se podívat, jak HoloLens "vidí" okolní svět. Spatial mapping vytváří síťovou reprezentaci okolního světa a velmi přesně pokrývá tvary objektů v něm.

Část šestá: prostorový zvuk

Celý zážitek jsme poté ještě více umocnili přidáním prostorového zvuku. Zaprvé, hologram samotný vyzařoval klidnou, relaxující hudbu a zadruhé jsme přidali zvukové efekty k papírovým kuličkám tak, aby při dopadu a jejich kutálení zněly jako skutečný papír. HoloLens má skvělý zabudovaný prostorový zvukový systém, takže uživatel skutečně slyší zvuk jako by vycházel ze správné vzdálenosti a směru. Když se otočíte zády, zvuk zní přesně tak, jak by zněl kdyby byl "za vámi". Když se přiblížíte, je hlasitější. Zní to možná jako malý detail, ale velmi výrazně to celému hologramu přidá na skutečnosti.

Část sedmá: Bonus!

Celý projekt jsme dokončili malým bonusem, který pro nás tým připravil - přidáním nového, blíže nespecifikovaného objektu na scénu v projektu. Po následném spuštění aplikace a puštění papírové kuličky k zemi došlo po kontaktu s podlahou k výbuchu, po kterém bylo ve vzniklé trhlině v zemi možné prohlédnou dolů pod nás do fantastického světa plného živých papírových jestřábů létajících nad zelenou krajinou.

Celkové dojmy

Microsoft HoloLens je skutečně neuvěřitelná technologie, která zní, vypadá a chová se jako z budoucnosti. Byl jsem opravdu překvapen výkonem a potenciálem, který se v zařízení skrývá a jsem si jistý, že stejný pocit se dostane každému, kdo si brýle bude moci vyzkoušet. Vývoj aplikací pro HoloLens je velmi jednoduchý. Můžete vyvinout klasickou Windows 10 Univerzální aplikaci. Všechny klasické aplikace budou na HoloLens fungovat bez větších změn. Pokud ale budete chtít opustit svět druhé dimenze, což rozhodně doporučuji, jistě uvítáte vývojové prostředí Unity, které vám nabízí jednoduché SDK a možnost rychlého vývoje vašich prvních holografických aplikací v jazyce C#. První vydání HoloLens se již blíží a nemohu se dočkat, jak se zařízení bude vyvíjet a jaké kreativní způsoby využití si najde nejen pro koncové uživatele, ale také firmy a třeba lékařství. Microsoft přinesl opravdovou revoluci.