Caminhando em Marte com a Microsoft Hololens

Na semana passada, parecia-me que eu estava andando em Marte. Eu estava usando o novo HoloLens da Microsoft (foto), anunciado como parte da introdução do Windows 10, e a demo da Mars foi uma das poucas que a empresa permitiu à imprensa tentar usar uma versão de teste do fone de ouvido e as extensões holográficas para o sistema operacional.

Eu usei um número de realidade virtual e fones de realidade aumentada nos últimos anos e passei muito tempo com o Google Glass. De certa forma, o HoloLens parece uma extensão do que alguns desses produtos estão tentando fazer; em outros, parece muito diferente.

"Bem-vindo ao Windows Holographic", disse Alex Kipman (acima), chefe do projeto, quando o produto foi lançado. O conceito levará a maneiras mais imersivas de jogar, novas maneiras de aprender, colaborar e criar, disse ele.

A Microsoft fez um grande esforço para não chamar o projeto de realidade virtual ou realidade aumentada e, em vez disso, usou o conceito de hologramas constantemente. É um pouco diferente dos hologramas que você pode ver nos filmes - na ficção, você geralmente não precisa de um fone de ouvido especial - mas as imagens exibidas são tridimensionais, então acho que o nome faz sentido.

Kipman falou sobre os muitos usos possíveis para hologramas no mundo real, como um engenheiro que vê instruções em uma sobreposição de um objeto que ele ou ela estava tentando construir ou reparar, um arquiteto percorrendo um projeto, um cirurgião aprendendo um procedimento, ou apenas transformando a sala de estar em um ambiente de jogo surreal.

A Microsoft realmente anunciou dois produtos - um é uma série de APIs focadas no entendimento humano e holográfico chamado Windows Holographic, que fará parte do Windows 10, e o segundo é um pedaço de hardware chamado HoloLens. A Microsoft deseja claramente que desenvolvedores e potencialmente outros fabricantes de dispositivos de hardware criem aplicativos e dispositivos que transformarão isso em um mercado real, e especificamente chamados aos desenvolvedores que trabalham no Oculus Rift do Facebook, Magic Leap e Google Glass para "criar hologramas conosco". Obviamente, um problema é que existem muitas plataformas, e o objetivo do anúncio é tentar iniciar o processo de obtenção de uma massa crítica de desenvolvedores por trás do Windows Holographic. Para VR, pelo menos, Oculus parece ter o maior burburinho no momento.

HoloLens é um conjunto de lentes holográficas transparentes com som e sensores. Possui os componentes normais de CPU e GPU, bem como o que a empresa descreveu como uma terceira unidade de processamento holográfico (HPU) que entende gestos e mapeia espacialmente o mundo à nossa volta. O dispositivo roda sem fio enquanto processa terabytes de informações, disse Kipman, mas a empresa ainda não forneceu detalhes reais sobre o hardware.

A empresa fez várias demonstrações interessantes no palco, mas eu estava mais interessado em testá-las, e a Microsoft criou quatro "experiências" demo para a imprensa no laboratório onde o HoloLens foi criado, localizado no porão da empresa. Centro de Visitantes.

Uma delas foi realmente mais uma demonstração da Microsoft do HoloStudio, um ambiente para criar hologramas e opcionalmente imprimi-los em 3D (o que geralmente é feito por meio de um serviço 3D, pois os hologramas geralmente envolvem várias cores e são mais elaborados do que a maioria das impressoras 3D pessoais pode aguentar). A demonstração no palco envolveu a criação de um quad-helicóptero personalizado e, posteriormente, uma demonstração em grupo menor nos mostrou como fazer uma chave USB personalizada com a imagem de um "koala espacial".

O ambiente parecia um estúdio de design interessante, onde você pode começar com bastante facilidade, mas que na verdade tem uma quantidade razoável de profundidade. Provavelmente levaria algum tempo para entender como usá-lo, mas meu palpite é que as pessoas que usam produtos como o 3D Studio Max da Autodesk ou software similar acham isso bastante direto.

Nas outras três demos, colocamos versões de protótipo do fone de ouvido HoloLens. Em vez das unidades vermelhas relativamente compactas que foram mostradas no palco, elas realmente pareciam protótipos de engenharia - o hardware que executava o fone de ouvido estava em uma caixa separada que você usava e ambos estavam conectados a um computador. (O hardware final parece ser consideravelmente maior que o Google Glass, mas um pouco menor que o fone de ouvido Oculus Rift, e funciona sem fio. Não é tão elegante quanto você gosta, mas parece um produto de consumo.) O fone de ouvido parece ter várias câmeras e sensores na frente e nas laterais. Você a coloca em cima da cabeça (por cima dos óculos, se você as usar), aperta-a no lugar e, em seguida, a unidade parece projetar uma imagem na frente das lentes da unidade, enquanto ainda permite ver o mundo exterior.

O primeiro deles foi o HoloBuilder, um programa que permite criar, mover e destruir o que parecem ser objetos na sala ao seu redor. Parecia muito com o Minecraft na maneira como você manipula objetos pequenos, mas com algumas diferenças importantes. Você pode colocar itens virtuais em uma mesa no mundo físico ou pendurá-los na parede, e realmente parecia que as imagens holográficas eram de fato objetos reais sentados à sua frente. Em partes da demonstração, parecia que você podia ver coisas sobre objetos do mundo real; em outros casos, parecia que você estava cortando a mesa e vendo as coisas por baixo. Parecia bem legal. Eu posso facilmente imaginar uma versão futura atraente para os fãs de Minecraft.

Outra demonstração mostrou como você pode usá-lo com uma versão do Skype para HoloLens. Nesta demonstração, a tarefa era instalar um interruptor de luz, enquanto o processo era discutido por alguém do outro lado da conversa que usava a versão normal do Skype em um laptop. Dentro do HoloLens, eu podia ver a pessoa falando em uma janela, que poderia flutuar na minha frente enquanto olhava em volta ou ser preso em um local específico. Por sua vez, ele podia ver o que eu estava vendo através do HoloLens. Então ele viu as ferramentas, o interruptor e a abertura do interruptor de luz. O visor possui microfones e alto-falantes, então a conversa parecia bastante normal. A pessoa do outro lado da conversa foi capaz de apontar para a ferramenta que ele queria que eu usasse e diagramas mostrando como orientar o comutador e quais fios foram para onde. Quando terminei, eles ligaram novamente a energia e o interruptor da luz funcionou.

Agora, não tenho certeza de que precisamos disso para operações tão simples, mas você pode facilmente imaginar que ele seja usado em uma variedade de aplicações industriais, desde a montagem até o reparo, onde você deseja instruções com as mãos livres. A idéia não é nova: já vi idéias semelhantes em vários "óculos inteligentes" projetados para usuários industriais, como os óculos Moverio Glasses da Epson e os óculos M-100 da Vuzix. Mas a realidade aumentada em aplicações industriais faz muito sentido, e a capacidade de ter desenhos aparece diretamente sobre o que você vê parece um bom passo em frente.

Mas a demonstração mais interessante foi da superfície de Marte, usando um aplicativo desenvolvido com o JPL (Jet Propulsion Laboratory) da NASA por meio de dados e imagens coletados pelo Curiosity Rover na superfície do planeta. O objetivo é usar o HoloLens para ajudar os cientistas a controlar o veículo espacial e a entender melhor a paisagem marciana. (O JPL mostrou anteriormente explorar o mundo em uma demonstração usando o Oculus Rift, embora eu não tenha tentado isso.)

Como primeiro passo depois de colocar os óculos, pude experimentar a caminhada pela área de Dingo Gap em Marte, e o que me impressionou foi que, enquanto andava pela sala, realmente me parecia como se estivesse andando na superfície do planeta. Foi aqui que o aspecto tridimensional dos hologramas realmente ganhou vida.

No segundo cenário, você pode explorar a área conhecida como John Klein, onde você pode olhar em volta e até embaixo dos objetos para ter uma noção da dimensionalidade da área. A certa altura, era possível olhar pelo visor uma tela que mostrava as imagens em preto e branco originais, mas essas pareciam muito estáticas; ver o que parecia ser a paisagem real em cores e em 3D foi uma experiência completamente diferente. Era como se o mundo real tivesse invadido o mundo artificial em que eu estava andando.

A parte final da demonstração de Marte envolveu a exploração de um waypoint conhecido como "The Kimberley", próximo ao Monte. Sharp, onde pude colaborar com alguém da JPL, que também usava a tecnologia HoloLens. Ele apareceu na tela como um avatar adequado ao ouro, parecendo um alienígena de ficção científica dos anos 50, e pôde conversar comigo sobre a paisagem e o que estávamos vendo. Consegui colocar bandeiras em uma seção da paisagem para o rover usar sua MastCam, que pode tirar fotos mais detalhadas, e escolher algumas pedras para a ChemCam do rover, que envia um laser para queimar uma seção de rochas para determinar sua substância química composição.

Esta foi apenas uma demonstração, mas você pode facilmente imaginar como uma equipe de cientistas da NASA poderia usar a tecnologia para entender melhor a superfície de Marte e controlar o veículo espacial para fazer o melhor uso possível. E, claro, você pode imaginar algumas experiências muito imersivas.

No geral, o HoloLens foi uma das demonstrações mais impressionantes que já vi. Outros fones de ouvido de realidade aumentada têm sido bastante interessantes, e certamente vejo seu potencial em aplicações industriais, e vi alguns jogos muito imersivos em Oculus Rift. Mas o efeito holográfico - a ideia de que tudo aparece em 3D e você pode realmente se movimentar no mundo - incorporado ao HoloLens parecia algo muito novo. Teremos que esperar para experimentar o visor final e as aplicações reais para ver se esse conceito está realmente pronto para um mercado convencional, mas certamente é impressionante.