Os planos de realidade mista da Microsoft vão muito além do hololens

Quando a Microsoft fez o anúncio surpresa de um novo produto de realidade aumentada (AR) em um evento do Windows 10 no início de 2015, o fone de ouvido Microsoft HoloLens não foi a primeira coisa que o público viu. Ao apresentar a nova tecnologia ao mundo, Alex Kipman, da Microsoft - criador do controlador de movimento Microsoft Kinect e do HoloLens - mostrou um logotipo para o Windows Holographic, a plataforma de software alinhada com o Windows 10 que sustenta as ambições de RA da Microsoft.

Mais de dois anos depois, o software que alimenta o crescente ecossistema de dispositivos de RA da Microsoft ainda é o melhor indicador de onde a empresa planeja levar seu futuro de "realidade mista" (MR). Agora tem um nome diferente; A Microsoft renomeou o Windows Holographic para Windows Mixed Reality, mas o objetivo não mudou. A Microsoft quer construir uma rede interoperável de fones de ouvido AR, VR e realidade mista de diferentes fabricantes, todos conversando entre si e executando o Windows 10 Universal Apps.

Há três pontos principais nessa abordagem: o hardware inicial da Microsoft (HoloLens), a pilha de software em evolução abrigada na plataforma Windows Mixed Reality e as parcerias de hardware da Microsoft com Acer, Asus, Dell, HP e Lenovo para criar US $ 299 headsets de realidade mista executando o Windows 10. O primeiro deles, o fone de ouvido Acer Windows Mixed Reality Development Edition, já está sendo enviado aos desenvolvedores.

O que é realidade mista?

A Microsoft não é a única empresa de AR que começou a usar o termo realidade mista para diferenciar pontos diferentes no espectro AR / VR. Por um lado, você tem os óculos monoculares que vê de empresas como a Vuzix e o AR baseado em smartphone popularizado por aplicativos como o Pokemon Go.

Por outro lado, existem as experiências binoculares mais imersivas montadas na cabeça (exibições nos dois olhos com campo de visão de 360 ​​graus) de dispositivos como HoloLens, os óculos ODG R-9 ou o ainda invisível Magic Leap. Em termos simplificados, você pode pensar em AR como adicionar informações sobrepostas ou objetos virtuais de uma maneira bidimensional além do que está à sua frente.

Mas o continuum em que esses tipos de tecnologias existem é mais profundo que isso. Se você imaginar um espectro com o mundo físico de um lado e a verdadeira realidade virtual do outro, seria assim:

Mundo Físico -> Realidade Aumentada -> Realidade Mista <- Virtualidade Aumentada <- Realidade Virtual

(Não se preocupe muito com a virtualidade aumentada no momento. Ainda não chegamos lá).

O setor está atolado em terminologia confusa no momento, mas separar todo o jargão é importante não apenas para entender o ecossistema, mas para identificar todos os pontos em que a Microsoft planeja se conectar a ele. Se a visão da gigante da tecnologia se concretizar, o software de realidade mista da Microsoft pode ser executado em fones de ouvido que variam de US $ 299 a US $ 3.000, incorporados a experiências de consumidores e empresas em jogos, comércio eletrônico, design e fabricação industrial, visualizações interativas de dados corporativos, medicina e além.

Como você cria um sistema operacional de realidade mista

Durante um recente briefing com a Microsoft, a PCMag teve a chance de conferir brevemente o novo fone de ouvido parceiro da Acer. Também tivemos uma análise da pilha de software Windows Mixed Reality, incluindo algumas dicas sobre como a Microsoft está trabalhando com OEMs para criar os headsets de US $ 299 e o que a recente Atualização de Criadores do Windows 10 para aplicativos Windows de realidade mista em diversos dispositivos de computação.

A plataforma Windows Mixed Reality divide-se em várias camadas diferentes. No topo da pilha, você tem o monitor montado na cabeça (HMD) com seis graus de liberdade (6DoF), representando o nível de movimento tridimensional e rastreamento de posição suportados. O HoloLens usa o que a Microsoft chama de 6DoF de dentro para fora, o que significa rastreamento de posição que combina dados de vários sensores e câmeras de entrada com algoritmos para manter a experiência tranqüila.

Para o contexto, os fones de ouvido VR sem fio que usam uma tela de smartphone, incluindo o Samsung Gear VR e o Google Daydream View, atualmente oferecem suporte ao 3DoF, às vezes conhecido como pitch-yaw-roll. Fones de ouvido VR conectados como Oculus Rift e HTC Vive têm rastreamento de posição 6DoF.

A Atualização para criadores do Windows 10 inclui suporte para controle de movimento 6DoF no Acer e em outros headsets OEM futuros. A Acer Windows Reality Mixed Development Edition inclui duas câmeras de rastreamento de posição frontal e monitores duplos, em comparação com as quatro câmeras encontradas nos HoloLens mais caros (as duas câmeras HoloLens adicionadas são usadas para mapeamento espacial), mas todas as cinco parceiras fones de ouvido suportam 6DoF. Uma atualização lançada no final deste ano adicionará suporte a chips gráficos integrados em fones de realidade mista, embora o hardware precise de um chip Intel de ^7ª geração relativamente recente para obter a atualização.

As próximas camadas da pilha de Realidade mista do Windows tratam de entrada, middleware e interfaces de programação de aplicativos (APIs) para realidade mista e percepção espacial. A camada de entrada processa todos os dados de entrada visual, giroscópica, de voz e espacial que um dispositivo AR / VR coleta a qualquer momento. Isso pode abranger dados de fontes, incluindo sistemas de coordenação, olhar e direcionalidade, gestos, entrada de voz, som espacial e mapeamento espacial.

As camadas de middleware e API são essenciais para entender como a plataforma está começando a se conectar ao restante do ecossistema de software AR / VR. A documentação do desenvolvedor do Windows Mixed Reality já inclui instruções para criar aplicativos holográficos usando plataformas populares, incluindo Unity (mecanismo de desenvolvimento de plataforma cruzada), Vuforia (plataforma de desenvolvimento de AR) e um protocolo de middleware para criar aplicativos de MR usando o tempo de execução do Microsoft DirectX.

A plataforma não é aberta, por si só - você precisa seguir as regras do Universal Windows App da Microsoft - mas a Microsoft está fornecendo várias opções para conectar-se à sua pilha de software de MR. Um exemplo disso são os headsets Project Alloy VR da Intel, esperados ainda este ano, que executam uma versão do software Windows Reality Mixed.

As camadas finais da pilha adicionam uma interface de usuário personalizada que a Microsoft chama de "shell", juntamente com serviços em nuvem, como autenticação e sincronização do Xbox Live, e mensagens colaborativas por meio de serviços como o Skype. Na edição de desenvolvimento de realidade mista Acer do Windows, vimos uma breve descrição: o "shell" era essencialmente um sistema operacional disposto como quartos em uma casa.

O usuário pode então se teletransportar para salas diferentes e iniciar vários aplicativos exibidos como ícones flutuantes ou ocupando um ladrilho na parede. Podem ser aplicativos simples, como Fotos, Filmes e TV, Microsoft Edge ou mesmo um menu Iniciar do Windows 10 completo, no qual você pode navegar na experiência, que funcionou com um controlador Xbox. É claro que também existem alguns recursos divertidos de modelagem interativa em 3D, como no HoloLens. Os exemplos de demonstração variaram de elefantes e tigres perambulando até um astronauta que você pode colocar na sala e um aplicativo que o lança em um sistema solar 3D. Estes são apenas alguns exemplos, considerando que os fones de ouvido OEM podem executar qualquer aplicativo universal do Windows. Do ponto de vista do software, a Microsoft vê todos esses dispositivos como computadores Windows 10 para sua cabeça.

A empresa pode lançar uma especificação de hardware de realidade mista padrão em algum momento no caminho, mas no momento a Microsoft está se concentrando na pilha de software e co-projetando a onda que virá dos fones de ouvido parceiros. Se você der uma olhada mais de perto no Windows 10 Anniversary Release (e no HoloLens Commercial Suite), também poderá ver os recursos de software que a Microsoft vem adicionando sob o capô para tornar o HoloLens voltado para a empresa mais atraente para a implantação comercial em geral.

O HoloLens Commercial Suite reforça o conjunto de recursos básicos da HoloLens Development Edition, permitindo que as empresas tratem os fones de realidade mista como apenas mais um dispositivo em sua rede corporativa de TI. A Microsoft lançou o HoloLens Commercial Suite em agosto passado por um preço de US $ 5.000 e, por esses US $ 2 mil extras, você obtém recursos que incluem gerenciamento mais profundo de dispositivos móveis (MDM) com o Microsoft Intune e o Kiosk Mode, que lançará o HoloLens diretamente em um aplicativo específico. experiência para fins de demonstração na loja em um ambiente de varejo.

O Commercial Suite também vem com o Microsoft BitLocker Drive Encryption e acesso à proteção de rede virtual privada (VPN), que agora é mais importante do que nunca. O hardware brilhante sempre receberá mais atenção, principalmente quando a Asus, Dell, HP e Lenovo lançarem seus próprios fones de ouvido de parceiros nos próximos meses. Mas, para ter uma ideia mais clara de onde está indo a estratégia de realidade mista da Microsoft, fique de olho no software.