Como a unidade está construindo seu futuro em ar, vr e ai

Unity é a plataforma de desenvolvimento 3D mais usada no mundo. Ele possui 40% dos 1.000 principais jogos para dispositivos móveis e mais da metade de todos os novos jogos para dispositivos móveis, de acordo com a empresa de análise de aplicativos Apptopia. Juntamente com o Unreal Engine, os dois populares mecanismos de jogos sustentam a maioria das experiências de jogos na web.

No entanto, o espaço de desenvolvimento 3D está muito mais cheio do que era antes, principalmente quando se trata de desenvolvimento de realidade aumentada e virtual.

O Unity serve como blocos de construção ou se integra à maioria das plataformas AR / VR mais recentes, incluindo o ARKit da Apple e o ARCore do Google, mas agora também está lidando com a concorrência de empresas como Amazon Sumerian e outras interfaces de arrastar e soltar que procuram simplificar a experiência para criadores menos técnicos.

Para ficar à frente da concorrência e evoluir sua plataforma para um crescente ecossistema de novos dispositivos e experiências em 3D, a Unity está adotando uma estratégia em duas frentes, liderada por suas divisões de AR / VR e AI. A PCMag conversou com Tony Parisi, chefe global de soluções de marca VR / AR da Unity, e Danny Lange, vice-presidente de IA e Machine Learning da Unity, para uma visão interna do futuro da Unity e de como a plataforma - e os jogos que ela cria - está ficando mais inteligente sem você até percebe.

Visão da Unity da paisagem AR / VR

A IDC prevê que os gastos com produtos e serviços de AR / VR atingirão US $ 27 bilhões este ano, e o mercado só está crescendo a partir daí. Parisi disse que o Unity pretende apoiar todas as plataformas do espaço.

"Três ou quatro anos atrás, antes de eu ingressar, a Unity começou a fazer investimentos significativos no mercado emergente de VR - Oculus Rift, HTC Vive, Samsung Gear VR etc. - com o objetivo de criar uma espécie de sistema completo para desenvolvedores para que eles não precisem se intrometer nos detalhes de baixo nível de como apoiar essas plataformas ", disse Parisi. "Chegamos ao ponto em que você escreve a maioria dos aplicativos uma vez e pode portá-lo para esses dispositivos".

Isso não é universalmente verdade, ele disse, porque um aplicativo que você cria para um headset para visualizador móvel será projetado de maneira um pouco diferente de um aplicativo otimizado para uma experiência baseada em PC. Mas, de acordo com as métricas internas da Unity, a plataforma atualmente alimenta 69% das experiências Oculus Rift, 74% no HTC Vive, 87% no Gear VR e 91% das experiências de realidade mista (MR) no Microsoft HoloLens.

• Trabalhando com um ecossistema crescente

  Parisi trabalha em AR / VR desde meados dos anos 90, trabalhando na visualização 3D. Ele co-criou o formato de arquivo VRML e outras especificações subjacentes ao WebGL e fundou e trabalhou para várias outras empresas de VR. Ele ingressou na Unity no final de 2016 para liderar publicidade, marketing e estratégia em AR, VR, MR e no guarda-chuva de realidade estendida mais ampla (XR).

  "logo após o boom do Pokemon Go, que era mais ou menos esse AR simplista sobre localização, ir a algum lugar e encontrar um Pokemon, além de um pouco da câmera. Esse é um fator que continuamos a aumentar. Trata-se de localização tanto quanto é sobre a imersão ", disse Parisi.

  Na frente da AR, Parisi falou sobre como o Facebook e o Snap estão usando suas plataformas de desenvolvedor de Camera Effects e Lens Studio para evoluir o que você pode fazer com as câmeras dos smartphones para mapear o ambiente ao seu redor. Construir uma ponte sobre o smartphone e o AR baseado em fone de ouvido são experiências como o jogo Star Wars: Jedi Challenges, que também foi criado com o Unity e funciona com um smartphone combinado com o headset Mirage AR da Lenovo.

  A próxima onda são os telefones com suporte ao sistema operacional AR através do ARKit da Apple e ARCore do Google, disse Parisi. Assim como no Amazon Sumerian, o Unity faz parceria com a Apple e o Google na criação de conteúdo AR usando ferramentas 3D. O Unity também serve como base para ferramentas do Google de código aberto, como Tilt Brush e Blocks. Parisi prevê um mundo aumentado compartilhado que abrange sistemas operacionais móveis.

  "A Apple e o Google são ótimos parceiros. Temos um relacionamento profundo com eles para desenvolver e dar suporte a essas experiências e conteúdo XR por meio das ferramentas 3D do Unity", disse Parisi. "Muitas das ferramentas de criação democratizadas que não são para codificadores, desenvolvedores ou designers profissionais são construídas em nosso mecanismo. O melhor de tudo é que você pode usar os modelos Blocks ou a arte do Tilt Brush e trazê-los para outros aplicativos Unity, como qualquer outro software que entra na unidade ".

  No lado de MR e VR, os grandes players de dispositivos e software são Oculus, HTC e, claro, a Microsoft e seu ecossistema de realidade mista do Windows. O Unity cria aplicativos 3D para todos eles, mas a Microsoft está confundindo um pouco as linhas entre a realidade mista e a virtual, disse Parisi. O HoloLens é um dispositivo de realidade mista, mas os fones de ouvido de realidade mista do Windows são VR.

  "O setor ainda está enfrentando o que deveríamos chamar de tudo isso", disse Parisi. "Dependendo de se você está projetando conteúdo que mescla digital com o mundo real em vez de entrar em um mundo completamente imersivo, você tem desafios diferentes. Na VR, os desafios de desempenho são maiores. Você precisa criar um mundo completamente sintético. Isso significa PC headsets VR baseados em renderização a 90 quadros por segundo, melhorando o desempenho. A realidade mista é menos intensa, mas também precisa ser ajustada em tempo real a todo o ambiente que está sendo processado."

• A evolução da criação de conteúdo 3D

  Unity é uma ferramenta de criação 3D democratizada para o desenvolvimento de conteúdo imersivo. Existem versões Free, Plus e Pro que você pode comprar por taxas de assinatura mensal e é gratuito. Então, o que você constrói com o Unity é seu. Atualmente, o Unity suporta a criação de cerca de 30 plataformas diferentes, de smartphones e sistemas operacionais de PC a diversos sistemas de jogos, TVs inteligentes e fones de ouvido VR.

  Recentemente, o Unity foi usado para criar uma ampla variedade de conteúdo e experiências imersivas. Eles vão desde uma série do Sundance Film Festival chamada Spheres, que permite aos espectadores explorar uma colisão cósmica de dois buracos negros em VR, até o jogo CocoVR da Disney, que usa projeções de 360 ​​graus transportando jogadores para a Terra dos Mortos do filme da Pixar.

  Parisi também falou sobre o uso do Unity para criar divertidos jogos de realidade virtual, como Beat Saber e experiências aprimoradas, incluindo o aplicativo MLB At Bat AR, que permite que os espectadores de beisebol apontem seus smartphones para o jogo e vejam estatísticas na tela acima dos jogadores.

  O Unity pode criar todos esses tipos de aplicativos, mas há muitas nuances a serem consideradas no design. As experiências baseadas em PC são mais poderosas, permitindo modelos 3D maiores em ambientes mais ricos, e fones de ouvido como Oculus Rift e HTC Vive também oferecem controladores de entrada, juntamente com rastreamento posicional e em escala de ambiente a considerar. Parisi disse que é necessário criar um design para esse tipo de aplicativo de maneira diferente do que seria necessário para uma experiência de visualização de 3 graus de liberdade em um fone de ouvido como o Google Daydream View. Não é tão fácil quanto apertar um botão, mas o Unity trabalhou para garantir que o conteúdo 3D que você cria possa passar de um dispositivo para outro sem precisar recodificar demais.

  Além dos aplicativos de jogos e entretenimento para experiências de AR / VR, uma das perguntas que o Unity tem enfrentado ultimamente é como melhorar seu ambiente de criação em 3D para atender a diferentes indústrias, níveis de habilidade e casos de uso. Assim como as ferramentas de desenvolvimento de baixo código que visam satisfazer codificadores sérios e usuários não técnicos, a Unity está descobrindo maneiras de fazer com que sua interface, armazenamento de ativos e o restante de sua plataforma funcionem para diferentes tipos de empresas e usuários para expandir seus clientes. base.

  "Examinamos esses diferentes setores em que a RA e a VR estão surgindo. Poderia ser automotivo, cinema, arquitetura, médico ou outras organizações onde você está distribuindo software para centenas de milhares de assentos", disse Parisi. "São mundos completamente diferentes, empresas diferentes, diferentes formações e ferramentas de produção. Inicialmente, estávamos focados nas indústrias de jogos e dispositivos móveis porque era onde estava o crescimento, mas agora a roda girou e o momento certo para pegar esse manual e trazê-lo para algumas dessas outras indústrias agora porque o mundo está se tornando B2B."



Limitações atuais de AR / VR

No momento, o maior obstáculo à adoção mais difundida de MR e VR não é a falta de conteúdo, mas as limitações de hardware quando se trata de conforto e portabilidade versus poder de computação, disse Parisi. A jornada árdua dos próximos fones de ouvido Magic Leap serve como um estudo de caso de livro didático na tentativa de encolher um processador suficientemente potente para um fator de forma suficientemente pequeno para consumo em massa.

"É um desafio criar uma experiência de realidade mista que funciona andando pela sua sala de estar versus saindo pelas ruas abertas", disse Parisi. "Estamos em um local em que ainda estamos analisando iterações no hardware para encontrar o ponto ideal entre o poder da computação e a portabilidade. Com um fone de ouvido de realidade virtual, você pode se movimentar até sentir o fio preso. Precisamos de outro maneira de transmitir esses dados. Esse fio é uma dor; quebra a imersão. Fiquei em outro lugar por um minuto, mas depois peguei algo emaranhado em volta do meu pé."

No lado do AR, as limitações são diferentes; é muito mais sobre visão computacional e poder de processamento para gráficos 3D em tempo real. Quando se trata de visão computacional e uso de diferentes tipos de aprendizado de máquina (ML) para preencher as lacunas e tornar as experiências de AR / VR mais inteligentes e perfeitas, é aí que entra o crescente departamento de IA da Unity.

• Estratégia de IA da Unity

  O Unity está usando a IA de várias maneiras diferentes, desde melhorar a jogabilidade e o design do mecanismo até rastrear o comportamento do usuário e mudar a maneira como os desenvolvedores de jogos podem monetizar seus aplicativos. A equipe de IA, que conta com mais de 100 funcionários em todo o mundo, é dirigida por Danny Lange, vice-presidente de IA e Machine Learning da Unity.

  Lange ingressou na Unity há cerca de 18 meses, depois de ocupar o cargo de Chefe de Machine Learning no Uber e Gerente Geral do Amazon Machine Learning. Ele também trabalhou na IBM e Microsoft. Ele veio ao mundo dos jogos com uma perspectiva diferente sobre ML, e ajudou a transformar os esforços tradicionais de ML da Unity em projetos mais ambiciosos.

  "Empresas como Amazon e Uber são tão fortemente orientadas para o aprendizado de máquinas. Vindo de um mundo de carros autônomos para este ambiente de jogos em 3D, você deseja procurar o lugar perfeito para ultrapassar o limite da inteligência artificial", disse Lange.

  "Quando cheguei, havia vários esforços de aprendizado de máquina em andamento, onde eu trouxe experiência com aprendizado por reforço e sistemas dinâmicos, nos quais você basicamente melhora o comportamento", continuou Lange. "Isso é algo que fizemos muito na Amazon e na Uber. Se você está enviando livros ou está otimizando para uma coleta sem atrito para a Uber, todo esse material não é realmente pessoas sentadas e projetando, são os sistemas de computadores aprendendo onde dizer onde você encontra seu motorista do Uber. E quando cheguei à Unity, vi uma grande oportunidade de trazer essas idéias para o mundo dos jogos ".

  Como Lange explicou, os projetos de ML da Unity abrangem tudo, desde a jogabilidade até a monetização. Em um exemplo, a equipe procura grupos de usuários que possuem certos padrões de gastos que os desenvolvedores do Unity desejam gerar receita com publicidade ou compras no aplicativo. O Unity então apresenta esses resultados aos desenvolvedores para um envolvimento mais eficaz a longo prazo.

  A empresa também aplica o ML para melhorar a jogabilidade, o design do mecanismo e ajudar no processo de criação de conteúdo. A estratégia abrangente da Unity é essencialmente dividida entre o lado do desenvolvimento em mais ML de nível de serviço e a pesquisa avançada de aprendizado profundo no lado acadêmico. Lange disse que isso também se cruza com o que o departamento de Parisi está fazendo com o desenvolvimento de XR, onde o Unity oferece aos pesquisadores um ambiente gráfico 3D para testar novos algoritmos de ML.

  "AR e VR são realmente domínios fantásticos para aprendizado de máquina e IA. Costumo pensar na IA como realidade melhorada, e é difícil lidar com a realidade", disse Lange. "É difícil criar algoritmos fixos que entendam tudo em uma sala e possam sobrepor essa sala. Você não pode realmente codificar isso. É necessário usar o aprendizado de máquina e a IA para colocar objetos virtuais em uma sala que reconheçam que uma tabela é uma superfície e, se você a colocar na borda de uma mesa, ela cairá. Essas são áreas em que o aprendizado de máquina desempenha um papel muito importante por causa desse comportamento dinâmico do mundo real; entendendo a profundidade e as dimensões dos espaços virtuais. com o objetivo de trazer a vanguarda do aprendizado profundo para revolucionar a maneira como esses jogos são criados e se comportam ".



Aprendizado de máquina nos bastidores

No lado do desenvolvimento e da jogabilidade, Lange puxou a cortina para o modo como o Unity está inserindo algoritmos de ML na experiência para automatizar o processo de criação e iteração.

"Capturamos muitos dados comportamentais: quando um jogo começa - por quanto tempo você jogou, quais cenas você passa naquele jogo", disse Lange. "Nesse sentido, estamos usando aprendizado de máquina e análise de dados em um contexto semelhante ao que a Amazon ou o Google fazem - reunindo dados comportamentais e devolvendo-os ao desenvolvedor do jogo. É meio que equivalente à análise da web, fornecendo dados acionáveis usar imediatamente para ver em quais níveis os jogadores estão presos, quais cenas não funcionam etc."

Esses dados podem ser usados ​​para otimizar fatores como compras e publicidade no aplicativo, mas Lange disse que os algoritmos ajudam a encontrar um equilíbrio entre mostrar o conteúdo dos usuários em que eles estão interessados ​​e monetizar jogos ao extremo. No nível macro, ele explicou que se trata mais de criar um loop de dados comportamentais autoperpetuadores para ajudar os jogos a evoluir organicamente, retirando o trabalho manual do desenvolvedor da equação.

"O aprendizado de máquina é onde você pode coletar dados e começar a fazer conexões", disse Lange. "Quando você coloca isso em loop, como o que costuma ver em um jogo, os dados levam a previsões do jogo e dos jogadores. Isso cria mais dados comportamentais, e agora você realmente tem um sistema que pode interagir e aprender dos usuários e como eles interagem entre si. Um dos nossos grandes esforços é usar a tecnologia de IA para criar mais jogos orgânicos que evoluem com o uso ".

• Agentes de aprendizado de máquina

  A maneira mais importante da Unity fazer isso é através dos ML Agents, uma iniciativa beta de código aberto que transforma jogos e simulações em 3D em campos de treinamento para agentes inteligentes autônomos. Essencialmente, o Unity permite que os desenvolvedores implantem esses agentes flexíveis de ML em qualquer cenário e eles agirão como uma esponja: aprendendo e evoluindo de uma maneira personalizada, com base em qualquer ambiente virtual em que você os solte.

  "Minha definição de aprendizado de máquina versus IA é que, com o aprendizado de máquina, você coleta dados, treina o sistema e é isso", explicou Lange. "A IA é quando o sistema se treina constantemente e se torna cada vez melhor. Queremos que os jogos evoluam, e uma de nossas iniciativas públicas para promover isso é os Agentes de Aprendizado de Máquina".

  A Unity possui vários públicos-alvo para seus agentes de ML. Um cenário é para desenvolvedores, permitindo que esses personagens automatizados se movam e interajam com os jogadores. Em vez de codificar suas ações, os agentes de ML aprendem através do reforço à medida que simulam diferentes níveis e ajudam os desenvolvedores a testar rapidamente jogos agindo como jogadores virtuais, testando milhares de níveis de jogo em paralelo.

  Outro caso de uso para agentes de ML é centrado na narrativa. Lange disse que o Unity está testando os agentes tentando descobrir o que um jogador fará a seguir e depois segui-los movimento a movimento. A idéia é entender o que os jogadores humanos estão fazendo e como o jogo compensará essas decisões no esquema maior da narrativa. Nos jogos em que milhões de jogadores estão ativos, os ML Agents podem aprender e ajustar os níveis ou as histórias de um jogo em grande escala.

  Na simulação "Goodboy" acima, a equipe de Lange construiu um jogo móvel simples usando um modelo de aprendizado de máquina do kit de ferramentas ML-Agents da Unity. No jogo, o pequeno corgi pega um bastão com movimentos fofos, tudo sem ser codificado. Em vez disso, suas ações e comportamentos são controlados pelos agentes da ML. A Unity planeja trabalhar com parceiros de plataforma para expandir os agentes ML para todas as plataformas suportadas da Unity.

  "Se você pensa sobre esse tipo de capacidade dentro de um jogo no que chamamos de nível narrativo, não são os personagens que se movem no jogo que são necessariamente controlados, mas a própria narrativa do jogo. Então você basicamente tem o jogo tentando convencê-lo a estradas muito emocionantes. Assim, você pode optar por seguir para a esquerda ou direita em um caminho e o jogo basicamente orquestrará vários eventos com base no que está prevendo que você fará, cinco, 10, 15 jogadas a partir de agora " disse Lange.

  "Você pode imaginar como isso poderia funcionar em um jogo multiplayer", continuou ele. "Um dos exemplos clássicos: no início de um jogo, duas pessoas se encontram. Uma rouba todo o ouro de outro jogador e depois se separam com sangue ruim entre elas. Assim, o jogo garantiria uma narrativa onde cada jogador terminaria. juntos, em um lugar onde sobreviver, eles terão que trabalhar juntos. Eles precisam atravessar uma ponte e só podem fazê-lo juntos, caso contrário, estão fora do jogo. Seria muito difícil codificar seu caminho através disso com extensos simulações, mas com os agentes ML, o jogo pode criar dinamicamente esses tipos de simulações ".

• Construindo mundos virtuais assistidos por IA

  A demonstração "Pirâmides" acima é um ambiente que mostra as descobertas de um projeto de aprendizado por reforço chamado Curiosity, onde os agentes da ML exploram rapidamente um mundo para descobrir as recompensas ocultas no mapa.

  Outro lado das operações de IA da Unity envolve o uso de ML para criar cenas e texturas mais imersivas ao gerar conteúdo 3D. Lange disse que este é um campo mais novo, mas muito promissor, onde sistemas autônomos em um jogo podem gerar conteúdo controlado por movimento e preencher movimentos naturais, aprendendo como um personagem, humano ou animal se move e imitando essa animação em um jogo.

  "Temos milhares de desenvolvedores testando isso", disse Lange. "No lado acadêmico, começamos a ver muitos estudantes e doutores da NASA no MIT e no Instituto Paul Allen, em Seattle, lançando coisas sobre o Unity. Acabei de me encontrar com desenvolvedores em Londres olhando para o desenvolvimento de NPCs que estão realmente pressionando o limite no desempenho gráfico com iPhones e dispositivos Android ".

  O Unity também possui um mecanismo chamado Extreme AI para mapear personalidades para personagens, semelhante à maneira como o Amazon Sumerian constrói "hosts" com infusão de IA. Para personagens não jogáveis ​​em um jogo, o Unity começou a experimentar isso para uma simulação mais natural nos últimos dois anos, disse Lange.

  "Então, se você deseja construir um robô ou um carro autônomo ou projetar uma casa, você pode fazê-lo no Unity e preencher essa casa com NPCs", disse Lange. "Você pode simular 1.000 famílias que moram naquela casa e reunir informações sobre como os personagens se movem. As portas se abrem da maneira certa? Há luz suficiente nas salas? Se você fizer isso na nuvem, poderá ter 1.000 casas diferentes com 1.000 famílias diferentes. Isso pode parecer muito fora do jogo, mas subjacente a tudo isso está a tecnologia de jogos ".

• O futuro dos aplicativos imersivos

  À medida que as ambições de AR / VR e inteligência artificial da empresa se expandem, o Unity procura além dos jogos uma nova geração de aplicativos 3D. Um exemplo é a indústria automotiva, para a qual a Unity criou recentemente uma equipe dedicada para ajudar a criar conteúdo de AR / VR para clientes como Audi, Toyota, Lexus e Volkswagen. Parisi disse que a Unity procura aplicar o poder de seu ecossistema de desenvolvedores multiplataforma para trazer a criação de aplicativos de AR / VR para novos setores.

  "Estamos mudando a maneira como você projeta carros, faz filmes; como você faz todas essas coisas como uma empresa que sabe vender para desenvolvedores de jogos", disse Parisi. "Como exemplo, digamos que a Ford queira criar um aplicativo em seu laboratório de inovação. Eles têm hardware e software de ponta, e então o Rift é lançado e eles decidem fazer isso apenas em um PC para jogos. Eles lançam um anúncio e, provavelmente, alguém na área de Detroit é um programador do Unity. Essa pessoa começa a prototipar, transforma-se em uma equipe de inovação para três pessoas e começa a desenvolver novas formas de criar carros para substituir protótipos físicos ".

  Parisi também vê muito potencial para reduzir o atrito quando se trata de AR e e-commerce. O grande ponto de inflexão está na ratificação do WebXR pelo World Wide Web Consortium (W3C), um novo padrão que permitirá que as experiências de AR e VR sejam executadas como aplicativos da web diretamente em navegadores de desktop e dispositivos móveis.

  Imagine ver um anúncio para um novo utensílio de cozinha em seu feed social e, em seguida, arrastar esse modelo 3D para um ambiente de realidade mista vinculado à sua câmera para ver como fica em sua cozinha. Para que esse tipo de tecnologia de publicidade 3D funcione em grande escala, Parisi disse que a experiência na web precisa ser perfeita. Se você precisar instalar um aplicativo para visualizar todos os objetos 3D marcados com informações virtuais apenas para conectá-los à sua câmera, o modelo não funcionará, mas o Unity se considerará uma ferramenta junto com padrões como o WebXR que podem preencher essas lacunas de compatibilidade.

  Parisi prevê um futuro em que o fator de forma para as experiências de AR / VR seja um dispositivo de entretenimento independente, seja uma experiência em casa, um aplicativo baseado em localização ou uma simulação corporativa para treinamento. Ele também disse que a interface do usuário precisa se tornar completamente imersiva. A tecnologia ainda não está lá, mas ele não acredita que esteja tão longe quanto alguns possam pensar.

  "Algumas pessoas pensam que levará décadas até conseguirmos um fone de ouvido ou óculos imersivos realmente bons, com poder de computação suficiente", disse Parisi. "Quando você considera todos os avanços milagrosos da miniaturização, todos esses aspectos de computação - CPU, GPU, redes 5G - em alguns anos, poderemos mover parte desse processamento para a borda ou para a nuvem. O fator de forma pode qualquer coisa, mas o elemento comum é definitivamente uma interface de usuário imersiva, na qual você pode pressionar um botão e experimentar caracteres digitais totalmente realizados ou ambientes em camadas que mesclam o mundo digital e o mundo real ".