Vídeo: Technology that knows what you're feeling | Poppy Crum (Novembro 2024)
A realidade virtual e aumentada foram temas importantes na SXSW este ano, mas as conversas foram além dos fones de ouvido. Para serem realmente imersivas, as experiências precisam incorporar todos os cinco sentidos. Vista, som, toque, cheiro e até gosto.
Crum também é professor adjunto da Universidade de Stanford no Centro de Pesquisa em Computação em Música e Acústica e no Programa em Sistemas Simbólicos. Crum esteve na SXSW como parte da série Tech for Humanity do IEEE. Ela entende som e muito mais.
Costa: Poppy, muito obrigado por se juntar a nós hoje.
Crum: Obrigado por me receber. É ótimo estar aqui.
Então, vamos falar sobre ouvidos, falar sobre realidade aumentada, falar talvez sobre um pouco de realidade virtual, talvez falar sobre aquelas enxaquecas indolores que nós dois experimentamos com o tempo ao tempo. Primeiro de tudo, seu papel na Dolby. Como é um dia de trabalho para você? O que você faz quando chega ao escritório?
Temos uma grande equipe de neurocientistas computacionais e pessoas que são especialistas em percepção sensorial. Se você olhar para a história da Dolby e voltar, mesmo 50 anos, para o núcleo da empresa, sempre foi uma compreensão da experiência humana. Eu acho que ajudou a diferenciar como pensamos sobre a construção de tecnologia.
Diariamente, as pessoas da minha equipe e as pessoas com quem trabalho examinam as tecnologias. Não somos mais apenas som, é realmente um senso holístico. Temos laboratórios e há muitas experiências que acontecem ao longo do dia.
Nosso novo prédio tem até 100 laboratórios, mas temos alguns laboratórios biofísicos incríveis. Minha formação é como neuro fisiologista - o mesmo com muitas pessoas em nossas equipes. E há fisiologia humana que acontece diariamente para pensar em novas tecnologias, e há um trabalho muito seminal acontecendo sobre como experimentamos informações multissensoriais e realmente olhando para como vamos consumir conteúdo no futuro tão rico e o que isso significa para como afeta nosso corpo, como afeta como nos envolvemos com os outros e com nossos sentidos.
Uma das coisas sobre as quais você falou no programa e que abordamos muito mais sobre o PCMag é esse segmento de ouvidos. Ouvir não é uma palavra que eu acho que muito do nosso público esteja familiarizado. Quando você ouve a palavra ouvíveis, o que isso abrange para você? O que isso significa?
No momento, acho que é um termo que ainda está sendo definido. Eu gosto de considerá-lo um subconjunto muito grande de produtos e possibilidades. É um dispositivo sem fio ou, em alguns casos, até com fio. Como o Amazon Echo chamarei de auditável e conectado, mas é um dispositivo que possui microfones ou sensores, mas está capturando dados do ambiente, usando esses dados de alguma forma para aprimorar sua experiência. No momento, existem muitas empresas que estão pensando no espaço vestível, um dispositivo sem fio usado no seu corpo, mas também existem ouvidos estáticos se olharmos para o Google Home e o Amazon Echo, e esses são transformacionais.
Também há muitas preocupações com isso. Uma coisa que vemos que acho que vale a pena chamar, e acho que é o que vai transformar e ajudar a definir o que esse espaço são mudanças nas regulamentações.
No momento, aparelhos auditivos são ouvíveis. Os aparelhos auditivos são um dispositivo de realidade aumentada, mas você tem essa classe de dispositivos de consumo que têm a capacidade de ajudar a mitigar a perda auditiva, têm a capacidade de ser um dispositivo de realidade aumentada para alguém com audição normal, podem até ser um dispositivo de jogos. Você está obtendo o cruzamento desses campos, o dispositivo médico que se enquadra nessa classe maior e você terá uma classe de dispositivo de consumidor que está claramente ultrapassando esses limites e fazendo muito processamento semelhante para nós.
Em termos de aparelhos auditivos, as pessoas pensam em aparelhos auditivos assim que você começa a perder sua audição, então você pode obter um aparelho auditivo que lhe dará uma parte da sua audição, mas há muitas coisas interessantes que podem acontecer se as pessoas começaram a aumentar sua audição com… eles têm audição normal, mas querem ter algo mais que a audição normal.
Absolutamente. Eu sempre acredito muito em não criar esse limite arbitrário onde dizemos: "Agora eu tenho perda auditiva". Nossa audição, por causa de muitos elementos no mundo e no som, até a aspirina é um ototóxico que você deve
Isso está certo?
Absolutamente. A combinação de elementos que você coloca em nossa audição começa a se degradar no início dos 20 anos e provavelmente até mais cedo com alguns dos sons altos que as pessoas ouvem.
Especialmente sul pelo sudoeste.
Sim. Os ouvíveis têm tantos recursos diferentes que você pode ter. Seja controlando o streaming do seu conteúdo diretamente para o seu dispositivo - sem fio - controle de elementos, a espacialização das informações. Coisas sobre as quais falamos -. houve um grande empurrão na obtenção de informações, aumentando nosso senso visual com o Google Glass ou alguns desses dispositivos de outras empresas e realmente - o que queremos - o componente sônico disso pode ser muito crítico para nos permitir superar o que queremos. pode chamar uma limitação de capacidade. E para pegar informações do nosso mundo e realmente representá-las como um som.
Parece-me que aquilo que fez as pessoas pensarem diferentemente sobre controles de som e voz e interações de voz, mas também privacidade, são dispositivos como o Google Home e o Amazon Echo, que são realmente as primeiras interfaces de voz convencionais que tivemos para este digital mundo e vem com todas essas consequências diferentes, que acho que estamos começando a resolver. Para onde você vê esse mercado?
Essa é uma ótima pergunta. Devo dizer que acho que esses dispositivos são transformadores de várias maneiras, e sou um usuário forte e um participante forte deles, em parte para também entender e olhar para onde eles vão evoluir e como eu os uso. minha vida diariamente. A ideia de que as pessoas estão dispostas a ter microfones sempre ligados, é um grande salto. O que podemos fazer com isso?
Agora, a voz é uma coisa maravilhosa. Está dando controle às pessoas; é levá-los a bordo para ter esse dispositivo como assistente em suas vidas. Dez anos depois, não quero ter que controlar mais coisas na minha vida. Quero que meus dispositivos… Confiei mais nos meus dados do que em mim para saber o que preciso em alguns casos e quero que os dispositivos sejam…
Antecipatório.
Absolutamente. Quero que eles sejam proativos e capturem muitas informações sobre os sons ao meu redor, esteja tossindo e modulando minha temperatura. Ou apenas para marcar meus compromissos quando eu precisar ou para poder também fazer nossas vidas avançarem sem ter que controlar todos os dispositivos.
Você pode imaginar que o Echo pode detectar se você está fungando. Ele pode detectar se você está ou não com dor de garganta ou se está tossindo e depois sabe que parece que está resfriado.
Para ir em frente e agendar sua consulta médica antes de você. Parece um pouco longe querer isso, mas ao mesmo tempo acho que vamos chegar lá. Eu acho que o passo de ter controle de voz, integrando-o em nossas vidas, nos deixará confortáveis com isso.
No futuro, a única vez em que ficaremos desconfortáveis é quando as coisas não funcionam, quando tudo acaba e quando está ausente.
Tive uma experiência com um eco que me permitiu perceber o quanto transcendia as interações que eu estava tendo e poderia ajudar pessoas de diferentes demografias. Mas sim, acho que as pessoas pensaram muito nesses dispositivos para acessibilidade, o que é maravilhoso. Como o acesso que ele pode oferecer a crianças muito pequenas ou faixas etárias diferentes ou pessoas diferentes que…
Pessoas com deficiências, deficiências ou lacunas que poderiam ser preenchidas usando a tecnologia.
Absolutamente. No meu caso, eu tinha um parente que estava no hospital e ele faleceu há algumas semanas. Eu o havia comprado, exatamente quando Echo saiu; Comprei-lhe um eco como um dispositivo de acessibilidade. Aqui está a transformação. Levei-o ao hospital e dispositivos como esse são fenomenais para um ambiente hospitalar. Os problemas de privacidade tornam-se importantes a serem considerados, mas o usamos predominantemente para a reprodução de música nesse cenário.
Mas, naquele momento, meu parente não era muito vocal, não falava, e estávamos tocando música no Echo que pensávamos que era o que ele gostaria de ouvir, Bach e música muito calma e honestamente, algumas das as últimas palavras que ele disse, e eu não estou brincando, pelo que me lembro, foram: "Alexa, toque Al Green". Ele queria Al Green, Sly e The Family Stone, e esse dispositivo lhe deu essa acessibilidade. Foi empoderador e em um momento em que era muito poderoso.
Existem muitas tecnologias em jogo lá. Você tem o fato de que Al Green está disponível e de que existe uma vasta biblioteca de músicas que está a um comando de voz e então você tem o próprio comando de voz, o que possibilita que ele solicite pessoalmente. Então, há muita coisa acontecendo lá.
Acho que quando você levanta a questão da privacidade, outra pergunta é que, antes de Alexa fazer as consultas com o médico, suspeito que alguma empresa farmacêutica esteja se oferecendo para nos dar uma mesa de remédios para resfriado ou nossas alergias estão agindo e oferecendo um Zyrtec, e acho que é quase um passo intermediário que temos que seguir onde quem vai controlar todos os dados que estão sendo capturados e que estamos dando neste formato de áudio.
Temos que abraçar isso. Se não pensarmos no lado da regulamentação e não pensaremos em como tornar as pessoas confortáveis para fornecer a você, ainda mais, dados do que atualmente. Acho que a Amazon agora diz: "Estamos ouvindo apenas quando você diz Alexa", mas esses dispositivos para fazer o que realmente podem fazer, você deve estar ouvindo o tempo todo.
Atualmente, existe uma grande tendência de empresas, companhias de seguros, seja seguro de carro ou seguro de saúde, oferecendo aos consumidores um acordo ou uma maneira de obter taxas mais baixas se eles permitirem que seus dados sejam rastreados - se eles derem seus dados. Eu acho que é muito poderoso. Eu acho que fará parte do nosso futuro, não há dúvida sobre isso, mas esse futuro do que as ramificações de compartilhar esses dados, que ainda não foram definidos ainda, e é difícil de prever. Então, nós realmente temos que pensar em como é esse futuro.
Além disso, acho que há um problema de permanência em que as pessoas estão: "Não me importo de dar à minha empresa de assistência médica ou ao meu provedor de seguros o número de etapas que eu faço toda semana", mas essas informações não vão a lugar algum e as etapas você faz esta semana será pesquisável e indexado daqui a 30 anos, e essa ideia de permanência digital com a qual vivemos hoje, que realmente, na história da humanidade, nunca havia acontecido antes. Quando você adiciona o fato de poder ter um microfone na cozinha o tempo todo, todos esses dados não vão a lugar algum. A Amazon sempre o terá.
Esse futuro não está escrito e não sabemos as ramificações. Ainda não definimos esses regulamentos, mas eles podem mudar no futuro, porque muitas coisas podem mudar.
E aqui está outra coisa. Penso que culturalmente, a UE tentou promulgar muito mais legislação reguladora de proteção ao consumidor no momento, mas não está claro o que isso significa porque os dados existem. Precisamos garantir a interoperabilidade quando você estiver viajando. Precisamos garantir a segurança de pequenos dispositivos IoT. Isso é realmente uma coisa crítica. Eu acho que grupos como o NIST são muito ativos para resolver isso.
Quando você olha para o que Dolby faz e todas as tecnologias em que está trabalhando, você começa a ver temas comuns, e um deles é que a empresa está realmente tentando dar aos seres humanos uma percepção super sensorial, poderes sobre-humanos. Soa por cima. Parece hiperbólico, mas há vários exemplos de pessoas obtendo poderes sobre-humanos usando a tecnologia. Podemos apenas falar sobre alguns deles?
Absolutamente. Portanto, venho de um background como neurofisiologista, que pensa em como integramos essas coisas à tecnologia e há algumas que são importantes. Quando pensamos sobre o que é a realidade aumentada ou o que a tecnologia pode fazer por nós hoje… quando entrei na Dolby, talvez estivéssemos no processo de trabalhar no Dolby Vision, e o Dolby Vision é uma alta faixa dinâmica e uma tecnologia de imagem de gama de cores mais ampla. Só para se ter uma idéia, a tela típica que você teria comprado cerca de três anos atrás seria de 300 a 400 candelas por metro quadrado. A lua, a lua natural é de cerca de um a dois mil, a luz do sol em calçada preta, você está recebendo 15.000 candelas por metro quadrado.
Portanto, a tecnologia de exibição estava muito longe do que nosso sistema sensorial real podia suportar. E, no processo de desenvolvimento, estávamos trabalhando com alguns conteúdos e dispositivos que permitiam obter até 20.000 candelas por metro quadrado no brilho produzido.
E isso não é necessariamente contraste, isso não é resolução, é o brilho.
Sim, do ponto de vista da percepção e da perspectiva sensorial, por muitas distâncias de visualização, estamos bastante concentrados no que nossos sistemas sensoriais, seu sistema perceptivo pode suportar em relação à resolução. Mas em relação ao brilho e à gama de cores, não estávamos nem perto. Portanto, é muito empolgante saber: "tudo bem, há nessa área que podemos aprimorar a experiência e liderar nesse campo". Isso é bem empolgante.
Então, apenas com base na luminosidade que estava atingindo a retina, meu cérebro diz: "Ok, eu nunca experimentei uma chama tão brilhante que não era real, então, probabilisticamente, meu cérebro se comportará com esse fogo como se fosse. real."
Portanto, agora, quando pensamos em tecnologias imersivas, na criação de superpotências e na criação de experiências, podemos pensar nelas, engajando nosso sistema fisiológico de maneira natural, autêntica, e então podemos melhorá-las. Temos a capacidade de ir além do que você pode experimentar no mundo natural, e isso se torna bastante poderoso.
Sim, é um ótimo exemplo. Também conversamos um pouco sobre como no PCMag testamos vários sistemas de ER. Existem tecnologias muito promissoras em andamento. Sempre focamos no que parece na tela, na resolução, mas o componente de áudio para a realidade virtual e a realidade aumentada é tão importante quanto o componente visual e ajuda a vender a experiência. Você pode falar um pouco sobre o que está encontrando lá e o quanto isso contribui para a experiência?
Uma grande tendência, não apenas em nossa empresa, mas em outras, é o reconhecimento de que você não pode estudar um sentido sem o outro. Se estamos olhando para futuros dispositivos e dispositivos holísticos em AR e VR. No momento, todos os principais dispositivos de RV são visuais, mas um aparelho auditivo, no que me diz respeito, mesmo que não queira ser chamado assim, é um dispositivo de realidade aumentada. Ele está tentando aumentar a partir do sistema fisiológico básico, o estado dele. Os implantes cocleares são um dos primeiros dispositivos biofísicos implantados.
Se você pensa sobre o que queremos em realidade aumentada? Queremos aprimorar nossa experiência do mundo. Queremos que não seja algo que interfira e nos forneça muitos dados que não podemos fazer do que costumávamos fazer. No momento, estamos na tendência de experiências muito legais, mas não aprimoramos e nos tocamos da maneira que estou ansioso para melhorar as atividades mundanas em nossas vidas. E nos permitindo estar mais engajados com as pessoas porque essas coisas são aprimoradas. Vou dar um exemplo disso em um segundo, mas, na verdade, queremos estar conectados. Queremos estar envolvidos com nossas vidas. Queremos poder obter mais informações. Queremos ter experiências aprimoradas e queremos poder controlar o quanto essas experiências são ricas.
Então, se pegarmos todos os dados que podemos capturar ou… mais dados nem sempre são melhores, mas se estamos tentando melhorar nosso visual… Já vi isso acontecer nas forças armadas, já vi acontece com a tecnologia em que quero criar um AR, e pego as informações que estou tentando aprimorar e coloco tudo no meu sistema visual. Coloquei tudo em copos ou em lugares onde tenho que olhar. Bem, nosso cérebro não pode processar tanta informação. Não podemos aceitar isso ao mesmo tempo.
Então é aí que o som… temos uma limitação de capacidade em um sentido, mas adivinhem? Temos outros sentidos. E, de repente, abrimos toda essa loja que podemos usar e realmente aprimorar nossas experiências, e adivinhem? Isso é clichê, mas com relação à criação de uma experiência fisiológica, o que faço quando estou assistindo a um filme de terror e com medo? Eu desligo o som. Portanto, não é apenas uma parte realmente visceral, é toda uma oportunidade para aprimorar e enriquecer nosso estilo de vida em termos de quanta informação podemos receber e quanta informação podemos processar. Simplesmente separando as vozes ou os elementos sonoros espacialmente díspares, podemos processá-los ao mesmo tempo, em vez de deixar nosso cérebro e as informações completamente inúteis. Isso nos impede de ter todo o nosso cérebro e capacidade cognitiva ocupados, fazendo uma única coisa. Realmente abre nossa consciência situacional e o que podemos fazer.
O componente de áudio e todas essas coisas de RV, quando começamos a testá-las, é algo que estamos colocando em cada revisão, é que se parece com isso, soa assim, e então os dois geralmente devem somar algo maior que o soma das partes.
Há tantas coisas diferentes que podemos fazer com som em AR ou VR. Obviamente, é importante criar uma experiência espacializada, mas é uma parte essencial dela. Dolby Atmos é um exemplo de entrega e renderização de som com base em objetos. Portanto, quando as coisas são criadas no Atmos e os elementos sonoros vivem com um pacote de dados, um fluxo de dados é anexado a ele. Então, você pode imaginar, isso pode ser muito poderoso. Isso pode lhe dizer onde deve estar um som. Independentemente de como você está recriando esse som, ele tem esse local. Tem uma largura, um volume, mas também pode coordenadas GPS. Também pode ter todo tipo de informação. No futuro, podemos ter um conteúdo emocional sobre como isso deve afetá-lo se soubermos algo sobre a interação que está acontecendo.
Estes são os tipos de coisas futuras que podem acontecer. Se você pensa em um dispositivo AR, ele pode fornecer muitas informações. Atualmente, usamos mapas para olhar para o telefone ou para o carro. Essas coisas podem ser feitas em um laboratório com muita facilidade para criar uma versão sonificada que fornece informações de rastreamento e informa não verbalmente, mas fornece pings que informam onde estão os sons e para onde você deve ir. O problema é que precisamos garantir que seja robusto e consistente entre os usuários, e esse é um problema mais complicado.
Mapeia um ótimo exemplo de que ele ainda é baseado na tela em geral e, quando o Google Glass foi lançado, você podia ver todas essas informações, essa pequena janela minúscula em sua exibição visual. O que eu realmente queria era que me dissesse no meu ouvido se eu deveria virar à direita ou à esquerda.
Sim.
E você está bem ali, bem ao lado da orelha, você poderia me dar o comando de voz. Eu pensei que era um sistema de áudio e som melhor do que o sistema visual em relação às soluções vestíveis.
Absolutamente. E, novamente, bem, não de novo, acho que você acertou no ponto principal, que são todas essas ferramentas, e agora, hoje, temos ferramentas que podemos usar de maneiras surpreendentes, incluindo controle neuro e outras coisas, mas a questão não é: vamos escolher as ferramentas certas para os dados, a tecnologia e a experiência do usuário que você está tentando atingir. Você precisa otimizar contextualmente e personalizar para o seu indivíduo e para o que ele está tentando alcançar, e essa foi uma grande lacuna no que estamos construindo no momento. Tecnologia incrível e ficará mais rica. Mas vai mudar e acho que temos que abraçar o que estamos tentando chegar e pensar em como, como um sistema humano, podemos experimentar melhor isso.
Uma das minhas coisas favoritas a fazer é olhar para outras espécies. Você pode ver se é um sapo ou uma mosca, ou um morcego, espécies que têm essas superpotências incríveis para fazer coisas que vão muito além do que seus corpos físicos e uma visão grosseira de seu cérebro podem lhe dizer. Compreender como eles resolvem esse problema e muito mais, por que sua evolução resolveu esse problema para eles, nos dá idéias. Temos que pensar assim. Temos que pensar mais sobre quais são as pressões ambientais em nossos sistemas, e como a tecnologia melhor nos ajudará a resolver isso?
E fornecer mais e mais dados provavelmente nem sempre é a solução certa.
Raramente, raramente. Quero dizer, o que nos torna bem-sucedidos é o que nossos cérebros jogam fora. Estou sempre falando de ilusões, amo ilusões. Eles são divertidos, mas também são uma visão maravilhosa de quando nossos cérebros entendem errado. Se experimentarmos os dados exatamente como são no mundo, você realmente terá uma condição patológica de que não é funcional no mundo. E o que nosso cérebro está constantemente fazendo é nos ajudar a ponderar certas informações e nem perceber informações diferentes. Se percebêssemos todas as mudanças de luminância criadas pela luz, nunca veríamos objetos holísticos. Precisamos funcionar e precisamos saber em que ação, e é isso que é poderoso.
Deixe-me fazer algumas perguntas, pergunto a todos os meus convidados. Número um, qual é a coisa que o mantém acordado à noite? Que tendência tecnológica você está mais preocupado em seguir em frente?
Duas coisas. Acho que já mencionamos que há muito poder na criação desse tipo de superpotência e o que podemos fazer com AR e VR. Minha esperança é que analisemos todas as tecnologias que estamos construindo como ferramentas e pensemos em usar as ferramentas certas da maneira mais simples e mais, digo robusta, mas é consistente em todos os nossos usuários obter a experiência pretendida ao invés do que é o mais sexy e brilhante.
O outro é: é realmente sobre os dados. Há tanto poder em ter microfones sempre ouvindo que levarão nossa tecnologia adiante, levarão nossas vidas adiante. Mas precisamos nos sentir confortáveis com o que está acontecendo com esses dados. Temos que estar à vontade com as regulamentações, sejam carros autônomos ou audíveis, ou apenas a segurança dos dispositivos IOT. Se não tivermos regulamentos, padrões e entendimento fortes e, em muitos casos, transparência para os algoritmos que conduzem algumas dessas decisões probabilísticas e a IA por trás de alguns desses dispositivos, acho que isso atrasará e atrasará a inovação. Isso poderia atrasar os recursos da tecnologia para ter um grande impacto em uma direção positiva para tantas pessoas. Eu quero ver isso acontecer. Então, acho que serão sobre padrões e regulamentos para ajudar a tornar isso realidade.
No lado positivo, o que mais te anima? O que você acha que vai mudar o mundo e deixa você animado em ir trabalhar todos os dias?
Há uma tendência e uma mudança em que não pensamos em um sentido. Estamos pensando em tecnologia de forma holística. Estamos pensando no impacto que isso tem na visão e no som juntos. Pensamos em todo o nosso sistema fisiológico e, penso, em como nos sentimos, em nossas emoções. As coisas com as quais as pessoas se preocupam agora e a maneira como descrevemos o impacto da tecnologia são muito mais ricas em relação ao que isso significa para a conexão humana e o que significa apenas o poder que pode ter em nossas experiências. Isso é algo que eu definitivamente acho que é uma nova direção.
Então, com relação a um produto, um serviço, um gadget de tecnologia que você ama, que mudou sua vida. Existe algo que se destaca e você diz: "Isso é o que melhora minha vida todos os dias?"
Dispositivos estáticos de audição. Eu uso um eco todos os dias e já o vi usado em um intervalo tão amplo de gerações e casos de uso. Estou realmente empolgado para onde tecnologias como essa estão acontecendo e, no momento, está realmente nos estágios iniciais do impacto que terá.
Portanto, se as pessoas estão ouvindo essa palestra e se interessam pelo seu trabalho, como podem encontrá-lo online, interagir com você?
Você pode me encontrar on-line no LinkedIn, Poppy Crum. Você também pode me encontrar no Twitter @poppycrum.
