A fotografia computacional está pronta para seu close-up

Mais de 87 milhões de americanos viajaram internacionalmente em 2017, um número recorde, de acordo com o Escritório Nacional de Viagens e Turismo dos EUA. Se você estava entre eles, talvez tenha visitado um destino como Stonehenge, o Taj Mahal, a Baía de Ha Long ou a Grande Muralha da China. E você pode ter usado o telefone para fotografar um panorama, talvez até girando o tempo todo com o telefone para fotografar uma visão super ampla de 360 ​​graus da paisagem.

Se você foi bem-sucedido - o que significa que não havia seções desalinhadas, vinhetas ou mudanças de cores -, você experimentou um exemplo simples, porém eficaz, de fotografia computacional. Mas nos últimos anos, a fotografia computacional expandiu-se além de usos tão restritos. Não só poderia nos dar uma perspectiva diferente da fotografia, mas também mudar a maneira como vemos nosso mundo.

O que é fotografia computacional?

Marc Levoy, professor de ciência da computação (emérito) da Universidade de Stanford, engenheiro principal do Google e um dos pioneiros nesse campo emergente, definiu a fotografia computacional como uma variedade de "técnicas de imagem computacional que aprimoram ou ampliam os recursos da fotografia digital. a saída é uma fotografia comum, mas que não poderia ter sido tirada por uma câmera tradicional ".

Segundo Josh Haftel, gerente de produto principal da Adobe, adicionar elementos computacionais à fotografia tradicional permite novas oportunidades, principalmente para empresas de imagem e software: "A maneira como vejo a fotografia computacional é que ela nos dá a oportunidade de fazer duas coisas. é tentar aumentar muitas das limitações físicas existentes nas câmeras móveis ".

Conseguir um smartphone para simular profundidade de campo rasa (DOF) - uma marca registrada de uma imagem com aparência profissional, pois separa visualmente o assunto do fundo - é um bom exemplo. O que impede uma câmera em um dispositivo muito fino, como um telefone, de capturar uma imagem com um DOF raso são as leis da física.

"Você não pode ter raso profundidade de campo com um sensor realmente pequeno ", diz Haftel. Mas um sensor grande requer uma lente grande. E como a maioria das pessoas deseja que seus telefones sejam ultrafinos, um sensor grande emparelhado com uma lente grande e volumosa não é uma opção., os telefones são construídos com pequenas lentes principais e sensores minúsculos, produzindo uma grande profundidade de campo que torna todos os assuntos próximos e distantes em foco nítido.

Haftel diz que fabricantes de smartphones e câmeras simples podem compensar isso usando a fotografia computacional para "trapacear simulando o efeito de maneiras que enganam os olhos". Consequentemente, algoritmos são usados ​​para determinar o que é considerado o plano de fundo e o que é considerado um assunto em primeiro plano. Em seguida, a câmera simula um DOF raso desfocando o fundo.

A segunda maneira pela qual Haftel diz que a fotografia computacional pode ser usada é empregar novos processos e técnicas para ajudar os fotógrafos a fazer coisas que não são possíveis usando as ferramentas tradicionais. Haftel aponta para HDR (alta faixa dinâmica) como exemplo.

"O HDR é a capacidade de tirar várias fotos simultaneamente ou em rápida sucessão e depois combiná-las para superar as limitações da capacidade natural do sensor". Com efeito, o HDR, principalmente em dispositivos móveis, pode expandir a faixa de tons além do que o sensor de imagem pode capturar naturalmente, permitindo capturar mais detalhes nos destaques mais claros e nas sombras mais escuras.

Quando a fotografia computacional fica aquém

Nem todas as implementações de fotografia computacional foram bem-sucedidas. Duas tentativas ousadas foram as câmeras Lytro e Light L16: em vez de misturar recursos de fotos tradicionais e computacionais (como iPhones, telefones Android e algumas câmeras independentes), o Lytro e o Light L16 tentaram se concentrar apenas na fotografia computacional.

A primeira a chegar ao mercado foi a câmera de campo de luz Lytro, em 2012, que permite ajustar o foco de uma foto após a captura da foto. Isso foi feito gravando a direção da luz que entra na câmera, o que as câmeras tradicionais não fazem. A tecnologia era intrigante, mas a câmera tinha problemas, incluindo baixa resolução e uma interface difícil de usar.

Ele também tinha um caso de uso bastante restrito. Como observa Dave Etchells, fundador, editor e editor-chefe da Imaging Resource, "embora a capacidade de focar após o fato seja um recurso interessante, a abertura da câmera era tão pequena que não era possível distinguir distâncias. a menos que haja algo realmente próximo à câmera ".

Por exemplo, digamos que você esteja atirando em um jogador de beisebol em um diamante de beisebol local. Você pode tirar uma foto perto da cerca e também capturar o jogador através da cerca, mesmo que ele esteja longe. Então você muda facilmente o foco da cerca para o jogador. Mas, como Etchells ressalta, "Com que frequência você tira uma foto assim?"

Um dispositivo mais recente que pretendia ser uma câmera computacional autônoma foi a Light L16, uma tentativa de produzir uma câmera fina e portátil com qualidade de imagem e desempenho em pé de igualdade com uma D-SLR de ponta ou uma câmera sem espelho. A L16 foi projetada com 16 módulos diferentes de lente e sensor em um único corpo de câmera. Poderoso O software de bordo construiria uma imagem a partir dos vários módulos.

Etchells ficou inicialmente impressionado com o conceito da Light L16. Mas, como um produto real, ele disse, "havia vários problemas".

Por exemplo, Light, a câmera e A empresa de fotografia que fabrica a Light L16 afirmou que os dados de todos esses pequenos sensores seriam equivalentes a um grande sensor. "Eles também alegaram que seria uma qualidade D-SLR", diz Etchells. Mas, em seus testes de campo, a Imaging Resource descobriu que esse não era o caso.

Havia outros problemas, incluindo o fato de que certas áreas da foto apresentavam ruído excessivo ", mesmo em áreas claras da imagem… E praticamente não havia faixa dinâmica: as sombras se ligavam imediatamente", diz Etchells, o que significa que em certas seções de fotos - incluindo as fotos de amostra que a empresa estava usando para promover a câmera - quase não havia detalhes nas sombras.

"Também foi apenas um desastre com pouca luz", diz Etchells. "Simplesmente não era uma câmera muito boa, ponto final."

Qual é o próximo?

Apesar desses déficits, muitas empresas estão avançando com novas implementações de fotografia computacional. Em alguns casos, eles estão desfocando a linha entre o que é considerado fotografia e outros tipos de mídia, como vídeo e VR (realidade virtual).

Por exemplo, o Google expandirá o aplicativo Google Fotos usando AI (inteligência artificial) para novos recursos, incluindo a coloração de fotos em preto e branco. A Microsoft está usando a IA em seu aplicativo Pix para iOS, para que os usuários possam adicionar perfeitamente cartões de visita ao LinkedIn. Em breve, o Facebook lançará um recurso de Fotos em 3D, "que é um novo tipo de mídia que permite às pessoas capturar momentos em 3D usando um smartphone para compartilhar no Facebook". E no aplicativo Lightroom da Adobe, os fotógrafos de dispositivos móveis podem utilizar os recursos HDR e capturar imagens no formato de arquivo RAW.

VR e Fotografia Computacional

Enquanto dispositivos móveis e até câmeras independentes usam fotografia computacional de maneiras intrigantes, mesmo Mais casos de uso poderosos vêm do mundo de plataformas de realidade estendida, como VR e AR (realidade aumentada). Para James George, CEO e co-fundador do Scatter, um imersivo estúdio de mídia em Nova York, a fotografia computacional é abrindo novas maneiras para os artistas expressarem suas visões.

"Na Scatter, vemos a fotografia computacional como a principal tecnologia habilitadora das novas disciplinas criativas que estamos tentando abrir… A adição da computação pode então começar a sintetizar e simular algumas das mesmas coisas que nossos olhos fazem com as imagens que ver em nossos cérebros ", diz George.

Essencialmente, tudo se resume à inteligência. Usamos nosso cérebro para pensar e entender as imagens que percebemos.

"Os computadores estão começando a olhar para o mundo, ver as coisas e entender o que são da mesma maneira que podemos", diz George. Portanto, a fotografia computacional é "uma camada adicional de síntese e inteligência que vai além da pura captura de uma foto, mas na verdade começa a simular a experiência humana de perceber algo".

O modo como o Scatter está usando a fotografia computacional é chamado de fotografia volumétrica, que é um método de gravar um assunto de vários pontos de vista e, em seguida, usar o software para analisar e recriar todos esses pontos de vista em uma representação tridimensional. (As fotos e o vídeo podem ser volumétricos e aparecer como hologramas 3D, você pode se mover dentro de uma experiência de RV ou AR.) "Estou particularmente interessado na capacidade de reconstruir as coisas mais do que apenas de maneira bidimensional, "diz George. "Em nossa memória, se atravessarmos um espaço , podemos lembrar espacialmente onde as coisas estavam relacionadas umas com as outras ".

George diz que o Scatter é capaz de extrair e criar uma representação de um espaço que é "completamente e livremente navegável, da maneira que você pode movê-lo como um videogame ou um holograma. É um novo meio que nasce de a interseção entre os videogames e o cinema que permite a fotografia computacional e o cinema volumétrico ".

Para ajudar outras pessoas a produzir proteções volumétricas à VR, a Scatter desenvolveu o DepthKit, um aplicativo de software que permite aos cineastas tirar proveito do sensor de profundidade de câmeras como o Microsoft Kinect como acessório de uma câmera de vídeo HD. Ao fazer isso, o DepthKit, um híbrido de CGI e software de vídeo, produz formulários 3D realistas "adequados para reprodução em tempo real em mundos virtuais", diz George.

O Scatter produziu várias experiências poderosas de RV com o DepthKit usando fotografia computacional e técnicas volumétricas de criação de filmes. Em 2014, George colaborou com Jonathan Minard para criar "Clouds", um documentário que explora a arte do código que inclui um componente interativo. Em 2017, Scatter produziu uma adaptação de realidade virtual baseada no filme Zero Days , usando a realidade virtual para fornecer ao público uma perspectiva única dentro do mundo invisível da guerra cibernética - para ver as coisas da perspectiva do vírus Stuxnet.

Um dos projetos mais poderosos relacionados ao DepthKit é o "Terminal 3", uma experiência de realidade aumentada do artista paquistanês Asad J. Malik, que estreou no início deste ano no festival de cinema TriBeCa. A experiência permite que você entre no lugar de um oficial da patrulha de fronteira dos EUA através do Microsoft HoloLens e interrogue um holograma volumétrico 3D fantasmagórico de alguém que parece ser muçulmano (há seis personagens no total que você pode entrevistar).

"Asad é um nativo paquistanês que emigrou para os EUA para cursar a faculdade e teve algumas experiências bastante negativas sendo interrogadas sobre sua formação e por que ele estava lá. Chocado com essa experiência, ele criou o 'Terminal 3'", diz George.

Uma das chaves para o que torna a experiência tão atraente é que a equipe de Malik no 1RIC, seu estúdio de realidade aumentada, usou o DepthKit para transformar vídeo em hologramas volumétricos, que podem ser importados para mecanismos de videogame em tempo real, como Unity ou 3D. ferramentas gráficas como Maya e Cinema 4D. Adicionando os dados do sensor de profundidade do Kinect ao vídeo D-SLR para posicionar corretamente o holograma dentro do espaço virtual de AR, o software DepthKit transforma o vídeo em computacional vídeo. Um tabuleiro de xadrez em preto e branco é usado para calibrar o D-SLR e o Kinect juntos, então as duas câmeras podem ser usadas simultaneamente para capturar fotos e vídeos volumétricos.

• 10 dicas rápidas para corrigir suas fotos ruins 10 dicas rápidas para corrigir suas fotos ruins
• 10 dicas de fotografia digital além do básico 10 dicas de fotografia digital além do básico
• 10 dicas e truques fáceis para melhores fotos de smartphones 10 dicas e truques fáceis para melhores fotos de smartphones

Como essas experiências de AR criadas com o DepthKit são semelhantes à maneira como os videogames funcionam, uma experiência como "Terminal 3" pode produzir poderosos efeitos interativos. Por exemplo, George diz que Malik permite que os hologramas mudem de forma ao interrogá-los: se durante o interrogatório suas perguntas se tornam acusatórias, o holograma se desmaterializa e parece menos humano. "Mas quando você começa a invocar a biografia da pessoa, suas próprias experiências e seus valores", diz George, "o holograma começa a preencher e se tornar mais fotorrealista".

Ao criar esse efeito sutil, ele diz, você pode refletir sobre a percepção do interrogador e como ele pode ver uma pessoa "apenas como um emblema em vez de uma pessoa real com uma verdadeira identidade e singularidade". De certa forma, isso poderia oferecer aos usuários um maior nível de entendimento. "Por meio de uma série de avisos, nos quais você pode fazer uma pergunta ou outra", diz George, "você é confrontado com seus próprios preconceitos e, ao mesmo tempo, com essa história individual".

Como a maioria das tecnologias emergentes, a fotografia computacional está experimentando sua parcela de sucessos e fracassos. Isso significa que alguns recursos importantes ou tecnologias inteiras podem ter uma vida útil curta. Veja o Lytro: em 2017, pouco antes do Google comprar a empresa, o Lytro fechou pictures.lytro.com, para que você não pudesse mais postar imagens em sites ou mídias sociais. Para quem sente falta, a Panasonic possui um recurso de foco semelhante ao Lytro chamado Post Focus, que foi incluído em várias câmeras sem espelho de última geração e aponte e dispare.

As ferramentas e recursos de fotografia computacional que vimos até agora são apenas os começar . Acho que essas ferramentas se tornarão muito mais poderosas, dinâmicas e intuitivas à medida que os dispositivos móveis forem projetados com câmeras e lentes mais novas e versáteis, processadores onboard mais poderosos e recursos de rede celular mais amplos. Em um futuro muito próximo, você poderá começar a ver as verdadeiras cores da fotografia computacional.