Vr está prestes a mudar para sempre o cinema: veja aqui como

Hollywood está falando sobre realidade virtual. Na conferência de Oculus Ligação no mês passado, um painel inteiro de ex-alunos de Hollywood falou sobre a tecnologia e suas aplicações no cinema.

Enquanto isso, pesos pesados ​​da indústria estão começando a pesar. James Cameron odeia. David Attenborough está fazendo um documentário sobre ele. A recente (excelente) filme Interstellar teve uma experiência VR promovê-lo.

A realidade virtual é uma nova maneira de se comunicar com o espectador, e muitas pessoas com experiência em cinema tradicional encontrar as possibilidades emocionantes. A realidade virtual, ao invés de apenas fornecer uma janela para um mundo novo, permite que diretores para assumir o controle de todo o mundo em torno do espectador.

O que você pode fazer com uma câmera VR?

Não é preciso muita imaginação para ficar animado com a idéia de câmeras VR. Cineastas poderia literalmente trazer o público face a face com seus personagens, e mergulha-as na espectaculares, mundos bizarros. Fotógrafos poderia capturar cenas inteiras, congeladas no tempo, para ser examinada por qualquer pessoa, em qualquer lugar do mundo.

Documentaristas poderia levar o público para lugares que, de outra forma nunca será capaz de visitar. Eles poderiam enviar uma câmera VR para o fundo do oceano e deixar os espectadores ficar no meio do salão afundado do Titanic. documentários sobre a natureza poderia manipular tempo e espaço, colocando os usuários entre formigas do tamanho de cães, ou a construção de sequências de lapso de tempo de imersão. NASA poderia montar uma câmera VR em um rover Mars e permitir que milhões de pessoas para ficar no planeta vermelho.

Há também, é claro, as aplicações mais mundanas:

vídeo ao vivo VR também poderia ser muito atraente. jogos esportivos poderia ser remotamente participou, câmeras VR daria a todos assentos do lado do tribunal. Mesmo o turismo pode ser virtual.

Os usuários poderiam alugar um robô simples telepresença (talvez um Segway com uma câmera VR sentado no guidão) e piloto-lo ao redor, em qualquer lugar do mundo. O Segway iria transmitir seu vídeo de volta ao vivo, permitindo que os turistas para virtualmente “teletransporte”-se em todo o planeta para explorar em qualquer lugar. Parece seguro dizer que a VR é vai mudar o mundo.Por que a tecnologia de realidade virtual vai explodir sua mente em 5 anosPor que a tecnologia de realidade virtual vai explodir sua mente em 5 anosO futuro da realidade virtual inclui a cabeça, olho e rastreamento de expressão, toque simulado, e muito mais. Estas tecnologias surpreendentes estarão disponíveis para você em 5 anos ou menos.consulte Mais informação

VR cinema tem muitos desafios embora. Como diretores pode mover a câmera, mantendo o espectador confortável? Como diretores cortar filme sem desorientar o espectador? Como eles certifique-se o espectador está olhando na direção certa para capturar eventos importantes da trama? Não closeups ainda faz sentido?

Talvez os maiores problemas, porém, são as práticas: como você conteúdo recorde de realidade virtual? Renderização de conteúdo VR ao vivo para jogos é computacionalmente intensivo, mas conceitualmente simples. Gravação vida real, ao contrário, coloca alguns desafios sérios.

Câmera panorâmica

A solução mais simples (e o único amplamente utilizado no momento) é simples de captura de vídeo panorâmica. Neste esquema, uma bola de câmeras convencionais são usados ​​para gravar vídeo em todas as direções, e os resultados são costuradas em conjunto com software para criar uma esfera perfeita de vídeo. Estes são muito parecidos com os panoramas você take com o seu telefone, mas gravados simultaneamente em formato de vídeo. A saída do processo é algo como isto:5 dicas para tirar fotos panorâmicas com o seu smartphone5 dicas para tirar fotos panorâmicas com o seu smartphonePanoramic images de paisagens deslumbrantes quase sempre está maravilhosa, mas eles podem ser extremamente difícil de criar. Usando um smartphone, existem várias técnicas e truques que você pode empregar para obter os melhores resultados.consulte Mais informação

Este é simples e barato. Você pode pré-encomendar uma câmera panorâmica para cerca de US $ 700, mas tem limitações. O mais importante é a falta de profundidade: os panoramas são processados ​​em um infinitamente grande esfera, de modo a paralaxe entre os olhos é igual a zero, mesmo para partes da imagem que realmente deveria ter profundidade, como uma pessoa de pé ao seu lado.

Apesar desta deficiência, a experiência fornecida pelo vídeo panorâmico ainda é surpreendentemente legal, especialmente para o conteúdo que ocorre a uma distância (aérea fotografia é um bom exemplo). Cerca de uma semana atrás, eu construí um aplicativo Oculus Rift que torna um cockpit virtual dentro do vídeo acima, e os resultados são convincentes: ele se sente como andar em um submarino cercado por tartarugas marinhas do tamanho de pequenos edifícios.

Pense este tipo de conteúdo VR como como um teatro IMAX super-pessoal em que estais suspensos no meio de uma vasta exibição esférica. O senso de lugar fornecido pelo vídeo esférica já é algo que é impossível com ferramentas de cinema tradicionais. Mesmo com suas limitações, este é provavelmente o que a maioria de vídeo VR está indo olhar como no futuro imediato. O documentário de Richard Attenborough ( “A Conquista dos Céus“) está sendo filmado neste formato.

Câmera Panorâmica Stereo

Digamos que um diretor é infeliz com a limitação de panoramas monoscópico. Uma extensão óbvia da tecnologia é trazer lado-a-lado tecnologia 3D. Para fazer isso, o hardware precisa de duas câmeras paralelas enfrentam cada sentido, compensado por cerca de 6,3 cm. Em seguida, a câmera utiliza software para juntar duas panoramic images: uma para o olho esquerdo e outra para a direita. A diferença entre eles cria a ilusão de profundidade. Produtos que suportam esta experiência estão disponíveis, embora eles são caros (US $ 995, mais o custo de dez câmeras GoPro).Old-Time Fun: Como fazer imagens 3D para visualização sem óculosOld-Time Fun: Como fazer imagens 3D para visualização sem óculosAcredite ou não, você realmente não precisa de óculos 3D para experimentar de forma convincente imagens 3D realistas (ou filmes). Você só precisa fazer-se ir “crosseyed”. Essencialmente, você olha para duas imagens, e por intencionalmente ...consulte Mais informação

Em um esforço para fazer este tipo de conteúdo mais mainstream, Samsung anunciou recentemente o “Projeto Beyond”, uma câmera panorâmica VR estéreo para fone de ouvido móvel Oculus-Samsung Gear VR. O protótipo atual tem o formato de um pequeno disco, e usa 17 câmeras HD, e torna um gigapixel por segundo de dados.

Em 30 fps, que trabalha para fora para quadros panorâmicas que são cerca de 15 megapixels por olho, ou cerca de 50.000 pixels por olho por grau visual. Informações sobre preços ainda é um mistério, e Samsung enfatiza que este não é um projeto acabado. Você pode ver o vídeo de visualização abaixo.

panoramas estéreo são claramente uma experiência melhor do que seus irmãos monoscópico - grandes coisas parecem grandes, pequenas coisas parecem pequenos, objetos têm profundidade e posição, e se sente muito mais como estar lá. Dito isto, a experiência ainda está longe de ser perfeito. Como John Carmack descreve em seu keynote Oculus Connect, panoramas estéreo tem um monte de problemas.

“... panoramas estereoscópicos, seja fixa ou vídeos, são absolutamente um hack. Não é - nós sabemos que direito é e isso não é certo. O que eles acabam fazendo é que você tem fatias tomadas a partir de múltiplas câmeras, então para a frente é o aparelho de som adequado para um para-sábio e, em seguida, aqui é adequada para isso. Mas isso significa que, se você está olhando para o que era certo para os olhos mais aqui, mas você está olhando para fora do canto de seu olho por aqui, não é definitivamente certo. Não é a disparidade direito para os olhos.

E depois ainda pior se você virar a cabeça como esta [cabeça rolos], torna-se todo o tipo de mal, porque ele está configurado apenas para os olhos para a frente. Então era uma coisa interessante. Nós temos o material em que, basicamente, sabe, de certa forma isso pode ser envenenado, isso pode ser uma experiência muito ruim se as pessoas que você gasta muito tempo slouched sobre. [...]

Video: Trailer 2 Cinderela Legendado - 26 de Março nos Cinemas

Estes são problemas técnicos que poderia, talvez, ser resolvidos através de uma melhor hardware. No entanto, há uma questão mais profunda: o que acontece quando você move sua cabeça? Os panoramas para ambos os olhos ainda são prestados no infinito: fisicamente mover a cabeça irá resultar na sensação nauseante de que o mundo está se movendo com você, especialmente se há objetos perto de você. Não há nenhuma maneira fácil de descobrir o que uma imagem estereoscópica seria semelhante a partir de um novo ponto de vista.

Apesar destas limitações, experiências panorâmica estéreo ainda são convincentes. A plataforma engrenagem VR incidirá sobre esses tipos de experiências, uma vez que podem ser criados com hardware moderno e exibido sem sobrecarregar os recursos de renderização do hardware. panoramas estéreo será, provavelmente, o padrão ouro para a produção de conteúdo VR, pelo menos para os próximos anos.

Câmeras de profundidade

Uma alternativa para capturar duas imagens lado a lado (como acontece com filmes em 3D tradicionais) é capturar o que é conhecido como imagens de profundidade: uma única imagem capturada a partir de uma única perspectiva, que contém um canal de cor adicional que armazena a distância entre a lente do pixel em questão.

Se você tem isso, o software pode simular câmeras virtuais a visualização da imagem a partir de novas perspectivas, certificando-se de ter sempre uma imagem nova e correta de cada olho. É possível gerar imagens panorâmicas de profundidade que permitem o movimento natural da cabeça e rotação de uma forma que não é possível com panoramas estéreo. Existem algumas tecnologias que você pode usar para capturar essas imagens de profundidade.

Tempo de vôo

A versão desta tecnologia que você provavelmente está mais familiarizado é aquele que é usado no Kinect. O Kinect V2 (a versão junto com o Xbox One) conta com o que é conhecido como uma câmera time-of-flight.

A teoria aqui é simples: câmeras tempo-de-vôo são câmeras infravermelhas que são capazes de gravar não apenas onde a luz é impressionante o sensor, mas quando luz está atingindo o sensor, com uma precisão de alguns microssegundos. Este é acoplado com uma câmera de vídeo de cor e uma luz estroboscópica infravermelho. No início de cada quadro, os estroboscópio IV pisca, iluminando a cena muito brevemente. Cronometrando quanto tempo leva cada pixel para observar o flash, a câmera pode deduzir a velocidade da luz a distância de cada pixel é a partir da câmara.

Esta tecnologia é extremamente poderoso. Hackers têm feito algumas coisas incríveis com isso. Usando vários cinética em uma configuração de sobreposição, pode ser possível criar um panorama de uma cena, com um valor de profundidade precisa para cada pixel, o que poderia ser processado em realidade virtual para criar uma experiência de imersão com profundidade correta.5 Microsoft Xbox Kinect hacks que vai explodir sua mente5 Microsoft Xbox Kinect hacks que vai explodir sua menteconsulte Mais informação

Para se ter uma idéia dos tipos de resultados esta abordagem produz, confira este vídeo mostrando a saída de apenas a câmera profundidade do Kinect V2.

Esta é uma imagem de profundidade de alta qualidade - muitos detalhes, bordas limpas e não muito barulho. Há, no entanto, algumas limitações: a maior ressalva é que o Kinect neste exemplo é de gravar uma cena interior com condições de iluminação cuidadosamente controladas.

Em cenários do mundo real (e especialmente ao ar livre) interferência IR ambiente da luz solar directa e indirecta e fontes de luz incandescentes podem degradar a precisão. Há também um problema mais fundamental, que é o tempo de câmeras de vôo depender de iluminação ativa. Isso coloca alguns limites rígidos sobre o quão longe eles podem ver. Eles também não lidar bem com superfícies transparentes e reflexivos. E, porque a resolução de profundidade é limitada pela precisão do tempo, câmeras tempo-de-vôo não são muito útil para gravar pequenos objetos, tornando brincar com escala impossível.

Light Field

A tecnologia diferente para imagens de profundidade de captura é conhecido como ‘Campo de luz` fotografia.Lytro Luz Field Camera: snap feliz ou foto chamariz?Lytro Luz Field Camera: snap feliz ou foto chamariz?Descrito por um empregado como "a primeira grande mudança na fotografia desde que a fotografia foi inventada", A câmera light-campo Lytro é certamente um dispositivo revolucionário. A câmera agita as coisas, substituindo grande parte da pesada ...consulte Mais informação

Veja como funciona: em fotografia convencional, a lente da câmera focaliza a luz de entrada para um sensor. Cada elemento do sensor registra a quantidade de luz que incide sobre ele. câmeras campo de luz usar um sensor especial, em que cada “pixel” é realmente uma lente minúscula com muitos sensores debaixo dela. Isso permite que a câmera para medir não apenas a quantidade de luz está atingindo cada pixel, mas também o ângulo que a luz está vindo em pelo.

Isso é útil para algumas razões. A aplicação mais simples é que, mudando a forma como este grande ‘campo de luz` é amostrado, os usuários finais podem reorientar uma fotografia depois de ter sido tomada. A aplicação que é interessante para VR, é que as câmeras de campo de luz também são, aliás, câmeras de profundidade! O ângulo da luz recebida a partir de um objecto é uma função de como longe do objecto é a partir da lente, em relação ao tamanho da abertura. Objetos distantes produzir luz que é quase perpendicular à lente. objetos muito próximos produzem luz que é quase paralelo. A partir disso, é possível (com muita precisão) determinar o mapa de profundidade de uma imagem.

Você pode ver alguns resultados de uma câmera campo cedo luz vídeo abaixo, eo que a imagem parece reprojetadas de um ângulo diferente.

Porque é um processo passivo, o limite de alcance e precisão espacial é definida pela resolução eo tamanho da abertura, e nada mais. Isso significa que, usando lentes de ampliação, é possível captar imagens de profundidade de luz campo de praticamente qualquer objeto em qualquer escala sob quaisquer condições. Para obter um exemplo de que é possível com campos de luz maiores e mais precisos, veja este vídeo, que utiliza vários quadros de uma câmera campo de luz portátil para simular um campo de luz muito maior. Ele gera alguns bastante convincente geometria 3D a partir dele.

câmeras campo de luz são uma tecnologia muito menos madura do que o tempo de câmeras de voo (só há uma câmera campo de luz no mercado de consumo, agora, e ele não suporta captura de vídeo). Dito isto, com mais tempo de desenvolvimento, câmeras de campo de luz deve oferecer uma experiência de vídeo profundidade muito mais robusto no longo prazo.

Lidar com desoclusão

Há um grande problema com vídeos profundidade que vale a pena mencionar: Cabeça movimento. Sim, é possível reprojetar vídeos profundidade para novas perspectivas, e todos os pixels acabar onde eles deveriam estar. vídeo profundidade não vai deixá-lo doente. Infelizmente, eles fazem introduzir um novo problema: desoclusão.

Quando você move a cabeça em uma tal maneira que você está olhando para uma parte do mundo não visível na imagem original ou panorama, você recebe um artefato visual desagradável: uma sombra. Para se ter uma idéia do que estou falando, veja este vídeo:

Nesse vídeo, um programador cortou o Kinect para renderizar um vídeo profundidade do que está vendo no espaço. Movendo a câmera virtual, ele reprojects a cena de uma série de perspectivas.

É uma primeira geração Kinect, de modo que o sinal de vídeo é um pouco glitchy, mas os resultados são bastante impressionantes. A maior desvantagem, que se torna óbvia quando ele começa a girar a câmera, é as sombras na cena. A parte da parede atrás de seu corpo tem um enorme buraco, pessoa em forma de cortar fora dele: a parte que a câmera não pode ver e não tem dados para. Estas sombras negras vão aparecer em panoramas de profundidade, logo que sua cabeça começa a se mover. Então, como câmeras VR lidar com esses buracos? Bem, existem algumas abordagens para este problema:

mais Câmaras

A solução mais simples é, na verdade, apenas gravar o material em torno dos cantos e atrás superfícies oclusão. Para fazer isso, você adicionar mais câmeras - muito mais. A fim de permitir que as pessoas para mover a cabeça para cima para, digamos, um metro de qualquer direção, a câmera precisa ser ampliado para criar uma esfera de 2 metros de largura cravejado com câmeras de alta profundidade FOV, de modo que o software pode sintetizar qualquer ponto de vista dentro a esfera.

Esta é a abordagem mais robusta, mas também o menos prático. Uma esfera dois metros de câmeras não é um bom steadicam, portátil, é uma instalação, e um caro. Isso pode ser prático para alguns high-end produções de Hollywood, mas certamente não para a maioria das aplicações do mundo real. Você pode ver um protótipo desta ideia abaixo, implementado na forma de um aplicativo de teleconferência ao vivo em 3D:

Video: MAVERICK VS. KONG! (first meeting)

Reconstrução cena

Outra abordagem, se o criador de vídeo está gravando principalmente alguns objetos dinâmicos em um cenário estático, é usar uma câmera de profundidade para mapear o ambiente antes de começar as filmagens, e usar esses dados para preencher buracos nas imagens gravadas. Isso pode ser feito automaticamente usando uma técnica chamada SLAM (Localização e mapeamento simultâneos), que funde automaticamente muitas imagens de profundidade para criar um mapa 3D completo de uma cena. Os resultados algo parecido com isto:

Isso funciona muito bem, mas não é apropriado para todas as situações. Não é difícil imaginar a tentar filmar uma cena em um lugar público ocupado, onde grande parte do fundo consiste em pessoas que se deslocam e ocluir o outro. Capturar uma versão estática único daquela cena para preencher os buracos simplesmente não é possível. Além disso, para documentário, vídeo ao vivo, ou para fins de notícias, não vai ser prático para mapear exaustivamente o ambiente de antemão.

Apenas inventando coisas

A última abordagem para o problema é recorrer à resposta usual nos casos em que você não tem dados suficientes: mentiras.

A visão aqui é que, na vida real, o espectador é não vai ser levantar-se e tentar caminhar ao redor da cena. Eles vão estar sentados, e que o software realmente precisa para corrigir é pequenas variações na postura, causadas pelo espectador inclinando-se e mudando no seu lugar - os disocclusions simplesmente não será tão grande. Isso significa que os dados usados ​​para preencher os buracos na verdade não tem de ser precisa, ele só tem que olhar plausível. Aqueles de vocês que têm jogado com Content-Aware preenchimento de imagem do Photoshop (ou seu concorrentes) Sabe onde isso vai dar.Snapheal para Mac: The Superhero Imagem Curador [Doação]Snapheal para Mac: The Superhero Imagem Curador [Doação]SnapHeal para Mac ($ 14.99) está aqui para salvar as suas fotografias, e ele faz um bom trabalho dele. Esta semana, nós estaremos dando afastado 25 cópias de Snapheal para Mac vale US $ 375 no total. E se...consulte Mais informação

Como se vê, os pesquisadores vêm-se com alguns bons algoritmos para o preenchimento de buracos nas transmissões de vídeo ao vivo em tempo real. Você pode conferir alguns exemplos abaixo:

Imagine-se decompor uma imagem de profundidade em camadas, subtraindo-os um de cada vez para ver onde as sombras poderia ocorrer, e em seguida, usando esses tipos de algoritmos em-pintura para gerar imagens plausíveis para preencher os buracos.

Este é um pouco mais difícil do que simples 2D em pintura, uma vez que o algoritmo também precisa de fazer-se valores de profundidade razoável para os buracos, mas muitas das mesmas técnicas podem ser usadas. Estas abordagens não irá funcionar perfeitamente em todas as situações, mas, desde que esses artefatos são menos invasivos do que as grandes buracos negros no mundo, que ainda conta como uma vitória.

Quanto tempo até que eles são feitos?

Com câmeras VR, ainda mais do que outras coisas, perfeito é inimigo do bom.

Mesmo com a melhor tecnologia do dinheiro pode comprar e filmagens cuidadosamente planejado para minimizar os erros de oclusão, os resultados ainda seria imperfeito. realces especulares, por exemplo, são os pontos de brilho que aparecem em superfícies brilhantes, os quais variam em posição, dependendo da posição da sua cabeça, uma vez que dependem de estar luz reflectida a um ângulo muito específica.

realces especulares registrados no mesmo o melhor vídeo VR aparecerá como cozido em manchas brancas na superfície, e não vai olhar direito em objetos próximos durante o movimento cabeça. Isso é uma limitação que vai ser difícil de se locomover. Além disso, o preenchimento de erros de oclusão em cenas complicadas com muitos objetos em movimento é difícil - a fazê-lo perfeitamente é impossível e será por muito tempo.

Vai ser anos e talvez até mesmo décadas antes câmeras VR pode fornecer uma experiência perfeita da mesma forma que 2D tradicional pode filme. Esse é o sacrifício que você faz, a fim de experimentar um meio fundamentalmente mais poderoso.

Com tudo o que disse, algumas coisas bem legais está vindo para baixo a tubulação futuro próximo. Cada opção única que trata este artigo podem criar experiências genuinamente valiosas. anúncio do “Projeto Beyond” da Samsung é um sinal promissor de coisas para vir.

O Oculus Rift está programado para lançamento em algum momento de 2015, e os números de vendas na casa dos milhões de unidades não parecer um alongamento. Se a realidade virtual decola do jeito que parece que pode, uma quantidade enorme de progresso tecnológico que vai acontecer, rápido.

Demanda por conteúdo irá conduzir câmeras VR para obter melhor e menor e mais barato para atender a demanda. Ele provavelmente não vai ser muitos anos antes de um dispositivo que custa menos do que um telefone novo e cabe na palma da sua mão vai fornecer uma convincente confortável gravação, VR de qualquer coisa - e que vai ser muito, muito legal.

O que você faria com sua própria câmera VR? Que tipo de conteúdo você está mais animado para? Deixe-nos saber nos comentários!