Cinco perguntas sobre “hololens projeto” da microsoft

Quarta-feira, a Microsoft exibiu um projeto que venho trabalhando há sete anos, um headset de realidade aumentada chamado HoloLens projeto

A visão é ambiciosa: eles querem mudar fundamentalmente a maneira como as pessoas interagem com computadores, através da construção de um par de óculos que podem fluidamente misturar conteúdo virtual e real juntos no espaço físico do usuário. Isto é como tecnologia de realidade virtual, mas, fundamentalmente, mais poderoso. Além disso, eles querem fazer todo o processamento localmente nos copos - sem computador, sem telefone, sem cabos. Eles estão mesmo lançando uma versão especial do Windows apenas para o novo hardware. Este é o próximo estágio na evolução tecnológica para todos aqueles jogos AR você instalou no seu telefone que uma vez e não ter tocado desde então.Por que a tecnologia de realidade virtual vai explodir sua mente em 5 anosPor que a tecnologia de realidade virtual vai explodir sua mente em 5 anosO futuro da realidade virtual inclui a cabeça, olho e rastreamento de expressão, toque simulado, e muito mais. Estas tecnologias surpreendentes estarão disponíveis para você em 5 anos ou menos.consulte Mais informação

Seu tempo é ainda mais ambicioso do que os seus objetivos: eles querem enviar kits de desenvolvimento nesta primavera, e o produto de consumo “durante o período de tempo Windows 10”. Aqui está o campo.

Tudo isso soa muito bem, mas eu admito a um grau bastante elevado de ceticismo.

As tecnologias Microsoft está usando têm sérios desafios, fundamentais, e até agora a Microsoft tem sido muito silêncio sobre como (ou se) eles já resolveu-los. Se eles não resolveram eles, então seu objetivo de transporte dentro de um ano é muito relativo. A última coisa VR e AR necessidade é uma grande companhia de navegação outro produto meia-boca como o Kinect. Lembre-se a demo Project Natal a partir de 2009?

Sem mais delongas, aqui estão as cinco coisas mais importantes que eu gostaria de saber sobre os HoloLens.

Esta é uma exibição Light Field?

A fim de compreender este, nós temos que olhar um pouco mais profundo em 3D, e como ele funciona. A fim de obter a sensação de um mundo 3D real, tangível, nossos cérebros integrar um monte de diferentes tipos de informação. Recebemos sugestões de profundidade sobre o mundo em três formas principais:

• profundidade Stereo - a disparidade entre o que ambos os nossos olhos vêem. Fingindo isto é como os filmes 3D funcionam
• paralaxe de movimento - movimentos sutis da nossa cabeça e tronco dar-nos sugestões de profundidade adicionais para objetos que estão mais longe
• foco óptico - quando nos concentramos em algo, as lentes dos nossos olhos deformar fisicamente até que entre em focagem de campo próximo objetos exigem mais distorção da lente, que fornece informações detalhadas sobre o que nós estamos olhando para

foco óptico é fácil de verificar por si mesmo: feche um olho e mantenha o polegar para cima em frente de uma parede do outro lado da sala. Em seguida, mudar seu foco de sua miniatura para a superfície por trás dele. Ao olhar passado o polegar, o polegar irá deslocar fora de foco porque a lente do olho é agora menos deformado e não pode cobrar corretamente a luz que vem dela.

headsets VR como o Oculus Rift fornecer as primeiras duas pistas com extrema precisão, mas não a última, que funciona surpreendentemente bem: nossos olhos padrão para relaxar completamente, desde a ótica focar as imagens como através da luz vinham de infinitamente distante. A falta do taco foco óptico é irrealista, mas geralmente não é perturbador. Você ainda pode ter experiências muito interessantes de jogos sem ele.5 Oculus Rift Gaming experiências que irão acabar com você5 Oculus Rift Gaming experiências que irão acabar com vocêAgora que a segunda geração do kit de desenvolvimento de Oculus Rift está fora e nas mãos de desenvolvedores em todo o mundo, vamos olhar para algumas das melhores coisas que é atingido o Rift até agora.consulte Mais informação

Na realidade aumentada, o problema é diferente, porque você tem que misturar luz de objetos reais e virtuais. A luz do mundo real irá, naturalmente, ser focada em uma variedade de profundidades. O conteúdo virtual, no entanto, vai ser tudo ser focada em uma distância fixa, artificial ditada pela ótica - provavelmente no infinito. objetos virtuais não vai olhar como eles são realmente parte da cena. Eles vão estar fora de foco quando você olha para as coisas reais na mesma profundidade e vice-versa. Não será possível mover seu olho com fluidez em toda a cena, mantendo-o em foco, como você faz normalmente. As sugestões de profundidade conflitantes vai ser confuso na melhor das hipóteses, e nauseante, na pior.

Para corrigir isso, você precisa de algo chamado de exibição do campo de luz. campo exibe luz são monitores que utilizem um conjunto de pequenas lentes para exibir luz focada em muitos profundezas simultaneamente. Isso permite que o usuário se concentrar naturalmente no visor, e (para realidade aumentada) resolve o problema descrito acima.

Há, no entanto, um problema: campo exibe luz essencialmente mapear uma tela 2D única em um campo de luz tridimensional, o que significa que cada “pixel de profundidade” que o usuário percebe (e existe a uma profundidade focal particular na cena) é na verdade composta de luz de muitos pixels no display original. O mais refinado a profundidade que pretende retratar, mais resolução que você tem que desistir.

Geralmente, campos de luz tem cerca de uma óctuplo diminuição resolução, a fim de dar precisão a profundidade adequada. Os melhores microdisplays disponíveis têm uma resolução de cerca de 1080p. Assumindo um microvisor high-end dirigindo cada olho, que faria a resolução real de fone de ouvido da Microsoft apenas cerca de 500 x 500 pixels por olho, menos ainda do que a Oculus Rift DK1. Se o ecrã tem um alto campo de visão, objetos virtuais será blobs incompreensíveis de pixels. Se isso não acontecer, a imersão sofrerá proporcionalmente. Nós nunca realmente começar a ver através da lente (apenas computador recriações de que o usuário está vendo), por isso não temos idéia do que a experiência do usuário é realmente gosta.

É possível que a Microsoft veio acima com alguma nova solução para este problema, para permitir o uso de uma tela de campo de luz sem a troca resolução. No entanto, a Microsoft tem sido extremamente cauteloso sobre a sua tecnologia de display, o que me faz suspeitar que eles não têm. Aqui é a melhor explicação que tenho até agora (a partir do WIRED demo).

Para criar imagens de Projeto HoloLens, partículas de luz saltitando milhões de vezes no chamado motor de luz do dispositivo. Em seguida, os fótons entram duas lentes dos óculos, onde eles ricocheteiam entre camadas de vidro azul, verde e vermelho antes que eles atinjam a parte de trás do olho.

Este tipo de descrição da tecnologia poderia significar praticamente qualquer coisa (embora, para ser justo com a Microsoft, o hardware se impressionar WIRED, embora o artigo era luz sobre detalhes).

Não vamos saber mais ao certo até que a Microsoft começa a liberar especificações técnicas, provavelmente meses a partir de agora. Em uma outra nota de nit picking, é realmente necessário para afogar o projeto em tanto de marketing-falar? O processador dedicado que eles estão usando para rastreamento de cabeça é chamado de “processador holográfica” e as imagens são chamados de “hologramas”, por nenhuma razão em particular. O produto é fundamentalmente legal suficiente para que ele não é realmente necessário para dourar-lo como este.

É o rastreamento Good Enough?

O fone de ouvido Projeto HoloLens tem uma câmera de alta profundidade FOV montada sobre ele (como o Kinect), que ele usa para descobrir onde o fone de ouvido está no espaço (por tentar alinhar a imagem profundidade que ela está vendo com seu modelo do mundo, composta a partir de imagens de profundidade passados). Aqui está sua demonstração ao vivo do fone de ouvido em ação.

O monitoramento é impressionante, considerando que ele não usa marcadores ou outras fraudes, mas mesmo em que o vídeo (em condições fortemente controlados), você pode ver uma certa quantidade de oscilação: o rastreamento não é completamente estável. Isso é de se esperar: este tipo de rastreamento de dentro para fora é extremamente difícil.

No entanto, a grande lição do vários protótipos Oculus Rift é que a precisão de rastreamento importa muito. rastreamento Jittery é apenas irritante quando é alguns objetos em um mundo real em grande parte estável, mas em cenas como a demo Mars eles mostraram em seu vídeo conceito, onde quase tudo o que você está vendo é virtual, monitoramento imprecisa poderia levar a uma falta de “ presença”na cena virtual, ou mesmo doença simulador. Pode Microsoft obter o rastreamento até o padrão estabelecido pelo Oculus (precisão de rastreamento sub-milimétricas e menos de 20 ms de latência total) pela sua data de envio no final deste ano?Veja-nos Tente O Oculus Rift Crescent Bay Na CES 2015Veja-nos Tente O Oculus Rift Crescent Bay Na CES 2015O Oculus Rift Crescent Bay é um protótipo novo que mostra algumas melhorias excitantes na tecnologia de realidade virtual. Nós testá-lo na CES 2015.consulte Mais informação

Aqui é Michael Abrash, pesquisador VR que trabalhou tanto para Válvula e Oculus, falando sobre o problema

[Porque há sempre um atraso na geração de imagens virtuais, [...] é muito difícil obter imagens virtuais e reais para registar de perto o suficiente para que o olho não percebe. Por exemplo, suponha que você tenha uma verdadeira lata de Coca-Cola que você deseja transformar em uma lata de Pepsi AR pelo desenho de um logotipo da Pepsi sobre o logotipo Coca-Cola. Se demorar dezenas de milissegundos para redesenhar o logotipo da Pepsi, cada vez que você girar sua cabeça o efeito será que o logotipo da Pepsi aparecerá para mudar alguns graus em relação à lata, e parte do logotipo da Coca-Cola vai se tornar visible- então o Pepsi logotipo vai pular de volta ao lugar certo quando você parar de se mover. Este não é claramente bom o suficiente para AR duro

Pode Display Desenhe Black?

Outra questão juntamente com profundidade focal e rastreamento tem a ver com o desenho de cores escuras. Adicionando mais luz para uma cena é relativamente simples, utilizando divisores de feixe. Tomando luz para fora é muito mais difícil. Como você escurecer seletivamente partes do mundo real? Colocando-se uma tela de LCD seletivamente transparente não vai cortá-la, já que não pode estar sempre no foco correto para bloquear o que você está olhando. As ferramentas ópticas para resolver este problema, a menos que a Microsoft inventou-los secretamente, simplesmente não existem.

Isto é importante, porque para muitas das aplicações Microsoft está mostrando fora (como assistir a Netflix em sua parede), o fone de ouvido realmente precisa a capacidade de remover a luz que vem da parede, ou então o seu filme sempre terá um padrão de estuque visível sobreposto com ele: vai ser impossível para imagens para bloquear objetos reais na cena, fazendo com que o uso do fone de ouvido fortemente dependente das condições de iluminação do ambiente. Voltar para Michael Abrash:

[S] o agora nada do tipo veio à tona na indústria de AR ou na literatura, e, a menos e até que ele faz, AR duro, no sentido de SF que todos nós conhecemos e amamos, não pode acontecer, exceto em quase escuridão.

Isso não significa AR está fora da mesa, só que por um tempo ainda vai ser AR macio, com base no aditivo de mistura [...] Novamente, pense translúcido como “Ghostbusters”. Imagens virtuais de alta intensidade sem áreas escuras também funcionam, especialmente com a ajuda de escurecimento regional ou global - eles simplesmente não vai olhar como parte do mundo real.

What About Oclusão?

“Oclusão” é o termo para o que acontece quando um objeto passa na frente de outro e você pára de ver o que está por trás dele. Para que o cenário virtual para sentir como uma parte tangível do mundo, é importante para objetos reais para ocluir objetos virtuais: se você segurar a sua mão na frente de um pedaço do imaginário virtual, você não deve ser capaz de vê-lo através sua mão. Por causa do uso de uma câmera de profundidade no fone de ouvido, este é realmente possível. Mas, assistir a demonstração ao vivo de novo:

Em geral, eles controlam cuidadosamente os ângulos de câmera para evitar objetos reais passando em frente dos virtuais. No entanto, quando o demonstrador interage com o menu do Windows, você pode ver que a mão não ocluir-lo em tudo. Se isso está além do alcance da sua tecnologia, que é um sinal muito ruim para a viabilidade de seu produto de consumo.

E falando nisso UI ...

É este realmente a interface do usuário final?

A UI mostrado fora pela Microsoft em seus vídeos de demonstração parece funcionar usando uma combinação de olhar e mão de monitoramento para controlar um cursor na cena virtual, ao usar controles de voz para selecionar entre diferentes opções. Isto tem dois grandes inconvenientes: ela faz você olhar como a criança na Brilhante que fala com o dedo, mas o mais importante, ele também representa um paradigma de design fundamentalmente falho.

Historicamente, as melhores interfaces de usuário ter sido os que trazem intuições físicas sobre o mundo para o mundo virtual. O mouse trouxe clicar, arrastar, e janelas. interface de toque trouxe furto para rolar e beliscar para ampliar. Ambos foram fundamentais para tornar os computadores mais acessível e útil para a população em geral - porque eles eram fundamentalmente mais intuitivo do que o que veio antes.

VR e AR dar-lhe muito mais liberdade como um designer: você pode colocar elementos de interface do usuário em qualquer lugar em um espaço 3D, e ter os usuários interagem com eles, naturalmente, como se fossem objetos físicos. Um grande número de metáforas óbvias sugerem-se. Toque em um elemento da interface do usuário virtual para selecioná-lo. Beliscar a ele buscá-lo e movê-lo. Deslize-o para fora do caminho para armazená-lo temporariamente. Esmagá-lo para excluí-lo. Você pode imaginar a construção de uma interface de usuário que é tão absolutamente intuitiva que não exige nenhuma explicação. Algo que sua avó pode imediatamente pegar, porque é construído sobre uma base de intuições físicas básicas que todos se acumula ao longo de uma vida de interagir com o mundo. Tome um minuto, e ouvir esta pessoa inteligente descrever quais interfaces imersivas poderia ser.

Em outras palavras, parece óbvio (para mim) que uma interface de usuário mais aprofundada deve ser finalmente tão intuitivo como as interfaces de toque pioneiro o iPhone para telas multitoque 2D. Construir uma interface em torno da manipulação de um “mouse” VR é um passo para trás, e expõe tanto deficiências tecnológicas profundas na sua tecnologia de rastreamento de mão ou um mal-entendido fundamental do que é interessante sobre este novo meio. De qualquer maneira, é um sinal muito ruim para este produto ser mais do que um colossal, falhanço de Kinect escala.

Felizmente, a Microsoft tem tempo para obter feedback sobre isso e fazer um trabalho melhor. Como exemplo, aqui está uma interface projetada por um amador para o Oculus Rift DK2 eo Leap Motion. Uma interface imersiva concebido por uma grande empresa deve ser pelo menos tão bom.

Um sinal do que está para vir

No geral, estou extremamente cético em relação ao Projeto HoloLens como um todo. Estou muito contente que uma empresa com recursos da Microsoft está a investigar este problema, mas eu estou preocupado que eles estão tentando apressar um produto sem resolver alguns problemas técnicos subjacentes críticos, ou pregar para baixo um bom paradigma UI. O HoloLens é um sinal das coisas por vir, mas isso não significa que o produto em si vai fornecer uma boa experiência para os consumidores.