A realidade aumentada para o resgate. O cancelamento do NAB 2022-2023 devido à pandemia COVID-19 causou ondas de choque em toda a indústria de transmissão. Realizada anualmente em Las Vegas, a NAB Show é a maior feira de transmissão com mais de 90.000 participantes de mais de 160 países. A maioria dos 1.600 expositores lança novos produtos e tecnologia e, para muitas grandes empresas, até seis meses de planejamento é feito. Em um período muito curto de tempo, a equipe do Panasonic Pro Video teve que encontrar alternativas para passar sua mensagem enquanto trabalhava remotamente de casa.
Áudio + Vídeo + TI. Nossos editores são especialistas em integração de áudio, vídeo e TI. Receba insights diários, notícias e networking profissional. Assine o Pro AV hoje
Nos dias que antecederam o cancelamento do NAB Show, a equipe Panasonic começou a procurar opções para fazer um evento substituto, incluindo a ideia de construir um estande físico onde os clientes pudessem visitar online. A equipe da Panasonic Pro Video também estava em discussões com Paul Lacombe, CEO da DisruptAR, com sede na Nova Inglaterra, especializada na criação de produções virtuais. Tendo iniciado sua carreira na General Motors após a faculdade, Lacombe tem trabalhado na indústria de produção por 30 anos, começando na Silicon Graphics no final dos anos 80, antes de se aventurar por conta própria para buscar produções virtuais. O DisruptAR está focado em reduzir os custos de produção de AR e VR para o mercado mais amplo.
- Infraestrutura de streaming da Esports Training Factory
- Citizen Cope estreia espaço para concertos seguro para a Covid
- Aprendizado Remoto: Como fazer uma orquestra remota funcionar
- Melhores câmeras PTZ para streaming ao vivo
Em 16 de março, Nova Jersey, onde fica a sede da Panasonic nos Estados Unidos, foi oficialmente bloqueada; em 18 de março, Lacombe programou a primeira demonstração para a equipe Panasonic. O NAB Show 2022-2023 foi cancelado em 20 de março. “
Tivemos que decidir entre as duas opções muito rapidamente ”, revela o gerente de engenharia da Panasonic, Harry Patel. “A primeira opção exigia construir fisicamente um estande, trazendo o produto ao mesmo tempo em que obedecia aos requisitos de distanciamento social (menos de 10 pessoas por vez) e trazendo uma equipe de filmagem. Não era prático e queríamos fazer algo com maior qualidade, embora não pudéssemos sair de casa. Então, finalmente, essa ideia de um evento virtual foi discutida mais detalhadamente e foi aprovada no final de março. ”
Realidade Aumentada e Produção Remota
A produção remota não é um conceito novo. O diretor Francis Ford Coppola dirigiu e editou várias cenas de seu filme de 1982, One From the Heart, de um trailer perto do set. Mas criar uma produção remotamente de casa durante uma pandemia global é outra história. Isso só foi possível usando tecnologia de câmera de última geração, mecanismos de jogos de RV e aplicativos baseados em nuvem.
Para a Panasonic, o primeiro objetivo era criar uma mensagem clara com comunicação verbal e escrita traduzida para um formato de vídeo mais visual. Na NAB, os vendedores normalmente se comunicavam com os clientes no chão da exposição discutindo soluções para os problemas de cada pessoa. O gerente de grupo de marketing Jim Wickizer e a agência P.R., Racepoint Global, conseguiram criar uma mensagem consistente e trabalharam com gerentes de produto individuais para apresentar os pontos de discussão corretos.
Patel e Wickizer também começaram a trabalhar com Lacombe remotamente de seu estúdio doméstico para criar entrevistas em vídeo entre gerentes de produto e uma apresentadora de estúdio, Zoe Laiz, que discutiriam novos produtos e tecnologia. “Todos nós tivemos ambientes de produção desafiadores, mas fazer isso remotamente com esta programação, foi definitivamente um salto de fé”, explica Lacombe. “No meu íntimo, eu sabia que isso poderia funcionar, mas nunca ter feito isso antes era uma preocupação.”
Para gravação remota, cada gerente de produto recebeu um laptop, um microfone Blue Yeti USB e uma Câmera PTZ Profissional Full-HD Panasonic AW-HE42. O HE42 foi conectado via Ethernet e o PTZ Virtual USB Driver e o vídeo foi trazido para o laptop usando OBS para gravar e TeamViewer para controle remoto.
Realidade Aumentada e equipes MS
Para comunicação, compartilhamento de arquivos, visualização de demonstrações e monitoramento remoto de filmagens de produção, a Panasonic empregou o Microsoft Teams, uma plataforma de comunicação e colaboração. Da noite para o dia, plataformas como Teams, Zoom, Ring Central e muitas outras permitem que pessoas e empresas se comuniquem com o mundo exterior com segurança de suas casas.
Para ver o que Lacombe estava capturando no set durante a produção, Patel usou o Teams Screen share criando uma divisão quádrupla usando uma saída switcher AV-UHS500 para uma caixa conversora de SDI para USB. O feed USB era apresentado no Windows como um feed de câmera, que eles compartilhavam por meio do Teams.
Enquanto supervisionava a gravação dos comentários de abertura do vice-presidente sênior, Professional Imaging & Visual Systems John Baisley, por meio de Teams, Patel e Wickizer puderam ver a sala de estar de Baisley ao vivo e fornecer orientação se era um erro de leitura de linha, uma mudança de fundo ou problema de som. Por meio das equipes, Patel também foi capaz de fornecer a direção da tela observando tanto a tela verde quanto as visualizações virtuais do cenário. “Se Zoey estivesse atrás de uma porta e entrasse, poderíamos realmente ver se a foto foi boa ou não”, explica Patel. “Eu diria a Paul por meio das equipes: 'Pode funcionar melhor se ela mudar um pouco da função'. Em termos de colaboração remota, não acho que seria possível sem o uso das equipes.”
“Foi muito legal fazer isso remotamente”, acrescenta Wickizer. “Tínhamos uma pessoa em Boston, Harry e eu estávamos em nossas casas em Nova Jersey e outra pessoa na Costa Oeste. Minha filha desceu ao nosso porão uma vez e perguntou o que eu estava fazendo. ‘Estamos fazendo uma produção remota’, disse a ela. Ela realmente não conseguia acreditar. "
Free-D e o Unreal Engine
Para incorporar cenários de estúdio VR realistas em uma produção ao vivo, é essencial capturar dados precisos de posicionamento da câmera. Antes de apresentar sua primeira demo para a Panasonic, DisruptAR desenvolveu um driver Free-D que permitiria que a câmera PTZ AW-UE150 4K Pro fosse conectada diretamente ao Unreal Engine, o que lhe deu a capacidade de gerar informações de Pan / Tilt / Zoom / Iris via IP (UDP) diretamente da câmera para o sistema de rastreamento do Unreal ao vivo, sem a necessidade de sensores ou codificadores adicionais.
“O Free-D veio da BBC no início dos anos 90 como um protocolo de rastreamento para um de seus sistemas de rastreamento de câmera”, explica Lacombe. “Ele define os seis graus de liberdade - pan, tilt, roll, X, Y, Z, bem como campo de visão, zoom e foco. Esses valores são enviados para o mecanismo de renderização virtual e conectados a uma câmera virtual para que seu plano de fundo responda de acordo em tempo real a 60 quadros por segundo. ”
De acordo com Lacombe, o Unreal Engine foi usado em várias produções - de O Rei Leão a O Mandalorian. “É a tecnologia subjacente usada pela maior parte de Hollywood atualmente”, diz Lacombe. “Eles estão usando como um proxy na maior parte, mas o objetivo é‘ pixel final ’, que é o que você está vendo em tempo real é o que está acontecendo na tela.”
“O Unreal Engine é um motor de jogos que tem sido aplicado em outros mercados, incluindo arquitetura, visualização CAD e, neste caso, broadcast e filme”, diz Lacombe. “Estamos usando isso para chegar ao mais alto nível de fotorrealismo, usando recursos de ferramentas DCC tradicionais como Maya, 3D Studio Max, Blender, usando placas de vídeo NVIDIA a 60 quadros por segundo, dando aos visualizadores a fidelidade de características de lente como florescendo, flares e desfocando. A qualidade de que você precisa para obter fotorrealismo e renderização a 60 quadros por segundo é essencialmente o que o Unreal Engine faz. ”
Criando um mundo virtual … em uma garagem
O estúdio de Lacombe fica em sua garagem convertida que mede apenas 20 x 24 e sua equipe consistia em apenas um assistente. Para a tela verde, ele usou um fundo Pro Cyc Portable. Por causa das limitações de espaço, Laiz podia andar apenas alguns passos, então eles eram limitados em câmeras, tornando o AW-UE150 a ferramenta perfeita para o trabalho. Para iluminar sua tela verde, Lacombe usou painéis de LED de 14 ”. “A ideia é que você realmente queira ter um tom de verde e se livrar de todas as manchas, para que seu keyer possa manter essas sombras”, explica Lacombe. “Você escolhe um verde que deseja codificar e os verdes mais escuros são as sombras sobrepostas em seu cenário virtual.”
Mesmo trabalhando nos pequenos confins de sua garagem, ele teve que iluminar seu talento com a luz motivada de um grande estúdio. Para iluminar Laiz, Lacombe usou dois painéis de LED para sua chave e preenchimento. Ele também usou alguns holofotes de cima para simular uma luz avermelhada vindo das janelas. “Basicamente, estamos tentando combinar essa direção e essa temperatura de cor sem afetar a tela verde”, revela Lacombe. “Isso é um desafio porque você está tentando iluminar o talento separado da tela verde. As portas do celeiro nesses LEDs estavam nos dando mais espaço, mas estávamos lutando para fugir do verde e obter o mínimo de reflexo do verde em suas roupas e pele. ”
No set, Lacombe usava duas câmeras UE150: a câmera 1 ficava do lado esquerdo e a câmera 2 à direita. Quando Zoe se virava para enfrentar um gerente de produto visto em um monitor vertical, ele mudava para a câmera dois no nível dos olhos de Laiz para obter o ponto de vista simulado do gerente de produto. Equilibrar os olhos é um desafio, mas Lacombe diz que poderia enganá-lo um pouco sabendo onde estava sua posição inicial. “Se você tivesse duas câmeras, uma a 90 graus da outra a 2,5 metros de distância e a outra a um metro de distância, você pode medir com uma fita métrica e colocá-las no mundo virtual na mesma posição. Eles vão aderir um ao outro por meio das leis da física de modo que pareçam estar nessa posição exata. E então você pode trapacear um pouco dentro dessas diretrizes. ”
Design de produção com o clique de um botão
Para o design do cenário virtual, Lacombe usou um design modificado que ele estava trabalhando com outro cliente no ano passado. O design foi feito em Maya e exportado para o Unreal. Como o cenário virtual acontece à noite, eles tinham um visual mais sombrio no início, mas depois decidiram torná-lo um pouco mais claro. Ele adicionou o logotipo da Panasonic e retirou elementos que não eram essenciais para o conjunto Panasonic. Ele também adicionou um monitor que sai do chão e Laiz sai de trás dele.
Ao criar seu próprio cenário virtual, de acordo com Lacombe, existem mais ativos 3D disponíveis desde que a visualização arquitetônica online realmente decolou. Você pode ir a uma biblioteca 3D e encontrar ativos ou modelos 3D e construí-los dependendo de quais são seus requisitos de personalização. “É realmente um vai e vem com o cliente”, explica Lacombe. “Você adiciona seus componentes de marketing, marca, todas as cores e materiais. Depois de ter o ativo lá, você pode derrubar paredes com um botão, clicar ou mover coisas, ajustar os monitores, tudo em tempo real. No 'mundo físico', isso levaria uma quantidade considerável de tempo e dinheiro. Depois de ter tudo construído, é fácil ajustar e voltar. ”
Mantendo uma distância segura
A produção virtual evoluiu ao longo das décadas por meio de experiência e refinamento. Embora os papéis de uma produção física e de uma produção virtual sejam essencialmente os mesmos, a maior diferença é que todos estão trabalhando no mesmo espaço físico. Uma vez que a lei de permanência em casa for suspensa, ainda está sendo determinado se a verdadeira produção remota se tornará a norma.
“Há uma razão pela qual você tem alguém olhando para a chave, alguém olhando para o roteiro, alguém olhando para os ângulos da câmera e o guarda-roupa”, diz Lacombe. Todas essas funções ainda precisam ser cumpridas e estamos apenas tentando descobrir a melhor maneira de fazer isso remotamente. Até agora, funcionou incrivelmente bem e estamos todos surpresos como isso aconteceu tão rapidamente e evoluiu de uma forma natural. Embora tivéssemos que usar mais chapéus do que gostaríamos para esta produção, o próximo passo lógico é distribuir ainda mais para ter outros envolvidos para refinar e melhorar o processo. Mas, pela primeira vez, estou muito feliz com os resultados e ansioso para dar o próximo passo. ”
Para assistir ao evento virtual da Panasonic, O futuro da produção de vídeo , clique aqui.
Para obter mais informações sobre o DisruptAR, visite www.disruptar.com.