O cenário dos codecs está mudando, com seis novos codecs chegando ao final de 2022-2023. No início de 2022-2023, a maioria dos produtores de streaming de vídeo codificava exclusivamente com o codec H.264, que estreou em 2003. Alguns editores maiores como Netflix, Amazon, YouTube e o Facebook, também implantaram o sucessor baseado em padrões do H.264, o codec HEVC e / ou o codec VP9 do Google. Vários produtores experimentaram o codec AV1 da Alliance for Open Media. Além desses quatro codecs existentes, em 2022-2023, a MPEG lançará três novos codecs, Versatile Video Coding (VVC), Essential Video Coding (EVC) e Low Complexity Enhancement Video Coding (LCEVC).
Com seis novos codecs a serem considerados até o final de 2022-2023, vale a pena revisar os fatores que contribuem para a adoção bem-sucedida de um codec. Neste artigo, vou revisar esses fatores usando H.264 e HEVC e criar uma estrutura de análise que usarei em artigos futuros para impedir o sucesso potencial do AV1 e dos três novos codecs MPEG.
Observe que escreverei principalmente a partir da perspectiva do editor; não da perspectiva do reprodutor ou fornecedor do codificador.
- Compreender as soluções de streaming de baixa latência
- Melhores câmeras PTZ, captura e dispositivos de streaming
1. Qual é a eficiência comparativa do codec?
A função mais essencial de um codec é reduzir o tamanho do stream necessário para entregar o vídeo aos nossos espectadores. Em muitos casos, a eficiência é medida em relação ao H.264. Você vê isso na Figura 1, do relatório de comparação de HEVC de 2015 da Moscow State University (MSU). A título de explicação, a MSU sempre apresenta seus dados usando x264, um dos vários codecs H.264, com qualidade 100%. Em seguida, para cada outro codec, ele mostra a redução percentual ou aumento na taxa de dados necessária para produzir a mesma qualidade de x264.
Por exemplo, no gráfico, o codec x265 pode oferecer a mesma qualidade que x264 a 74% da taxa de bits ou uma economia de aproximadamente 26%. O codec VP9 não fica muito atrás, com 77%, ou uma economia de cerca de 23% em relação ao x264.
Essa economia representa um benefício monetário principal fornecido pelos codecs mais recentes. Implementar o x265 em 2015 teria cortado os custos de largura de banda para entrega de vídeo de qualidade igual para jogadores com capacidade HEVC em 26%. VP9 teria cortado os custos de largura de banda em 23%.
Pense na adaptação do codec como uma análise do ponto de equilíbrio. Existem duas fontes de entrada; economia para entrega aos clientes existentes, que acabamos de cobrir, e receita adicional para clientes em novos mercados, que abordarei na próxima seção. Existem vários custos associados às implementações de codec. Você fornecerá vídeo codificado em H.264 em um futuro próximo, portanto, os custos de codificação e armazenamento para os novos codecs são aditivos. Você também terá que atualizar seu player e realizar alguns testes e controle de qualidade.
A economia de largura de banda obviamente está relacionada ao número de espectadores para cada vídeo. Aqui está um exemplo simples. Suponha que custar $ 20,00 para codificar para uma escada de codificação HEVC e que você economizou $ 0,01 em custos de largura de banda por visualizador. Depois que 2.000 espectadores assistem ao vídeo, você compensa esse custo. Se 2 milhões de espectadores assistem ao vídeo, você economiza $ 20.000 em custos de largura de banda. É por isso que é mais fácil para grandes empresas como Netflix, YouTube, Amazon e Facebook implantar novos códigos.
Independentemente do tamanho, quando a economia ou a nova receita associada ao novo codec excede os custos de implementação e outros, faz sentido financeiro implantar um novo codec. Obviamente, quanto maior a eficiência de compressão sobre a solução existente, maior será a economia de largura de banda.
Tudo isso à parte, a grande maioria das novas implantações de codecs não visa colher economias de largura de banda ou outras eficiências de entrega. Apenas editores da ponta da pirâmide, como Netflix, Facebook e YouTube, implantaram o VP9, apesar de atualmente ser cerca de 35-40% mais eficiente do que o x264. Em vez disso, os editores normalmente adotam novos codecs como HEVC porque abre mercados para novos clientes.
Isso leva à próxima pergunta.
PRO NEWSLETTERÁudio + Vídeo + TI. Nossos editores são especialistas em integração de áudio / vídeo e TI. Receba insights diários, notícias e networking profissional. Assine o Pro AV hoje.
2. Quais novos mercados ou plataformas o codec possibilita?
Quando a Adobe adicionou a reprodução H.264 ao Flash em 2007, o H.264 era apenas cerca de 15% mais eficiente do que o codec VP6, que era o codec Flash mais usado antes do H.264. Apesar dessas economias escassas, por que a maioria dos editores fez a conversão para o H.264 de forma rápida e completa? Porque enquanto o VP6 não reproduz em iPods, iPhones ou outros dispositivos móveis, o H.264 sim. Com o H.264 em Flash e o codec predominante em dispositivos móveis, os editores poderiam abandonar o VP6 e alcançar dois mercados com um único codec, um acéfalo total.
Da mesma forma, a maioria dos editores implantou HEVC para fornecer vídeos de 4K e / ou de alta faixa dinâmica (HDR) para smart TVs, decodificadores e dispositivos OTT. Por exemplo, em seu Relatório de formato de mídia global de 2022-2023, que relatou sua produção em 2022-2023, encoding.com relatou que "prevemos um aumento muito significativo no volume em 2022-2023 impulsionado por conteúdo UHD HDR, já que os padrões HDR premium Dolby Vision e HDR + mapeiam o formato de vídeo HEVC. ” Infelizmente, encoding.com não atualizou esse relatório para os resultados de 2022-2023.
Da mesma forma, finalmente, a Apple começou a suportar VP9 ou AV1 em seus dispositivos 4K AppleTV para que seus telespectadores pudessem assistir a vídeos 4K no YouTube. Isso pressagia a importância que os fornecedores da Alliance for Open Media como Facebook, Netflix, YouTube e Amazon terão na adoção do AV1.
O resultado final é que, se o codec não permitir nenhum novo mercado, a economia de largura de banda será o único benefício. Conforme afirmado, por qualquer motivo, fora dos maiores editores de vídeo, poucos outros encontraram essa economia motivação suficiente para implantar novos codecs.
3. Como está o tempo de codificação?
Já falamos sobre a análise do ponto de equilíbrio. Eu faço essa pergunta porque o tempo de codificação se traduz diretamente em custo de codificação e, quanto mais alto o custo, mais difícil é atingir o ponto de equilíbrio.
Por exemplo, o AWS Elemental MediaConvert cobra US $ 0,024 por minuto pela codificação H.264, US $ 0,048 por minuto pela codificação HEVC e US $ 0,864 por minuto pela codificação AV1. Felizmente, os tempos de codificação AV1 caíram significativamente nos últimos meses e tenho certeza de que o preço do Elemental seguirá. Ainda assim, quando os tempos de codificação são tão glaciais quanto os AV1s costumavam ser, você precisa de milhões de visualizações para acumular a economia de largura de banda necessária para atingir o ponto de equilíbrio.
4. Pode ser implementado em software em plataformas relevantes?
Esta pergunta fala sobre a rapidez com que um codec pode ser implementado em plataformas relevantes para o seu serviço. Em 2007, quando a Adobe adicionou H.264 ao Flash, a reprodução era quase universal em todos os computadores e dispositivos móveis. Em contraste, com HEVC, o suporte de hardware em dispositivos móveis era necessário para reprodução com eficiência de bateria, e hardware de decodificação HEVC dedicado era necessário na maioria das TVs inteligentes, decodificadores e dispositivos OTT.
Com o tempo, mais e mais dispositivos começaram a oferecer suporte a HEVC e agora é quase onipresente nos produtos da geração atual, com VP9 apenas ligeiramente atrás. Mas os novos codecs que requerem hardware para uma reprodução eficiente estão começando do zero.
Como regra geral, leva cerca de dois anos para que apareçam os primeiros dispositivos de consumo com suporte de hardware. Como exemplo, a especificação AV1 foi finalizada em meados de 2022-2023, e as primeiras TVs inteligentes com suporte a AV1 foram enviadas em meados de 2022-2023. Obviamente, não importa o quão eficiente um codec seja quando lançado; ele só se torna relevante quando a reprodução está disponível em um número substancial de plataformas para as quais você entrega.
O que nos leva à próxima pergunta.
5. A Alliance for Open Media oferece suporte ao codec?
Embora leve dois anos para o suporte de hardware, se os requisitos de reprodução forem modestos, a reprodução em um navegador ou sistema operacional móvel pode levar algumas semanas. No entanto, os membros da Alliance for Open Media Microsoft, Google, Mozilla e Apple controlam a maioria dos navegadores e sistemas operacionais e os formatos que eles suportam. É por isso que sete anos completos após seu lançamento, HEVC só é compatível com 16,99% de todos os navegadores e sistemas operacionais móveis acompanhados por www.caniuse.com (Figura 2).
O número comparável para AV1, que foi lançado cinco anos depois? 36,56%. E o VP9, que foi lançado na mesma época do HEVC? 94,52%.
Se um número substancial de seus espectadores assistir em navegadores e dispositivos móveis, o suporte da plataforma faz uma grande diferença na economia. Isso é particularmente verdadeiro porque o suporte de software pode ser obtido muito rapidamente.
Neste ponto, parece improvável que os membros AOM suportem qualquer codec MPEG, seja HEVC, VVC, EVC ou LCEVC. Assim, onde codecs baseados em padrões como H.264 e MPEG-2 já tiveram a vantagem, codecs MPEG agora estão em desvantagem nos mercados tradicionais de computadores e móveis.
6. O codec é um padrão MPEG?
O Motion Pictures Experts Group, ou MPEG, criou e promoveu vários codecs de áudio e vídeo que ajudaram na transição do vídeo analógico para o digital. Em um ponto, os padrões MPEG como MPEG-2 e H.264 tinham caminhos muito mais claros para o sucesso do que codecs proprietários como VP9. Hoje, essa dinâmica mudou, então, embora o processo de padronização forneça credibilidade a certas tecnologias, não é uma garantia de sucesso?
O que mudou? Quase tudo. Quando o H.264 foi lançado em 2003, o broadcast era o rei, e o streaming não era o rabo do cachorro, era uma unha. Agora, o streaming é claramente o problema, e a transmissão é a cauda, e as empresas que controlam a implantação de codecs em navegadores e sistemas operacionais móveis e empresas de conteúdo como Netflix e YouTube têm uma influência incrível na implantação de codecs.
Como falarei sobre mais no momento, com MPEG-2 e H.264, havia uma política de royalties clara e coesa, que saiu pela janela com HEVC, que tem três pools de patentes. Dois dos pools publicaram taxas e os limites anuais saltam de cerca de US $ 10 milhões para H.264 para mais de US $ 60 milhões para HEVC. O outro pool não publica suas taxas e, mais de sete anos após o lançamento do HEVC, ainda não declarou se vai cobrar royalties sobre o conteúdo.
Cientes do ciclo de desenvolvimento de dois anos para implantações de codec, muitas empresas de hardware decidiram implantar H.264 e HEVC antes que a política de royalties estivesse clara. Após o HEVC, grandes empresas como Apple e Samsung podem atrasar a adoção da tecnologia até que a imagem dos royalties seja mais clara, o que pode adicionar mais 24 meses ao ciclo de adoção.
Finalmente, da perspectiva do codec de vídeo, o MPEG contratou um ciclo de cerca de dez anos entre MPEG-2, H.264 e HEVC, a um ciclo de sete anos para três codecs de vídeo adicionais a serem finalizados em 2022-2023. Certamente, cada um o codec oferece uma gama diferente de recursos, desempenho e outras características, e é improvável que todos tenham a mesma adoção comercial.
7. Qual é o modelo de propriedade e monetização de tecnologia?
A maioria dos codecs é o resultado de uma colaboração entre várias partes. Com alguns codecs, isso resulta em um ou mais pools de patentes para permitir que as empresas recuperem os custos de seus investimentos em P&D. Em contraste, o VP9 foi desenvolvido exclusivamente pelo Google, enquanto o AV1 foi desenvolvido pela Alliance for Open Media empresas, que contribuíram com suas patentes para a AOM sem royalties.
No entanto, só porque uma empresa ou organização afirma possuir todos os direitos de uma tecnologia não significa que seja assim. Embora o Google afirme que o VP9 é de código aberto, assim como a Alliance for Open Media for AV1, o administrador do pool de patentes Sisvel lançou pools de patentes para VP9 e AV1, afirmando que esses codecs utilizam invenções cobertas por proprietários de patentes em seus pools (observe que o autor consulta a Sisvel sobre essas piscinas).
Claro, tanto H.264 quanto HEVC carregam royalties para codificadores e decodificadores e alguns tipos de conteúdo, então a mera existência de um royalty não condena uma tecnologia. Em vez disso, os licenciadores em potencial se preocupam com a coesão desse grupo, a clareza de seus termos de licenciamento e a rapidez com que estão disponíveis.
8. Como está definida a estrutura de royalties?
Em 2017, Jonathan Samuelsson, CEO da desenvolvedora de codecs Divideon, criou o gráfico mostrado na Figura 3, que se tornou o garoto-propaganda da disfuncionalidade representada pelos proprietários de patentes relacionadas ao HEVC. Você vê os três pools e várias empresas adicionais, algumas muito significativas, que não estão em nenhum pool. Observe que este é o gráfico original projetado por Samuelsson; a imagem da propriedade mudou um pouco desde então.
Claramente, se você for um licenciador em potencial, você prefere um único pool que inclua todos os contribuidores de tecnologia conhecidos, o que realmente pode acontecer para EVC e LCEVC. Dito isso, a maioria dos principais padrões tem mais de um pool; o que os licenciantes desejam é uma estrutura oportuna e conhecida para todos os principais contribuintes. Significativamente, embora o padrão VVC tenha sido finalizado em julho de 2022-2023, é improvável que os termos de licenciamento sejam conhecidos até meados de 2022-2023. Se eles se parecerem com o que você vê na Figura 3, o VVC pode nunca sair do chão.
9. Existe um royalty de conteúdo?
Se você é um editor de streaming, as perguntas 4 a 8 determinam a rapidez com que um codec pode ser adotado por desenvolvedores de hardware e software, o que controla a rapidez com que você pode começar a usar o codec para entregar aos seus visualizadores. Esta questão determina quanto custará para você, como editor de streaming, implantar conteúdo com esse codec.
Novamente, royalties de conteúdo não são inéditos e não condenam um codec ao fracasso; ambos HEVC e H.264 têm alguns royalties de conteúdo. Obviamente, no entanto, esses custos precisam ser inseridos no modelo de equilíbrio para determinar quando e se faz sentido econômico implantar o novo codec.
Olhando para trás e para a frente
Olhando para trás, é fácil ver por que o H.264 foi (é) um sucesso: ele ofereceu uma economia modesta de largura de banda, mas foi reproduzido em computadores imediatamente graças ao Flash, e ofereceu a entrada em um novo mercado (móvel). O licenciamento era controlado por um único pool de patentes que detinha a maioria das patentes associadas e, embora a reprodução de hardware fosse necessária para reprodução de H.264 em dispositivos móveis, o suporte a hardware era quase universal no início e logo se tornou onipresente.
Em contraste, HEVC estreou com uma estrutura de licenciamento muito desconexa que desencorajou a adoção de tecnologia. Embora o suporte HEVC seja quase universal em dispositivos móveis, Smart TVs e as últimas gerações de dispositivos OTT, a falta de suporte do navegador reduz o retorno geral do investimento, enquanto a falta de clareza sobre royalties de conteúdo é uma grande preocupação para muitos editores. Como resultado, o HEVC foi implementado principalmente por editores que distribuem vídeos em 4K e HDR para a sala de estar.