BBC preserva cem anos de história usando o Amazon S3

A divisão BBC Archives Technology and Services é responsável pelos arquivos centenários da BBC, que contam com 16 milhões de ativos coletados ao longo da existência da emissora de rádio e televisão, compreendendo desde filmes históricos até mídias digitais modernas. A equipe se concentra em três objetivos: unificar todo o conteúdo disponibilizado pelos arquivos, tornar os arquivos mais acessíveis por meio da digitalização e preservar a mídia com soluções modernas. “Desejamos obter uma estratégia orientada para o futuro, com ferramentas como o armazenamento flexível e a computação que facilitem o uso de machine learning”, afirma Brendan Mallon, diretor do departamento de produtos e serviços da divisão BBC Archives Technology and Services. “Nosso objetivo é preservar o conteúdo dos arquivos, garantindo que ele permaneça acessível por mais cem anos.”

Os dados da emissora estavam segmentados em repositórios específicos para cada gênero, como notícias, esportes, rádio e programas. A empresa desejava padronizar a cadeia de suprimentos e os fluxos de trabalho para desenvolver um plano sustentável e centralizado de arquivamento. Ela estava usando a infraestrutura on-premises com sucesso, entretanto, em 2017, percebeu a necessidade de reduzir a complexidade dos sistemas. A agregação de conteúdo era um processo excessivamente trabalhoso devido aos conjuntos de dados dispersos existentes. Dessa forma, a equipe iniciou uma missão de cinco anos para consolidar suas diversas camadas de aplicações de armazenamento e tornar o processo mais sustentável.

Como a BBC já usava a AWS para executar o sistema de processamento de seus ativos de mídia há anos, a migração para uma solução da AWS foi um passo lógico para contribuir com a estratégia de preservação de longo prazo. “Desejávamos obter uma abordagem consistente para extrair valor de conjuntos de dados inconsistentes, criar um catálogo único e confiável que se alinhasse à mídia, e gerar valor para nosso público”, afirma Mallon. “Ao usar a AWS, é possível padronizar o armazenamento de todo o nosso conteúdo.”

Devido à dimensão dos dados arquivados, a migração de redes revelou-se a opção mais eficiente para a automação. Para concluir a migração do conteúdo, a BBC usou a infraestrutura existente com suporte do AWS Direct Connect, um serviço em nuvem que auxilia os usuários na criação de uma conexão de rede dedicada à AWS para transferências de dados ágeis e confiáveis em grande escala, seja para análises praticamente em tempo real, backups de dados com rapidez ou processamento de mídia de transmissão. Em novembro de 2022, depois de aproximadamente 12 meses de planejamento e consultoria com a Cloudfirst.io (Cloudfirst), uma parceira da AWS, a migração foi iniciada.

No auge do processo, a equipe realizou a migração de 120 TB de dados por dia, usando o AWS Direct Connect para transferir volumes consideráveis de conteúdo para a AWS. Em um prazo de dez meses, a equipe transferiu 25 PB de dados para a nuvem. Com isso, foi possível descontinuar um dos repositórios de mídia legados baseados em fita e desenvolver uma abstração de próxima geração entre os sistemas de gerenciamento de ativos de mídia e o armazenamento em nuvem pública. “Conseguimos descontinuar metade da infraestrutura física do arquivo”, afirma Mark Glanville, arquiteto técnico sênior da divisão BBC Archives Technology and Services. “Essa medida libera uma quantidade significativa de espaço técnico e de capacidade energética em uma propriedade imobiliária de alto valor na região central de Londres.”

A BBC realizou a migração da maior parte de seus dados para a classe de armazenamento Amazon S3 Glacier Instant Retrieval. A solução forneceu o tipo ideal de armazenamento flexível para os tipos de dados armazenados nos arquivos da BBC. Como a equipe já usava a AWS para a execução do sistema de processamento de ativos de mídia, que armazenava aproximadamente 3 PB de dados, ela tinha experiência com as soluções do Amazon S3. “Colaboramos com a equipe da AWS para selecionar a classe de armazenamento mais adequada para a maior parte do nosso conteúdo”, afirma Glanville. “Com o uso da classe de armazenamento Amazon S3 Glacier Instant Retrieval, podemos nos beneficiar da recuperação rápida dos arquivos e, ao mesmo tempo, manter a flexibilidade nos custos”.

A equipe usa uma combinação da Amazon S3 Glacier Instant Retrieval e da Amazon S3 Intelligent-Tiering, uma classe de armazenamento na nuvem que fornece economia automática de custos de armazenamento, sem impactar a performance ou gerar sobrecarga operacional. A BBC pode escolher entre essas duas opções de armazenamento, conforme o nível de acesso esperado, sem comprometer a performance.

“Ao usar as classes de armazenamento Amazon S3 Glacier Instant Retrieval e Amazon S3 Intelligent-Tiering, obtivemos modelos de preços semelhantes aos de arquivamento para conteúdos que antes estavam em armazenamento de acesso mais rápido”, afirma Tom Cartwright, gerente executivo de produtos da BBC. “Isso é extremamente valioso, pois nos permite decidir com antecedência, em um projeto, o local em que nossos dados estarão armazenados.”