La BBC conserva cien años de historia gracias a Amazon S3

BBC Archives Technology and Services se encarga de custodiar los archivos de la BBC, de cien años de antigüedad, con dieciséis millones de activos recopilados a lo largo de la existencia de la emisora, desde películas históricas hasta medios digitales modernos. El equipo se centra en tres objetivos: unificar todo el contenido de entrega de los archivos, hacer que los archivos sean más accesibles mediante la digitalización y conservar los contenidos con soluciones modernas. «Queremos tener una estrategia con visión de futuro, con herramientas como el almacenamiento y la computación flexibles que faciliten el uso del machine learning», explica Brendan Mallon, director de Productos y Servicios de BBC Archives Technology and Services. «Nuestro objetivo es proteger el contenido de los archivos para que esté accesible durante otros cien años».

Los datos de la emisora se dividieron en repositorios de género separados para noticias, deportes, radio y programas. Quería estandarizar su cadena de suministro y sus flujos de trabajo para desarrollar un plan de archivado sostenible y centralizado. Había estado utilizando con éxito la infraestructura local, pero en 2017 detectó la necesidad de reducir la complejidad de sus sistemas. La agregación de contenido era innecesariamente onerosa debido a los conjuntos de datos dispares existentes. Por lo tanto, el equipo se embarcó en una misión de cinco años para consolidar sus diversas capas de aplicaciones de almacenamiento y ser más sostenible.

Como la BBC llevaba años ejecutando su sistema de procesamiento de activos multimedia en AWS, el siguiente paso práctico era migrar a una solución de AWS que pudiera contribuir a la estrategia de conservación a largo plazo. «Queríamos un enfoque coherente para extraer valor de conjuntos de datos inconsistentes, crear un catálogo único y oficial que coincidiera con los medios e generar valor para nuestro público», dice Mallon. «Con AWS, podemos estandarizar el almacenamiento de todo nuestro contenido».

Debido a la escala de los datos de archivo, la migración de la red era la opción más práctica de automatizar. Para completar la migración de contenido, la BBC utilizó su infraestructura existente impulsada por AWS Direct Connect, que es un servicio en la nube que ayuda a los usuarios a crear una conexión de red dedicada a AWS para conseguir transferencias de datos fluidas y fiables a una escala masiva para el análisis casi en tiempo real, la copia de seguridad rápida de los datos o el procesamiento de medios de transmisión. En noviembre de 2022, tras unos doce meses de planificación y consultoría con CloudFirst.io (Cloudfirst), un socio de AWS, se inició la migración.

En los momentos de mayor actividad, el equipo migró 120 TB de datos al día mediante AWS Direct Connect para transferir cantidades considerables de contenido a AWS. En diez meses, el equipo había transferido 25 PB de datos a la nube. De este modo, podría retirar uno de sus antiguos repositorios multimedia basados en cinta y desarrollar una abstracción de última generación entre los sistemas de gestión de activos multimedia y el almacenamiento en la nube pública. «Pudimos retirar la mitad de la infraestructura física del archivo», afirma Mark Glanville, arquitecto técnico sénior de BBC Archives Technology and Services. «Esto libera una enorme cantidad de espacio técnico y reduce el consumo de energía en unos preciosos inmuebles del centro de Londres».

La BBC migró la mayoría de sus datos a Amazon S3 Glacier Instant Retrieval. La solución ofrecía el tipo ideal de almacenamiento flexible para los tipos de datos que se almacenaban en los archivos de la BBC. Como el equipo había utilizado AWS para su sistema de procesamiento de activos multimedia, que albergaba alrededor de 3 PB de contenido multimedia, ya tenía experiencia con las soluciones de Amazon S3. «Trabajamos junto con el equipo de AWS para seleccionar la clase de almacenamiento adecuada para la mayor parte de nuestro contenido», apunta Glanville. «Al usar Amazon S3 Glacier Instant Retrieval, nos beneficiamos de una recuperación rápida del archivo sin perder flexibilidad en los costes».

El equipo utiliza una combinación de Amazon S3 Glacier Instant Retrieval y Amazon S3 Intelligent-Tiering, una clase de almacenamiento en la nube que ofrece ahorros automáticos en los costes por almacenamiento sin impactar el rendimiento ni generar gastos operativos. La BBC puede elegir entre estas dos clases de almacenamiento en función del nivel de acceso esperado sin comprometer el rendimiento.

«Al utilizar Amazon S3 Glacier Instant Retrieval y Amazon S3 Intelligent-Tiering, obtenemos modelos de precios similares a los de un archivo para el contenido que antes teníamos en un almacenamiento de acceso relativamente frecuente», reconoce Tom Cartwright, director ejecutivo de producto de la BBC. «Esto es especialmente valioso porque nos da la posibilidad de decidir desde el inicio de un proyecto dónde van a estar nuestros datos».