La BBC custodisce cento anni di storia utilizzando Amazon S3

BBC Archives Technology and Services è il custode degli archivi centenari della BBC, con sedici milioni di risorse raccolte nel corso dell'esistenza dell'emittente, dai film storici ai moderni contenuti multimediali digitali. Il team si concentra su tre obiettivi: unificare tutti i contenuti forniti tramite gli archivi, rendere gli archivi più accessibili attraverso la digitalizzazione e preservare i contenuti multimediali con soluzioni moderne. “Vogliamo adottare una strategia lungimirante, attraverso strumenti come l'archiviazione e l'elaborazione flessibili che facilitino l'uso del machine learning”, afferma Brendan Mallon, responsabile di prodotti e servizi per BBC Archives Technology and Services. “Il nostro obiettivo è salvaguardare il contenuto degli archivi affinché sia accessibile per altri cento anni.”

I dati dell'emittente erano stati suddivisi per genere in archivi separati per notizie, sport, radio e programmi. L'intento era quello di standardizzare la catena di fornitura e i flussi di lavoro per sviluppare un piano sostenibile e centralizzato per l'archiviazione. Era stata utilizzata con successo l'infrastruttura on-premises, ma nel 2017 fu necessario ridurre la complessità dei sistemi. L'aggregazione dei contenuti era inutilmente onerosa a causa dell'eterogeneità dei set di dati esistenti. Il team ha quindi intrapreso una missione quinquennale per unificare i vari livelli delle applicazioni di archiviazione e diventare più sostenibile.

Poiché la BBC utilizzava da anni il proprio sistema di elaborazione delle risorse multimediali su AWS, il passo pratico successivo fu quello di migrare a una soluzione AWS che potesse supportare la strategia di conservazione a lungo termine. “Volevamo un approccio coerente per estrarre valore da set di dati non uniformi, creare un unico catalogo autorevole che corrispondesse ai contenuti multimediali e generare valore per il nostro pubblico,” afferma Mallon. “Con AWS, possiamo standardizzare l'archiviazione per tutti i nostri contenuti.”

Vista la portata dei dati di archivio, una migrazione di rete era l'opzione più pratica per automatizzare. Per completare la migrazione dei contenuti, la BBC ha utilizzato la propria infrastruttura esistente, basata su AWS Direct Connect, un servizio cloud che aiuta gli utenti a creare una connessione di rete ad AWS dedicata per effettuare trasferimenti di dati fluidi e affidabili su larga scala e ottenere così analisi quasi in tempo reale, backup rapidi dei dati o elaborazione di contenuti multimediali. Nel novembre 2022, dopo circa dodici mesi di pianificazione e di consultazioni con Cloudfirst.io (Cloudfirst), partner AWS, ha avuto inizio la migrazione.

Al culmine, il team ha migrato 120 TB di dati al giorno, utilizzando AWS Direct Connect per trasferire quantità considerevoli di contenuti su AWS. Nel giro di dieci mesi, il team aveva trasferito 25 PB di dati sul cloud. In tal modo, era stato possibile ritirare uno dei suoi archivi multimediali obsoleti basati su nastro e sviluppare un'estrazione di nuova generazione tra i sistemi di gestione delle risorse multimediali e l'archiviazione su cloud pubblico. “Siamo riusciti a ritirare metà dell'infrastruttura fisica dell'archivio,” afferma Mark Glanville, senior technical architect presso BBC Archives Technology and Services. “Ciò consente di liberare un'enorme quantità di spazio tecnico ed energetico in alcuni preziosi immobili nel centro di Londra.”

La BBC ha migrato la maggior parte dei suoi dati su Recupero istantaneo Amazon S3 Glacier. La soluzione forniva la tipologia ideale di archiviazione flessibile per i vari tipi di dati archiviati negli archivi della BBC. Il team conosceva le soluzioni Amazon S3 poiché aveva già utilizzato AWS per il proprio sistema di elaborazione delle risorse multimediali, che ospitava circa 3 PB di contenuti. “Abbiamo collaborato con il team AWS per selezionare la classe di archiviazione giusta per la maggior parte dei nostri contenuti,” afferma Glanville. “Utilizzando Recupero istantaneo Amazon S3 Glacier, possiamo beneficiare di un recupero rapido dall'archivio con flessibilità dei costi”.

Il team utilizza una combinazione di Recupero istantaneo Amazon S3 Glacier e Piano intelligente Amazon S3, una classe di archiviazione nel cloud che offre risparmi automatici sui costi di archiviazione senza effetti sulle prestazioni o sul carico operativo. La BBC può scegliere tra queste due classi di archiviazione in base al livello di accesso previsto senza compromettere le prestazioni.

“Utilizzando Recupero istantaneo Amazon S3 Glacier e Piano intelligente Amazon S3, otteniamo modelli di prezzo simili a quelli di un archivio di contenuti che in precedenza avevamo in un'archiviazione relativamente a caldo,” afferma Tom Cartwright, executive product manager presso la BBC. “Questo ha un valore inestimabile, perché possiamo prendere decisioni nelle prime fasi di un progetto relativo alla posizione dei nostri dati.”