Clienti Amazon FSx per Lustre

  • Adobe

    Adobe è stata fondata 40 anni fa con la semplice idea di creare prodotti innovativi in grado di cambiare il mondo e offre una tecnologia rivoluzionaria che consente a chiunque di immaginare, creare e dare vita a qualsiasi esperienza digitale ovunque ci si trovi.

    Sfida: anziché affidarsi a modelli open source, Adobe ha deciso di addestrare i propri modelli di IA generativa di base su misura per casi d'uso creativi.

    Soluzione: Adobe ha creato una via preferenziale per l'IA su AWS per creare una piattaforma di formazione sull'IA e pipeline di dati allo scopo di iterare rapidamente i modelli. Adobe ha realizzato la sua soluzione con istanze P5 e P4d di Amazon Elastic Compute Cloud (Amazon EC2) basate su GPU NVIDIA, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS) e Amazon Elastic Fabric Adapter (EFA). Adobe ha anche utilizzato Amazon Simple Storage Service (Amazon S3) come data lake e repository principale per le enormi quantità di dati. Adobe ha utilizzato Amazon FSx per Lustre per l'archiviazione di file ad alte prestazioni, per un rapido accesso ai dati e per garantire che le risorse GPU non siano mai lasciate inattive.

    È facile pensare di creare il proprio cloud IA, ma la partnership con AWS ci consente di concentrarci sui nostri fattori di differenziazione

    Alexandru Costin, Vice President, Generative AI and Sensei presso Adobe
    Leggi il caso di studio di Adobe. »
  • LG AI Research

    LG AI Research Insieme a esperti di intelligenza artificiale leader a livello mondiale, LG AI Research mira a guidare la prossima era dell'IA. Il suo scopo è realizzare insieme a te un futuro promettente fornendo un ambiente di ricerca ottimale e sfruttando tecnologie di IA all'avanguardia.

    La sfida: LG AI Research aveva bisogno di mettere in produzione il suo modello di fondazione, EXAONE, in un anno. EXAONE, che sta per "expert AI for everyone", è un modello multimodale da 300 miliardi di parametri che usa sia immagini che dati di testo.

    Soluzione: LG AI Research ha usato Amazon SageMaker per addestrare il suo modello di fondazione su larga scala e Amazon FSx per Lustre per distribuire i dati in istanze in modo da accelerare l'addestramento dei modelli. LG AI Research è riuscita a mettere in produzione con successo il suo modello di fondazione, EXAONE, in un anno. LG AI Research ha implementato correttamente EXAONE in un anno e ha ridotto i costi di circa il 35%, eliminando la necessità di un team di gestione dell'infrastruttura separato.

    Leggi il caso di studio LG AI Research. »
  • Paige

    Paige è il fornitore leader della trasformazione digitale nel campo delle patologie e offre una soluzione completa, basata sul Web e abilitata all'intelligenza artificiale che apporta efficienza e sicurezza alla diagnosi del cancro.

    Sfida: le soluzioni on-premise di Paige sono al massimo. L'obiettivo era addestrare modelli di IA e machine learning per far sì che aiutassero nella battaglia contro il cancro. Paige ha scoperto che, maggiore la capacità di elaborazione, più velocemente possono addestrare i modelli e aiutare a risolvere problemi diagnostici.

    Soluzione: per eseguire i carichi di lavoro di addestramento ML, Paige ha scelto le istanze P4d di Amazon EC2, alimentate da GPU NVIDIA A100 Tensor Core, che offrono prestazioni elevate per l'addestramento ML e le applicazioni HPC nel cloud. Paige utilizza Amazon FSx per Lustre, un'archiviazione condivisa completamente gestita basata su un popolare file system ad alte prestazioni. L'azienda ha collegato questo servizio ad alcuni dei suoi bucket Amazon S3, aiutando i team di sviluppo a gestire petabyte di dati di input ML senza pre-impostare manualmente i dati su file system ad alte prestazioni. Il risultato della soluzione AWS è che Paige può addestrare una quantità di dati on-premise 10 volte superiore utilizzando l'infrastruttura AWS per il machine learning.  Paige ha inoltre sperimentato flussi di lavoro interni più veloci del 72% con Amazon EC2 e Amazon FSx per Lustre. 

    Collegando Amazon FSx per Lustre ad Amazon S3 possiamo eseguire l'addestramento su una quantità di dati 10 volte superiore a quella che abbiamo mai provato nell'infrastruttura on-premise senza problemi.

    Alexander van Eck, staff AI engineer - Paige
    Leggi il caso di studio "Paige promuove il trattamento del cancro utilizzando un flusso di lavoro ML ibrido creato con le istanze P4d di Amazon EC2". »
  • Toyota

    Il Toyota Research Institute sceglie FSx per Lustre al fine di ridurre i tempi di addestramento del machine learning per il riconoscimento degli oggetti.

    Il Toyota Research Institute (TRI) raccoglie ed elabora grandi quantità di dati provenienti dai test dei propri veicoli autonomi. Ogni set di dati di addestramento viene inserito in un dispositivo NAS on-premise e trasferito su Amazon Simple Storage Service (Amazon S3) prima dell'elaborazione su un potente cluster di calcolo GPU. Il TRI aveva bisogno di un file system ad alte prestazioni da abbinare alle proprie risorse di calcolo per accelerare l'addestramento dei modelli di ML e ricavare più rapidamente le informazioni per i data scientist.

    Avevamo bisogno di un file system parallelo per i nostri set di dati di addestramento del machine learning e abbiamo scelto Amazon FSx per Lustre per la sua maggiore disponibilità e durata rispetto alla nostra offerta di file system legacy. L'integrazione con i servizi AWS, incluso S3, l'ha resa anche l'opzione preferita per la nostra archiviazione di file ad alte prestazioni.

    David Fluck, Software engineer (Ingegnere responsabile dei software) - Toyota Research Institute
  • Shell

    Shell offre un portafoglio dinamico di opzioni energetiche, dal petrolio al gas e prodotti petrolchimici, all'eolico, al solare e all'idrogeno. Shell è orgogliosa di fornire l'energia di cui i propri clienti hanno bisogno per alimentare le loro vite. 

    Sfida: Shell si affida all'HPC per la creazione, il test e la convalida di modelli. Dal 2020 al 2022, l'utilizzo della GPU è stato in media inferiore al 90%, con conseguenti ritardi nei progetti e limitazioni nella sperimentazione di nuovi algoritmi.

    Soluzione: Shell aumenta la capacità di elaborazione on-premise passando al cloud con i cluster Amazon EC2 e Amazon FSx per Lustre. Questa soluzione garantisce a Shell la capacità di scalare rapidamente verso l'alto e verso il basso e di acquistare capacità di elaborazione aggiuntiva solo quando necessario. Le GPU Shell ora sono completamente utilizzate per ridurre i costi di elaborazione e accelerare i test dei modelli di machine learning.

  • Storengy

    Storengy, una filiale del gruppo ENGIE, è uno dei principali fornitori di gas naturale. L'azienda offre alle imprese di tutto il mondo soluzioni per lo stoccaggio del gas, soluzioni geotermiche, produzione di energia senza emissioni di carbonio e tecnologie di stoccaggio.

    Per garantire lo stoccaggio corretto dei suoi prodotti, Storengy utilizza simulatori ad alta tecnologia per valutare lo stoccaggio sotterraneo di gas, un processo che richiede un utilizzo esteso dei carichi di lavoro di calcolo ad alte prestazioni (HPC). L'azienda utilizza la tecnologia HPC anche per eseguire lavori di scoperta ed esplorazione del gas naturale.

    Grazie ad AWS, abbiamo la scalabilità e l'alta disponibilità necessarie per eseguire centinaia di simulazioni alla volta. Inoltre, la soluzione si dimensiona automaticamente per supportare i periodi di picco dei carichi di lavoro, il che significa che non abbiamo sorprese per quanto riguarda il nostro ambiente HPC.

    Jean-Frederic Thebault - Engineer (Ingegnere), Storengy
  • Smartronix

    Smartronix sfrutta FSx per Lustre al fine di offrire prestazioni elevate e affidabili per le proprie implementazioni SAS Grid.

    Smartronix fornisce soluzioni cloud, sicurezza informatica, integrazione di sistemi, C5ISR a livello mondiale, analisi dei dati e ingegneria mirata per molte delle principali organizzazioni commerciali e federali del mondo. L'azienda si è affidata a SAS Grid per analizzare e fornire statistiche giornaliere sul COVID a livello statale e ha riscontrato che il proprio file system parallelo autogestito era difficile da amministrare e proteggere.

    La collaborazione con AWS e l'utilizzo delle sue soluzioni gestite come FSx per Lustre ci ha permesso di servire meglio i nostri clienti, con maggiore disponibilità e costi inferiori del 29% rispetto ai file system autogestiti.

    Rob Mounier - Senior Solutions Architect (Architetto senior per le soluzioni), Smartronix
  • Netflix

    Netflix è un servizio di streaming che offre un'ampia varietà di premiati programmi TV, film, anime, documentari e altro ancora.

    Sfida: Netflix utilizza l'addestramento distribuito su larga scala per i modelli di machine learning multimediali, le anteprima di post-produzione, gli effetti visivi e la generazione di trailer per migliaia di video e milioni di clip. Netflix stava riscontrando lunghe attese a causa della replica tra nodi e un tempo di inattività della GPU pari al 40%.

    Soluzione: Netflix ha riprogettato la pipeline di caricamento dei dati e ne ha migliorato l'efficienza pre-elaborando tutte le clip video/audio. Netflix ha anche scelto Amazon UltraClusters (istanze EC2 P4d) per accelerare le prestazioni di elaborazione. Le prestazioni di Amazon FSx per Lustre consentono a Netflix di saturare le GPU e, praticamente, di eliminare i loro tempi di inattività. Netflix ora sperimenta un miglioramento di 3-4 volte utilizzando la pre-elaborazione e FSx per Lustre, riducendo i tempi di addestramento dei modelli da una settimana a 1-2 giorni.

    Guarda il video: Addestramento distribuito su larga scala di modelli di ML multimediali con Amazon FSx per Lustre. »
  • Hyundai

    Hyundai Motor Company si è distinta come casa automobilistica riconosciuta a livello mondiale: i veicoli della sua marca vengono esportati in oltre 200 Paesi.

    Sfida: Uno degli algoritmi spesso utilizzati nella guida autonoma è la segmentazione semantica, che consiste nell'annotare ogni pixel di un'immagine con una classe di oggetti. Queste classi possono essere, ad esempio, strada, persona, auto, edificio, vegetazione, cielo, ecc. Hyundai ne verifica la precisione e raccoglie immagini aggiuntive per correggere le prestazioni predittive insufficienti in situazioni specifiche. Questo approccio, però, può rivelarsi una sfida, poiché spesso non c'è abbastanza tempo per preparare tutti i nuovi dati lasciando tempo sufficiente per addestrare il modello e rispettare le scadenze programmate.

    Soluzione: Hyundai ha scelto Amazon SageMaker per automatizzare l'addestramento dei modelli e la libreria Amazon SageMaker per il parallelismo dei dati, per passare da una singola GPU all'addestramento distribuito. Ha scelto Amazon FSx per Lustre per addestrare i modelli senza attendere le copie dei dati. Inoltre, ha scelto Amazon S3 per l'archiviazione permanente dei dati. Hyundai ha raggiunto un'efficienza di dimensionamento fino al 93% con 8 istanze GPU o 64 GPU in totale. FSx per Lustre ha consentito a Hyundai di eseguire più lavori di addestramento ed esperimenti sugli stessi dati senza tempi di attesa.

    Leggi il post del blog dei clienti »
  • Rivian

    Rivian ha come missione quella di fare in modo che il mondo sia sempre avventuroso. Crediamo che esista un modo più responsabile per esplorare il mondo e siamo determinati a realizzare la transizione verso i trasporti sostenibili nel modo migliore possibile.

    Per rispettare la pianificazione ingegneristica accelerata e ridurre il bisogno di prototipi fisici, il produttore di veicoli elettrici Rivian fa affidamento su tecniche di modellazione e simulazione avanzate. Grazie a una capacità di calcolo elevata, le simulazioni permettono agli ingegneri di testare nuove idee e di portare rapidamente i loro progetti sul mercato.

    La collaborazione con Amazon consente a Rivian di concentrarsi sullo sviluppo e sulla distribuzione di veicoli sostenibili invece che sull'IT. Con Amazon, eseguiamo le nostre principali applicazioni di sviluppo più velocemente che on-premise. Nello specifico: il 56% più velocemente su Elements, il 35% più velocemente su Siemens e il 20% più velocemente su Ansys.

    Madhavi Osanaka - CIO, Rivian
    Leggi il caso di studio di Rivian »
  • DENSO

    Denso sviluppa sensori di immagine per sistemi avanzati di assistenza alla guida (ADAS) che aiutano i conducenti con funzioni come il parcheggio e il cambio di corsia.

    Sfida: per sviluppare i modelli ML necessari per il riconoscimento delle immagini ADAS, DENSO aveva creato cluster di GPU nel suo ambiente on-premise. Tuttavia, diversi ingegneri ML condividevano risorse GPU limitate, il che influiva sulla produttività, specialmente durante il periodo intenso prima del rilascio di un nuovo prodotto.

    Soluzione: adottando Amazon SageMaker e Amazon FSx per Lustre, Denso è stata in grado di accelerare la creazione di modelli di riconoscimento delle immagini ADAS riducendo i tempi di acquisizione dei dati, di sviluppo del modello, di addestramento e di valutazione.

    "La prassi del passaggio al cloud continuerà ad accelerare nel campo dell'intelligenza artificiale e del machine learning. Sono sicuro che AWS continuerà a fornirci supporto man mano che continuiamo ad aggiungere funzioni".

    Kensuke Yokoi, general manager - DENSO
    Leggete il caso di studio di Denso. »
  • Joby Aviation

    Joby Aviation utilizza AWS per rivoluzionare i trasporti.

    Sfida: gli ingegneri di Joby si affidano al calcolo ad alte prestazioni (HPC) per condurre migliaia di simulazioni di fluidodinamica computazionale (CFD) complesse e ad alta intensità di calcolo che utilizzano centinaia di core CPU ciascuna e il cui completamento può richiedere molte ore.

    Soluzione: l'utilizzo di Amazon Elastic Compute Cloud (Amazon EC2) e Amazon FSx per Lustre ha consentito a Joby di ottenere più rapidamente risultati dai carichi di lavoro CFD rispetto a quando utilizzava l'infrastruttura di calcolo ad alte prestazioni on-premise.

    Quando abbiamo provato a eseguire decine di simulazioni contemporaneamente, dovevamo leggere e scrivere diversi gigabyte di dati alla volta e questo ha rallentato tutto il processo. FSx per Lustre ha eliminato questi problemi di capacità. Ora possiamo aumentare facilmente le dimensioni del nostro hard drive.

    Alex Stoll, Aeromechanics Lead (Responsabile dell'aeromeccanica), Joby Aviation
    Leggi il caso di studio di Joby Aviation »
  • T-Mobile

    T-Mobile risparmia 1,5 milioni di dollari all'anno e raddoppia la velocità dei carichi di lavoro SAS Grid utilizzando Amazon FSx per Lustre.

    Sfida: T-Mobile aveva registrato un elevato sovraccarico di gestione e difficoltà nelle prestazioni con il carico di lavoro SAS Grid autogestito.

    Soluzione: T-Mobile ha implementato Amazon FSx per Lustre, un file system ad alte prestazioni completamente gestito, per migrare e dimensionare la propria infrastruttura SAS Grid. T-Mobile ha utilizzato l'ottima integrazione di Amazon FSx e S3 per ridurre il sovraccarico di archiviazione e ottimizzare le operazioni.

    Amazon FSx per Lustre ci ha aiutati a raddoppiare la velocità dei nostri carichi di lavoro SAS Grid, ridurre il costo totale di proprietà dell'83% ed eliminare completamente il carico operativo. La collaborazione con AWS ci consente di concentrarci su ciò che sappiamo fare meglio, sviluppando prodotti innovativi per i nostri clienti e facendo affidamento sulle funzionalità di archiviazione all'avanguardia di FSx e sulle capacità di hosting di prim'ordine di AWS.

    Dinesh Korde, Senior Manager Software Development (Responsabile senior dello sviluppo software) - T-Mobile
  • Netflix

    La produzione della quarta stagione della serie a episodi di Netflix "The Crown" ha affrontato sfide inaspettate, poiché il mondo ha subito l'isolamento per la pandemia da COVID-19 proprio quando il lavoro di post-produzione di VFX doveva iniziare. Adottando un flusso di lavoro basato sul cloud su AWS, tra cui il file server Amazon FSx Lustre per migliorare la velocità di trasmissione effettiva, il team VFX interno di Netflix, composto da 10 artisti, è stato in grado di completare senza problemi più di 600 riprese VFX per i 10 episodi della stagione in soli 8 mesi, il tutto lavorando da remoto. 

    Leggi il post sul blog "The Crown in the Cloud" (The Crown nel cloud) »
  • Maxar

    Maxar utilizza AWS per fornire previsioni il 58% più velocemente rispetto al suo supercomputer meteorologico.

    Sfida: Maxar Technologies, un partner fidato e innovatore nell'ambito dell'Earth Intelligence e delle infrastrutture spaziali, aveva bisogno di fornire previsioni meteorologiche più velocemente rispetto al suo supercomputer on-premise.

    Soluzione: Maxar ha collaborato con AWS per creare una soluzione HPC con tecnologie chiave tra cui Amazon Elastic Compute Cloud (Amazon EC2) per risorse di calcolo sicure e altamente affidabili, Amazon FSx per Lustre per accelerare la velocità di trasmissione effettiva di lettura/scrittura dell'applicazione e AWS ParallelCluster per creare rapidamente ambienti di calcolo HPC su AWS.

    Maxar ha utilizzato Amazon FSx per Lustre nella nostra soluzione AWS HPC per eseguire il modello numerico di previsione meteorologica del NOAA. Questo ci ha permesso di ridurre i tempi di calcolo del 58%, generando le previsioni in circa 45 minuti a un prezzo molto più conveniente. La massimizzazione delle nostre risorse di calcolo AWS ci ha permesso di migliorare incredibilmente le prestazioni.

    Stefan Cecelski, PhD, Senior Data Scientist & Engineer (Data scientist e ingegnere senior) - Maxar Technologies
    Leggi il caso di studio di Maxar »
  • INEOS TEAM UK

    INEOS TEAM UK accelera la progettazione di imbarcazioni per l'America's Cup utilizzando AWS.

    Sfida: costituita nel 2018, INEOS TEAM UK mira a portare l'America's Cup, la più antica competizione sportiva internazionale al mondo, in Gran Bretagna. L'America's Cup limita i test in acqua a non più di 150 giorni prima dell'evento, quindi le simulazioni di fluidodinamica computazionale (CFD) ad alte prestazioni di monoscafi e foil diventano fondamentali per un progetto vincente.  

    Soluzione: utilizzando AWS, INEOS TEAM UK può elaborare migliaia di simulazioni di progettazione della barca per l'America's Cup in una settimana rispetto a più di un mese utilizzando un ambiente on-premise. INEOS TEAM UK ha partecipato alla 36° edizione della America's Cup nel 2021. Il team sta utilizzando un ambiente HPC in esecuzione su istanze spot di Amazon EC2.  Per garantire prestazioni veloci del disco per le migliaia di simulazioni completate ogni settimana, il team ha anche utilizzato Amazon FSx per Lustre al fine di fornire un file system veloce, scalabile e sicuro ad alte prestazioni basato su Amazon Simple Storage Service (S3).

    AWS ci consente di intraprendere fasi di progettazione più ampie semplicemente perché abbiamo più tempo per comprendere i risultati.

    Nick Holroyd, Head of Design (Responsabile del design) - INEOS TEAM UK
    Leggi il caso di studio di INEOS TEAM UK »
  • Hive VFX

    Hive VFX riduce i costi iniziali di studio e funziona come uno studio VFX nel cloud su AWS.

    Sfida: Hive aveva bisogno di un'infrastruttura ad alte prestazioni per lanciare un piccolo studio indipendente nel cloud al fine di consentire ad artisti di tutto il mondo di creare contenuti di qualità da remoto.

    Soluzione: Amazon FSx per Lustre completamente gestito, integrato con Amazon S3, ha fornito un accesso rapido alle risorse di calcolo AWS senza grandi investimenti iniziali né la necessità da parte del team IT interno di competenze pregresse. La perfetta sincronizzazione dei dati e delle autorizzazioni dei file tra FSx Lustre e S3 ha consentito a Hive VFX di archiviare un grande volume di immagini e condividere i dati dei progetti in tutti i continenti.

    Posso creare un file system Amazon FSx per Lustre in 5 minuti ed è tutto gestito da AWS.

    Bernie Kimbacher, Fondatore - Hive VFX
    Leggi il caso di studio di Hive VFX »
  • Lyell

    Lyell accelera la ricerca sulla terapia cellulare contro il cancro con Amazon FSx per Lustre.

    Sfida: Lyell fornisce terapie cellulari per la cura del cancro che richiedono l'esecuzione di una progettazione di tipo computazionale delle proteine su larga scala. Questi carichi di lavoro venivano tradizionalmente eseguiti on-premise, ma l'azienda aveva bisogno di una soluzione più scalabile ed economica per poter finalmente eseguire più di un solo esperimento al mese.

    Soluzione: dopo la migrazione del file system a FSx per Lustre, i data scientist possono avviare e arrestare migliaia di cluster HPC costituiti da istanze EC2 e file system Amazon FSx, eseguendo così più rapidamente esperimenti con calcolo intensivo e pagando solo per il calcolo e l'archiviazione utilizzati per la durata del carico di lavoro.

    Amazon FSx per Lustre accelera la ricerca per lo sviluppo delle terapie contro il cancro di nuova generazione. Utilizzando FSx abbiamo ridotto il tempo di esecuzione dei nostri esperimenti da settimane a ore e abbiamo consentito agli scienziati di testare molte più opzioni rispetto a prima. Ora i nostri carichi di lavoro in esecuzione su decine di migliaia di nodi di calcolo possono utilizzare FSx per accedere ai dati S3 in set estremamente elevati.

    Anish Kejariwal, Head of Data Analytics Engineering (Responsabile dell'ingegneria dell'analisi dei dati) - Lyell Immunopharma
  • BlackThorn Therapeutics

    BlackThorn Therapeutics accelera i tempi di acquisizione delle informazioni con FSx per Lustre.

    Sfida: l'elaborazione dei dati dell'imaging a risonanza magnetica (MRI) con file system cloud fai-da-te standard richiedeva molto tempo e molte risorse. BlackThorn aveva bisogno di una soluzione di archiviazione di file condivisa e ad alta intensità di calcolo per semplificare i flussi di lavoro relativi a data science e machine learning.

    Soluzione: Amazon FSx per Lustre si integra con Amazon S3 e Amazon SageMaker e fornisce un'elaborazione rapida dei set di dati di addestramento del ML e un accesso senza interruzioni al calcolo con istanze Amazon EC2.

    FSx per Lustre ci ha permesso di creare una pipeline di elaborazione dati MRI ad alte prestazioni. I tempi di elaborazione dei dati per i nostri flussi di lavoro basati su ML sono stati ridotti da giorni e settimane a pochi minuti.

    Oscar Rodriguez, Senior Director (Direttore senior), Innovazione e tecnologia - BlackThorn Therapeutics
  • Qubole

    Qubole migliora la durabilità dei dati riducendo al contempo i costi con Amazon FSx per Lustre.

    Sfida: Qubole era alla ricerca di una soluzione di archiviazione ad alte prestazioni per elaborare carichi di lavoro di analisi e IA/ML per i propri clienti. Aveva bisogno di archiviare ed elaborare facilmente i dati intermedi contenuti nella serie di istanze spot EC2.

    Soluzione: Qubole ha utilizzato Amazon FSx per Lustre per archiviare ed elaborare dati intermedi attraverso il suo file system parallelo ad alta velocità.

    I due principali problemi dei nostri utenti, ovvero i costi elevati e la perdita intermedia di dati, derivavano dall'utilizzo di istanze EC2 inattive e istanze spot EC2 per elaborare e archiviare dati intermedi generati da framework di elaborazione distribuiti come Hive e Spark. Siamo riusciti a risolvere questo problema utilizzando Amazon FSx per Lustre, un file system ad alte prestazioni, per scaricare dati intermedi. Ora i nostri utenti non devono pagare per mantenere le istanze inattive e non sono interessati dalle interruzioni dei nodi spot EC2. Amazon FSx ha aiutato i nostri utenti a ridurre i costi totali del 30%.

    Joydeep Sen Sarma, CTO - Qubole