Instans P5 Amazon EC2

Instans berbasis GPU dengan performa tertinggi untuk deep learning dan aplikasi HPC
Mulai Instans P5
Pesan untuk penggunaan pada masa mendatang

Mengapa harus Instans P5 Amazon EC2?

Instans P5 Amazon Elastic Compute Cloud (Amazon EC2), didukung oleh GPU NVIDIA H100 Tensor Core, dan instans P5e yang didukung oleh GPU NVIDIA H200 Tensor Core menghadirkan performa tertinggi di Amazon EC2 untuk aplikasi deep learning (DL) dan komputasi performa tinggi (HPC). Instans tersebut membantu Anda mempercepat waktu penyelesaian hingga 4x lipat dibandingkan instans EC2 berbasis GPU generasi sebelumnya dan mengurangi biaya untuk melatih model ML hingga 40%. Instans ini membantu Anda mengiterasi solusi Anda dengan lebih cepat dan memasuki pasar dengan lebih cepat. Anda dapat menggunakan instans P5 dan P5e untuk melatih dan melakukan deployment model bahasa besar (LLM) yang semakin kompleks dan model difusi yang mendukung aplikasi kecerdasan buatan (AI) generatif yang paling menuntut. Aplikasi ini termasuk penjawab pertanyaan, pembuatan kode, pembuatan video dan gambar, serta pengenalan suara. Anda juga dapat menggunakan instans ini untuk melakukan deployment aplikasi HPC yang menuntut dalam skala besar untuk penemuan farmasi, analisis seismik, prakiraan cuaca, dan pemodelan keuangan.

Untuk memberikan peningkatan performa dan penghematan biaya ini, instans P5 dan P5e melengkapi GPU NVIDIA P5e Tensor Core dengan performa CPU H100 dan H200 2x lebih tinggi, memori sistem 2x lebih tinggi, dan penyimpanan lokal 4x lebih tinggi dibandingkan instans berbasis GPU generasi sebelumnya. Instans ini memberikan kemampuan penskalaan ke luar terdepan di pasar untuk pelatihan terdistribusi dan beban kerja HPC yang digabungkan secara erat dengan jaringan hingga 3.200 Gbps menggunakan Elastic Fabric Adapter (EFAv2) generasi kedua. Untuk menghadirkan komputasi skala besar dengan latensi rendah, instans P5 dan P5e di-deploy di Amazon EC2 UltraClusters yang memungkinkan penskalaan hingga 20.000 GPU H100 atau H200. Instans ini saling terhubung dengan jaringan non-pemblokiran berskala petabita. Instans P5 dan P5e di EC2 UltraClusters dapat menghadirkan kemampuan komputasi agregat hingga 20 exaflop—performa yang setara dengan superkomputer.

Instans P5 Amazon EC2

Manfaat

Instans P5 dan P5e dapat melatih model AI generatif ultra-besar dalam skala besar dan memberikan performa hingga 4x lipat dari instans EC2 berbasis GPU generasi sebelumnya.

Instans P5 dan P5e mengurangi waktu pelatihan dan waktu penyelesaian dari berminggu-minggu menjadi hanya beberapa hari. Instans ini membantu Anda melakukan iterasi dengan lebih cepat dan memasuki pasar dengan lebih cepat.

Instans P5 dan P5e memberikan penghematan hingga 40% pada pelatihan DL dan biaya infrastruktur HPC dibandingkan dengan instans EC2 berbasis GPU generasi sebelumnya.

Instans P5 dan P5e menyediakan jaringan EFAv2 hingga 3.200 Gbps. Instans ini di-deploy di EC2 UltraClusters dan memberikan 20 exaflop kemampuan komputasi agregat.

Fitur

Instans P5 menyediakan hingga 8 GPU NVIDIA H100 dengan total memori GPU HBM3 hingga 640 GB per instans. Instans P5e menyediakan hingga 8 GPU NVIDIA H200 dengan total memori GPU HBM3e hingga 1.128 GB per instans. Kedua instans mendukung interkoneksi GPU NVSwitch hingga 900 GB/s (total bandwidth bisectional 3,6 TB/s di setiap instans), jadi setiap GPU dapat berkomunikasi dengan setiap GPU lain dalam instans yang sama dengan latensi lompatan tunggal.

GPU NVIDIA H100 dan H200 memiliki mesin transformator baru yang secara cerdas mengelola dan memilih secara dinamis antara perhitungan FP8 dan 16-bit. Fitur ini membantu memberikan percepatan pelatihan DL yang lebih cepat pada LLM dibandingkan dengan GPU A100 generasi sebelumnya. Untuk beban kerja HPC, GPU NVIDIA H100 dan H200 memiliki instruksi DPX baru yang lebih mempercepat algoritma pemrograman dinamis dibandingkan dengan GPU A100.

Instans P5 dan P5e menghadirkan jaringan EFAv2 hingga 3.200 Gbps. EFAv2 memberikan peningkatan hingga 50% dalam performa komunikasi kolektif untuk beban kerja pelatihan terdistribusi. EFAv2 juga dipadukan dengan NVIDIA GPUDirect RDMA untuk memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara server tanpa melalui sistem operasi.

Instans P5 dan P5e mendukung sistem file Amazon FSx for Lustre sehingga Anda dapat mengakses data dengan throughput ratusan GB/dtk dan jutaan IOPS yang diperlukan untuk beban kerja DL dan HPC skala besar. Setiap instans P5 dan P5e juga mendukung penyimpanan SSD NVMe lokal hingga 30 TB untuk akses cepat ke set data besar. Anda juga dapat menggunakan penyimpanan hemat biaya yang hampir tak terbatas dengan Amazon Simple Storage Service (Amazon S3).

Testimoni pelanggan

Berikut adalah beberapa contoh cara pelanggan dan partner dalam mencapai tujuan bisnis mereka dengan instans P4 Amazon EC2.

  • Anthropic

    Anthropic membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan yang akan banyak peluang untuk menciptakan nilai secara komersial dan bermanfaat bagi publik.

    Di Anthropic, kami berupaya membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan. Meskipun sistem AI umum yang besar saat ini dapat memberikan manfaat yang signifikan, sistem tersebut juga tidak dapat diprediksi, tidak dapat diandalkan, dan tidak jelas. Tujuan kami adalah mencapai kemajuan dalam permasalahan ini dan melakukan deployment sistem yang bermanfaat bagi banyak orang. Organisasi kami adalah salah satu dari sedikit organisasi di dunia yang membangun model dasar dalam penelitian DL. Model-model ini sangat kompleks, dan untuk mengembangkan serta melatih model mutakhir ini, kami perlu mendistribusikannya secara efisien ke seluruh klaster GPU yang besar. Kami menggunakan instans P4 Amazon EC2 secara ekstensif saat ini, dan kami menyambut baik peluncuran instans P5. Kami berharap instans tersebut dapat memberikan keuntungan performa harga yang besar dibandingkan instans P4d, dan akan tersedia dalam skala besar yang diperlukan untuk membangun LLM generasi berikutnya serta produk terkait.

    Tom Brown, Rekan Pendiri, Anthropic

  • Cohere

    Cohere, pelopor terkemuka dalam AI bahasa, mendorong setiap developer dan perusahaan untuk menciptakan produk luar biasa dengan teknologi pemrosesan bahasa alami (NLP) terdepan di dunia sekaligus menjaga privasi dan keamanan data mereka.

    Cohere memimpin langkah dalam membantu setiap korporasi memanfaatkan kekuatan AI bahasa untuk mengeksplorasi, menghasilkan, mencari, dan bertindak berdasarkan informasi secara alami serta intuitif dengan men-deploy di banyak platform cloud dalam lingkungan data yang paling sesuai dengan setiap pelanggan. Instans P5 Amazon EC2 yang didukung NVIDIA H100 akan memberikan kemampuan bisnis untuk menciptakan, berkembang, dan melakukan penskalaan lebih cepat dengan kekuatan komputasinya yang dikombinasikan dengan kemampuan LLM dan AI generatif mutakhir dari Cohere.

    Aidan Gomez, CEO, Cohere

  • Hugging Face

    Hugging Face memiliki misi untuk mendemokratisasi ML yang baik.

    Sebagai komunitas sumber terbuka untuk ML dengan pertumbuhan tercepat, kami saat ini menyediakan lebih dari 150.000 model pralatih dan 25.000 set data di platform kami untuk NLP, penglihatan komputer, biologi, pembelajaran penguatan, dan banyak lagi. Dengan kemajuan signifikan dalam LLM dan AI generatif, kami bekerja sama dengan AWS untuk membangun dan menyumbangkan model sumber terbuka masa depan. Kami tidak sabar untuk menggunakan instans P5 Amazon EC2 melalui Amazon SageMaker dalam skala besar di UltraClusters dengan EFA untuk mempercepat pengiriman model AI fondasi baru bagi semua orang.

    Julien Chaumond, CTO dan Rekan Pendiri, Hugging Face

Detail produk

Ukuran Instans vCPU Memori Instans (TiB) GPU   Memori GPU Bandwidth Jaringan (Gbps) GPUDirect RDMA Peer to Peer GPU Penyimpanan Instans (TB) Bandwidth EBS (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3		 EFA 3.200 Gbps Ya 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 80
p5e.48xlarge 192 2 8 H200 1.128 GB
HBM3e		 EFA 3.200 Gbps Ya 900 GB/s NVSwitch 8 x 3.84 NVMe SSD 80

Memulai kasus penggunaan ML

SageMaker adalah layanan terkelola penuh untuk membangun, melatih, dan men-deploy model ML. Saat digunakan bersama dengan instans P5, Anda dapat dengan lebih mudah menskalakan hingga puluhan, ratusan, atau ribuan GPU untuk melatih model dengan cepat pada skala apa pun tanpa mengkhawatirkan penyiapan klaster dan pipeline data.

DLAMI menyediakan infrastruktur dan alat bagi praktisi serta peneliti ML untuk mempercepat DL di cloud, pada semua skala. Deep Learning Containers adalah citra Docker yang sudah diinstal sebelumnya dengan kerangka kerja DL untuk menyederhanakan deployment lingkungan ML kustom dengan memungkinkan Anda melewati proses yang rumit dalam membangun dan mengoptimalkan lingkungan dari awal.

Jika Anda lebih memilih untuk mengelola beban kerja dalam kontainer Anda sendiri melalui layanan orkestrasi kontainer, Anda dapat men-deploy instans P5 dengan Amazon EKS atau Amazon ECS.

Memulai kasus penggunaan HPC

Instans P5 adalah platform yang ideal untuk menjalankan simulasi rekayasa, keuangan komputasional, analisis seismik, pemodelan molekul, genomik, rendering, dan beban kerja HPC berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan yang cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua hal tersebut. Instans P5 mendukung EFAv2 yang memungkinkan aplikasi HPC menggunakan Antarmuka Pengalihan Pesan (MPI) untuk menskalakan hingga ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.

Pelajari selengkapnya