Daten-Wissenschaftler, Forscher und Entwickler, die ML-Anwendungen beschleunigen müssen, helfen Amazon EC2 P3-Instances, denn es sind die schnellsten in der Cloud für ML-Schulung. Amazon EC2 P3-Instances besitzen bis zu acht NVIDIA Tensor Core V100-GPUs der neuesten Generation, die bis zu einem Petaflop Mixed-Precision-Leistung bieten und ML-Workloads erheblich beschleunigen. Ein schnelleres Modelltraining ermöglicht Datenwissenschaftlern und Machine-Learning-Ingenieuren schnellere Iterationen, Training von mehr Modellen und höhere Genauigkeit.

Eine der leistungsstärksten GPU-Instances in der Cloud kombiniert mit flexiblen Preismodellen in einer außergewöhnlich kosteneffizienten Lösung für die Schulung bei Machine Learning. P3-Instances sind, wie Amazon EC2-Instances allgemein, als On-Demand-Instances, Reserved Instances oder Spot-Instances verfügbar. Spot-Instances verwenden ungenutzte EC2-Instance-Kapazität und können Ihre Kosten für Amazon EC2 vergleichen mit On-Demand-Instances deutlich um bis zu 70 % senken.

Anders als Systeme On-Premise, bietet High Performance Computing auf Amazon EC2 P3-Instances nicht nur praktisch unbegrenzte Kapazität zum Skalieren Ihrer Infrastruktur, sondern auch die entsprechende Flexibilität, um Ressourcen problemlos und so oft zu ändern, wie Ihr Workload dies erfordert. Sie können Ihre Ressourcen so konfigurieren, dass Sie die Anforderungen Ihrer Anwendung erfüllen, und ein HPC-Cluster innerhalb von Minuten starten, wobei Sie nur für das bezahlen, was Sie nutzen.

Verwenden Sie die vorgepackten Docker-Images, um innerhalb von Minuten Deep-Learning-Umgebungen bereitzustellen. Die Images enthalten die erforderlichen Deep-Learning-Framework-Bibliotheken (aktuell TensorFlow und Apache MXNet) und Tools und sind voll getestet. Sie können leicht Ihre eigenen Bibliotheken und Tools hinzufügen, um Überwachung, Compliance und Datenverarbeitung genauer zu steuern. Darüber hinaus arbeiten Amazon EC2 P3-Instances optimal mit Amazon SageMaker zusammen und bieten so eine leistungsstarke und intuitive, umfassende Machine Learning-Plattform. Amazon SageMaker ist eine komplett verwaltete Machine Learning-Plattform, mit der Sie Machine-Learning-Modelle schnell und problemlos erstellen, trainieren und bereitstellen können. Außerdem können Amazon EC2 P3-Instances in Amazon-Systemabbild (Amazon Machine Images, AMIs) von AWS Deep Learning integriert werden, die bei beliebten Deep Learning-Frameworks vorinstalliert sind. Das beschleunigt und erleichtert den Einstieg in die Schulung und Inferenz bei Machine Learning.

Amazon SageMaker erleichtert die Erstellung von Machine Learning-Modellen und deren Vorbereitung auf die Schulung. Es bietet alles, was Sie benötigen, um eine schnelle Verbindung zu Ihren Schulungsdaten einzurichten und den besten Algorithmus und das beste Framework für Ihre Anwendung auszuwählen und zu optimieren. Amazon SageMaker beinhaltet gehostete Jupyter-Notebooks, mit denen Sie Ihre in Amazon S3 gespeicherten Trainingsdaten einfach sondieren und visualisieren können.  Sie können außerdem die Notebook-Instance zum Schreiben von Code verwenden, um Modell-Training-Jobs zu erstellen, Modelle auf Amazon SageMaker-Hosting bereitzustellen und Ihre Modelle zu testen oder zu validieren.

Sie können mit einem einzigen Klick in der Konsole oder mit einem API-Aufruf damit beginnen, Ihr Modell zu schulen. Zur Leistungsoptimierung mit NVIDIA-GPUs sind in Amazon SageMaker die aktuellen Versionen von TensorFlow und Apache MXNet sowie Unterstützung für CUDA9-Bibliotheken vorkonfiguriert. Außerdem kann Ihr Modell mit Hyperparameter-Optimierung durch eine intelligente Abstimmung verschiedener Kombinationen von Modellparametern automatisch angepasst werden, um möglichst genaue Vorhersagen zu erhalten. Bei umfangreicheren Anforderungen können Sie dutzende von Instances nutzen, um eine schnellere Modellerstellung zu unterstützen.

Nach der Schulung können Sie Ihr Modell mit einem Klick in verschiedenen Availability Zones auf sich automatisch skalierenden Amazon EC2-Instances bereitstellen. In der Produktion übernimmt Amazon SageMaker die Verwaltung der Datenverarbeitungsinfrastruktur (Zustandsprüfungen durchführen, Sicherheitspatches einspielen und andere routinemäßige Wartungsaufgaben). Dabei sind die Überwachungs- und Protokollierungsfunktionen von Amazon CloudWatch integriert.

Amazon-EC2-P3dn.24xlarge-Instances sind die schnellsten, leistungsfähigsten und größten P3-Instance-Größen auf dem Markt und bieten einen Netzwerkdurchsatz von bis zu 100 GBit/s, 8 NVIDIA® V100-Tensor-Core-GPUs mit jeweils 32 GB Arbeitsspeicher, 96 angepasste und skalierbare Intel® Xeon® (Skylake)-vCPUs, und 1,8 TB lokalem, NVMe-basierten SSD-Speicher. Die schnellere Vernetzung, neue Prozessoren, die Verdopplung des GPU-Speichers und zusätzliche vCPUs ermöglichen es Entwicklern, die Zeit für das Training ihrer ML-Modelle oder die Ausführung weiterer HPC-Simulationen deutlich zu verkürzen, indem sie ihre Aufträge über mehrere Instances (z.B. 16, 32 oder 64 Instances) hinweg aufskalieren. Für das Training von Machine-Learning-Modellen sind große Datenmengen erforderlich und zusätzlich zur Erhöhung des Datendurchsatzes zwischen Instances kann der zusätzliche Netzwerkdurchsatz von P3dn.24xlarge-Instances auch zur Beschleunigung beim Zugriff auf große Mengen Trainingssdaten verwendet werden, indem eine Verbindung mit Amazon S3 oder Lösungen mit gemeinsam genutzten Dateisystemen, wie Amazon EFS, hergestellt werden.

Mit einem Netzwerkdurchsatz von 100 Gbit/s können Entwickler eine große Anzahl an P3dn.24xlarge-Instances für das verteilte Training verwenden und die Trainingszeit ihrer Modelle deutlich verringern. Die Vorverarbeitung der Daten wird von den 96vCPUs des durch AWS angepassten Intel Skylake-Prozessors mit AVX-512-Befehlen, die mit 2,5 GHz betrieben werden, optimiert. Zusätzlich verwenden die P3dn.24xlarge-Instances das AWS Nitro System, eine Kombination aus dedizierter Hardware und schlankem Hypervisor, das praktisch alle Rechen- und Speicherressourcen der Host-Hardware für die Instances bereitstellt. P3dn.24xlarge-Instances unterstützen außerdem den Elastic Fabric Adapter, der es ML-Anwendungen erlaubt, mithilfe der NVIDIA Collective Communications Library (NCCL) auf Tausende GPUs skalieren zu können.

Ein verbessertes Netzwerk, das die aktuelle Version des Elastic Network Adapter mit bis zu 100 Gbit/s aggregierter Netzwerkbandbreite nutzt, kann nicht nur zur Datenfreigabe über mehrere P3dn.24xlarge-Instances, sondern auch für den Datenzugriff bei hohem Durchsatz über Amazon S3 oder Lösungen für gemeinsam genutzte Dateisysteme, wie Amazon EFS, genutzt werden. Datenzugriff bei hohem Durchsatz ist für die Optimierung der GPU-Nutzung und die Bereitstellung maximaler Leistung der Datenverarbeitungs-Instance wichtig.

P3dn.24xlarge-Instances bieten NVIDIA V100 Tensor Core GPUs mit 32 GB Speicher, mit denen Sie flexibel erweiterte und größere Machine-Learning-Modelle trainieren, sowie größere Datenstapel, wie 4K-Bilder für Bildklassifizierungs- und Objekterkennungssysteme verarbeiten können.