Para cientistas de dados, pesquisadores e desenvolvedores que precisam aumentar a velocidade de suas aplicações de machine learning, as instâncias P3 do Amazon EC2 são as mais rápidas disponíveis na nuvem para treinamento de machine learning. As instâncias P3 do Amazon EC2 apresentam até oito GPUs NVIDIA V100 Tensor Core de última geração e fornecem até 1 petaflop de desempenho de precisão mista para acelerar significativamente as cargas de trabalho do ML. O treinamento de modelo mais rápido permite que os cientistas de dados e os engenheiros de machine learning façam iterações mais rápidas, treinem mais modelos e aumentem a precisão.

Uma das mais poderosas instâncias de GPU na nuvem combinada com planos flexíveis de definição de preço. O resultado é uma solução extremamente econômica para o treinamento de machine learning. Assim como as instâncias do Amazon EC2 em geral, as instâncias P3 estão disponíveis como instâncias sob demanda, reservadas ou spot. As instâncias spot aproveitam a capacidade de instâncias não utilizadas do EC2 e podem reduzir substancialmente os custos do Amazon EC2 em até 70% em relação aos preços sob demanda.

Ao contrário dos sistemas no local, a execução de computação de alta performance em instâncias P3 do Amazon EC2 oferece capacidade praticamente ilimitada de escalabilidade horizontal da infraestrutura, além da flexibilidade para alterar com facilidade os recursos com a frequência exigida pelas cargas de trabalho. Você pode configurar os recursos para atender às demandas dos seus aplicativos e executar um cluster de HPC em minutos, pagando apenas pelo que usar.

Use imagens do Docker pré-empacotadas para implantar ambientes de aprendizado profundo em minutos. As imagens contêm as bibliotecas e ferramentas necessárias para as estruturas de aprendizado profundo (no momento, TensorFlow e Apache MXNet) e são totalmente testadas. Você pode facilmente adicionar a essas imagens suas próprias bibliotecas e ferramentas para obter um maior controle sobre o monitoramento, a conformidade e o processamento de dados. Além disso, as instâncias P3 do Amazon EC2 funcionam perfeitamente com o Amazon SageMaker para fornecer uma plataforma de machine learning completa eficiente e intuitiva. O Amazon SageMaker é uma plataforma de machine learning gerenciada que permite que você construa, treine e implante de forma rápida e fácil modelos de machine learning. Além disso, as instâncias P3 do Amazon EC2 podem ser integradas às imagens de máquina da Amazon (AMIs) do AWS Deep Learning, pré-instaladas com estruturas populares de aprendizado profundo. Assim, iniciar o treinamento de machine learning e inferências fica mais fácil e rápido.

Com o Amazon SageMaker, é mais fácil criar, treinar e implementar modelos de machine learning, e deixá-los prontos para treinamento. O serviço fornece tudo de que você precisa para se conectar rapidamente aos dados de treinamento e selecionar e otimizar o melhor algoritmo e a melhor estrutura para os aplicativos. O Amazon SageMaker inclui blocos de anotações Jupyter hospedados que facilitam a exploração e visualização dos dados de treinamento armazenados no Amazon S3.  Você também pode usar a instância do bloco de anotações para escrever código para criar trabalhos de treinamento de modelo, implantar modelos no Amazon SageMaker e testar ou validar seus modelos.

Você pode começar a treinar um modelo com apenas um clique no console ou com uma simples chamada de API. O Amazon SageMaker é pré-configurado com as versões mais recentes do TensorFlow e do Apache MXNet, e oferece suporte à biblioteca CUDA9 para proporcionar a performance ideal em GPUs NVIDIA. Além disso, a otimização de hiperparâmetros pode ajustar automaticamente o modelo, definindo com inteligência diferentes combinações de parâmetros do modelo para chegar rapidamente às previsões mais precisas. Para necessidades de escala maiores, você pode escalar para dezenas de instâncias a fim de oferecer suporte à criação de modelo mais rápida.

Após o treinamento, clique uma vez para implantar seu modelo em instâncias do Amazon EC2 de escalabilidade automática em várias zonas de disponibilidade. Em produção, o Amazon SageMaker gerencia a infraestrutura de computação para você, fazendo verificações de integridade, aplicando patches de segurança e realizando manutenções de rotina, tudo com o monitoramento e o registro em logs do Amazon CloudWatch.

As instâncias P3dn.24xlarge do Amazon EC2 são as maiores, mais rápidas e mais potentes instâncias P3. Elas oferecem até 100 Gbps de taxa de transferência de redes, 8 GPUs NVIDIA® V100 Tensor Core com 32 GiB de memória cada, 96 vCPUs Intel® Xeon® escaláveis (Skylake) personalizadas e 1,8 TB de armazenamento local SSD baseado em NVMe. Com as redes mais rápidas, novos processadores, o dobro de memória de GPU e vCPUs adicionais, os desenvolvedores podem reduzir consideravelmente o tempo de treinamento de modelos de ML ou executar mais simulações de HPC por meio da redução da escala dos trabalhos em diversas instâncias (por exemplo, 16, 32 ou 64 instâncias). Os modelos de machine learning exigem uma grande quantidade de dados para treinamento. Além de aumentar a taxa de transferência da passagem de dados entre as instâncias, a taxa de transferência de rede adicional das instâncias P3dn.24xlarge também pode ser usada para acelerar o acesso a grandes quantidades de dados de treinamento com a conexão ao Simple Storage Service (Amazon S3) ou a soluções de sistemas de arquivos compartilhados, como o Amazon EFS.

Com 100 Gbps de taxa de transferência de redes, os desenvolvedores podem usar de forma eficiente uma grande quantidade de instâncias P3dn.24xlarge para treinamento distribuído e reduzir consideravelmente o tempo de treinamento dos modelos. As 96 vCPUs com processadores Intel Skylake personalizados da AWS e instruções AVX-512 operando a 2,5 GHz ajudam a otimizar o pré-processamento de dados. Além disso, as instâncias P3dn.24xlarge usam o AWS Nitro System, uma combinação de hardware dedicado e hipervisor leve, que fornece às suas instâncias praticamente todos os recursos de computação e memória do hardware do host. As instâncias P3dn.24xlarge também oferecem suporte ao Elastic Fabric Adapter, que permite aplicações de ML que usam a NVIDIA Collective Communications Library (NCCL) para escalar milhares de GPUs.

As redes aperfeiçoadas que usam a versão mais recente do adaptador de rede elástica com até 100 Gbps de largura de banda de rede agregada podem ser usadas não apenas para compartilhar dados entre várias instâncias P3dn.24xlarge, mas também para acessar dados com alto throughput por meio do Amazon S3 ou de uma solução de sistemas de arquivos compartilhados como o Amazon EFS. O acesso aos dados com alto throughput é crucial para otimizar a utilização de GPUs e entregar a máxima performance das instâncias de computação.

As instâncias P3dn.24xlarge oferecem GPUs de NVIDIA V100 Tensor Core com 32 GiB de memória e permitem flexibilidade para treinar modelos maiores e mais avançados de machine learning, bem como processar maiores lotes de dados, como imagens 4K para classificação de imagens e sistemas de detecção de objetos.