Perguntas frequentes sobre o AWS DataSync

P: O que é o AWS DataSync?

R: O AWS DataSync é um serviço de movimentação e de descoberta de dados on-line que simplifica e acelera as migrações de dados para a AWS, bem como a movimentação de dados de e para armazenamentos on-premises, locais da borda, outros provedores de nuvem e serviços do armazenamento da AWS.

O AWS DataSync Discovery ajuda você a simplificar o planejamento da migração e acelerar a migração de dados para a AWS ao fornecer visibilidade sobre a performance e a utilização do armazenamento on-premises e ao oferecer recomendações para a migração de dados para os serviços do armazenamento da AWS. O DataSync Discovery possibilita que você compreenda melhor a performance do armazenamento on-premises e o uso da capacidade por meio da coleta e análise automatizada de dados, o que possibilita identificar os dados a serem migrados com rapidez e usar as recomendações geradas para selecionar os serviços do armazenamento da AWS que se alinham às suas necessidades de performance e capacidade.

Para transferências de dados on-line, o AWS DataSync simplifica, automatiza e acelera a cópia de grandes quantidades de dados de entrada e saída de armazenamentos on-premises, locais da borda, outros provedores de nuvem e serviços do armazenamento da AWS. O DataSync pode copiar dados de entrada e saída de compartilhamentos do Network File System (NFS), compartilhamentos do Server Message Block (SMB), Sistemas de Arquivos Distribuídos do Hadoop (HDFS), armazenamentos de objetos autogerenciados, Google Cloud Storage, Arquivos do Azure, Armazenamento de Blobs do Azure, incluindo dados do Azure Data Lake Storage Gen2, Wasabi Cloud Storage, Oracle Cloud Storage, Armazenamento R2 da Cloudflare, DigitalOcean Spaces, Backblaze B2 Cloud Storage, AWS Snowcone, armazenamentos compatíveis com o Amazon S3 no Snow, Amazon Simple Storage Service (Amazon S3), sistemas de arquivos do Amazon Elastic File System (Amazon EFS), sistemas de arquivos do Amazon FSx para Windows File Server, sistemas de arquivos do Amazon FSx para Lustre, sistemas de arquivos do Amazon FSx para OpenZFS e sistemas de arquivos do Amazon FSx para NetApp ONTAP.

P: Por que devo usar o AWS DataSync?

R: O AWS DataSync permite que você descubra e migre dados com segurança e rapidez. Usando o DataSync Discovery, você pode entender melhor sua utilização de armazenamento on-premises e receber recomendações para informar suas estimativas de custo e planos de migração para a AWS. Para migração de dados, você pode usar o DataSync para copiar grandes conjuntos de dados com milhões de arquivos sem precisar criar soluções personalizadas com ferramentas de código aberto ou licenciar e gerenciar aplicações comerciais caras de aceleração de rede. Você pode usar o DataSync para migrar dados ativos para a AWS, arquivar dados para liberar a capacidade de armazenamento on-premises, replicar dados para a AWS para fins de continuidade de negócios ou transferir dados para a nuvem para análises e processamento.

P: Qual é o problema que o AWS DataSync Discovery resolve?

R: O AWS DataSync Discovery simplifica e acelera a migração de dados para a AWS. Usando o DataSync Discovery, você pode coletar dados automaticamente sobre seus sistemas de armazenamento on-premises e visualizar os resultados agregados no console do DataSync. O DataSync Discovery analisa a performance, a capacidade e a utilização dos dados coletados e recomenda os serviços do AWS Storage para migração. Com o DataSync Discovery, você pode entender melhor a utilização do armazenamento on-premises, identificar rapidamente os dados a serem migrados e selecionar os serviços do AWS Storage que atendem às suas necessidades de desempenho e otimizam os custos de armazenamento.

P: Quais problemas o AWS DataSync pode resolver?

R: O AWS DataSync reduz a complexidade e o custo da transferência de dados on-line, simplificando a transferência de conjuntos de dados de e para armazenamentos on-premises, locais da borda, outros provedores de nuvem e serviços do armazenamento da AWS. O DataSync se conecta a sistemas de armazenamento e fontes de dados existentes com protocolos de armazenamento padrão (NFS e SMB), como um cliente HDFS, usando a API do Amazon S3 ou utilizando outras APIs de armazenamento em nuvem. Ele utiliza um protocolo de rede especificamente projetado e arquitetura expansível para acelerar a transferência entre os sistemas de armazenamento e os serviços da AWS. O DataSync escala e manuseia automaticamente todos os arquivos e objetos em movimento, programando transferências de dados, monitorando o progresso de transferências, criptografia e verificação de transferência de dados e notificando os clientes em caso de problemas. Com o DataSync, você paga apenas pela quantidade de dados copiada, sem compromissos mínimos ou taxas antecipadas.

P: Quais sistemas de armazenamento são compatíveis com o AWS DataSync Discovery?

No momento, o AWS DataSync Discovery é compatível com arrays das séries NetApp FAS e AFF que executam o ONTAP 9.7 ou versão posterior. O suporte para sistemas de armazenamento adicionais será adicionado ao longo do tempo.

P: Quais informações o AWS DataSync Discovery coleta sobre meu sistema de armazenamento?

O AWS DataSync Discovery usa a interface de API de gerenciamento de armazenamento para coletar informações sobre seu sistema de armazenamento com métricas de performance e utilização. As informações do sistema incluem atributos como capacidade total de armazenamento, configuração de volume, nomes de exportação/compartilhamento e muito mais. As métricas do sistema de armazenamento incluem performance, como throughput de volume e IOPS, e métricas de utilização, como capacidade alocada e usada. O DataSync Discovery usa as informações e métricas do sistema coletadas para gerar recomendações de migração para o armazenamento da AWS.

P: Como o AWS DataSync Discovery determina suas recomendações?

O AWS DataSync Discovery analisa os dados coletados do sistema de armazenamento on-premises e os compara com os recursos, a capacidade e as capacidades de performance dos serviços de armazenamento da AWS. Quando apropriado, o DataSync Discovery recomendará um ou mais serviços de armazenamento da AWS para que sejam considerados por você.

P: Posso usar o AWS DataSync Discovery com meus sistemas de produção? Que impacto isso terá em meus usuários e aplicações?

Não haverá impacto perceptível para usuários e aplicações quando o AWS DataSync Discovery for usado com seus sistemas de armazenamento on-premises.

P: Onde o AWS DataSync Discovery armazena dados coletados sobre meus sistemas de armazenamento?

Os dados coletados serão armazenados e gerenciados pelo serviço DataSync. Os dados podem ser visualizados no console do AWS DataSync ou acessados usando a AWS CLI ou o kit de desenvolvimento de software (SDK) da AWS.

P: Por quanto tempo o AWS DataSync Discovery armazena dados coletados para um trabalho de descoberta?

Os dados e as recomendações coletados serão retidos por 60 dias após o término de um trabalho de descoberta.

P: Como faço para usar o AWS DataSync com a finalidade de migrar dados para a AWS?

R: Você pode usar o AWS DataSync para migrar dados localizados no local, na borda ou em outras nuvens para o Amazon S3, Amazon EFS, Amazon FSx para Windows File Server, Amazon FSx para Lustre, Amazon FSx para OpenZFS e Amazon FSx para NetApp ONTAP. Configure o DataSync para fazer uma cópia inicial de todo o conjunto de dados e programe transferências incrementais subsequentes dos dados que são alterados até a migração final on-premises para a AWS. O DataSync inclui criptografia e validação de integridade para ajudar a assegurar que os dados cheguem seguros, intactos e prontos para uso. Para minimizar o impacto nas cargas de trabalho que dependem da sua conexão de rede, você pode programar sua migração para uma execução fora do horário comercial ou limitar a largura de banda de rede que o DataSync usa, configurando a aceleração de largura de banda integrada. O DataSync preserva os metadados entre os sistemas de armazenamento que apresentam estruturas de metadados semelhantes, permitindo uma transição fácil de usuários finais e aplicativos para utilizarem seu serviço alvo do AWS Storage.

Leia a postagem de blog sobre armazenamento “Migrating storage with AWS DataSync” para obter dicas e conhecer as melhores práticas sobre migração.

P: Como posso usar o AWS DataSync para armazenar dados frios?

R: Você pode usar o AWS DataSync para transferir dados frios de sistemas de armazenamento on-premises diretamente para um armazenamento de longo prazo seguro e durável, como o Amazon S3 Glacier Flexible Retrieval (antigo S3 Glacier) ou o Amazon S3 Glacier Deep Archive. Use os filtros de exclusão do DataSync para excluir a cópia de arquivos e pastas temporários ou use filtros de inclusão ou manifestos para copiar somente um subconjunto de arquivos do seu local de origem. Você pode selecionar o serviço de armazenamento mais econômico correspondente às suas necessidades: transfira dados para qualquer classe de armazenamento do S3, ou use o DataSync com o EFS Lifecycle Management para armazenar dados na classe de armazenamento Infrequent Access do Amazon EFS (EFS IA). Use a funcionalidade interna de agendamento de tarefas para arquivar regularmente dados que devem ser mantidos para fins de conformidade ou auditoria, como registros, filmagens ou registros médicos eletrônicos. 

P: Como utilizo o AWS DataSync para replicar dados para a AWS a fim de manter a continuidade de negócios?

R: Com o AWS DataSync, você pode replicar arquivos periodicamente em qualquer classe de armazenamento do Amazon S3 ou enviar os dados para o Amazon EFS, o Amazon FSx para Windows File Server, o Amazon FSx para Lustre, o Amazon FSx para OpenZFS ou o Amazon FSx para NetApp ONTAP para um sistema de arquivos em espera. Use a funcionalidade de agendamento de tarefas interna para garantir que as alterações no conjunto de dados sejam copiadas regularmente para o armazenamento de destino. Leia esta postagem de blog sobre armazenamento da AWS para saber mais sobre proteção de dados usando o AWS DataSync.

P: Como posso usar o AWS DataSync para transferências recorrentes entre on-premises e a AWS para fluxos de trabalho em andamento?

R: Você pode usar o AWS DataSync para transferências contínuas de sistemas on-premises para dentro ou fora da AWS para processamento. O DataSync pode ajudar a acelerar seus fluxos de trabalho essenciais de armazenamento na nuvem híbrida nos setores que precisam migrar arquivos ativos para a AWS rapidamente. Isso inclui machine learning em ciências biológicas, produção de vídeo em mídia e entretenimento, análise de big data em serviços financeiros e pesquisa sísmica em petróleo e gás. O DataSync fornece entregas oportunas para garantir processos dependentes não se atrasem. Você pode especificar filtros de inclusão e exclusão ou manifestos para especificar quais arquivos ou objetos devem ser transferidos sempre que sua tarefa for executada.

P: Posso usar o AWS DataSync para copiar dados de outras nuvens para a AWS?

R: Sim. Ao usar o AWS DataSync, é possível copiar dados do Google Cloud Storage usando a API do Amazon S3, dos Arquivos do Azure usando o protocolo SMB ou do Armazenamento de Blobs do Azure, incluindo o Azure Data Lake Storage Gen 2. Também é possível mover dados do Wasabi Cloud Storage, Oracle Cloud Storage, Armazenamento R2 da Cloudflare, DigitalOcean Spaces e Backblaze B2 Cloud Storage. Implante o agente do DataSync em seu ambiente de nuvem ou no Amazon EC2, crie seus locais de origem e destino e, em seguida, inicie sua tarefa para começar a copiar dados. Saiba mais sobre as soluções da AWS para ambientes híbridos e multinuvem.

P: Posso usar o AWS DataSync para criar meu data lake?

R: Sim. Com o AWS DataSync, você pode criar facilmente seu data lake automatizando a transferência de conjuntos de dados on-premises ou dados em outras nuvens para o Amazon S3. O DataSync permite uma transferência simples e rápida de todo o seu conjunto de dados usando protocolos de armazenamento padrão (NFS ou SMB), como um cliente HDFS, usando a API do Amazon S3, ou usando outras APIs de armazenamento em nuvem. Depois de transferir seu conjunto de dados inicial, você pode programar transferências subsequentes de novos dados para a AWS. O DataSync inclui criptografia e validação de integridade para ajudar a assegurar que os dados cheguem seguros, intactos e prontos para uso. Para minimizar o impacto nas cargas de trabalho que dependem da sua conexão de rede, você pode programar tarefas de transferência para uma execução fora do horário comercial ou limitar a largura de banda de rede que o DataSync usa, configurando a aceleração de largura de banda integrada. Depois que seus dados chegarem ao Amazon S3, você poderá usar os serviços nativos da AWS para executar aplicativos de análise de big data, inteligência artificial (IA), machine learning (ML), computação de alta performance (HPC) e processamento de dados de mídia para obter informações de seus conjuntos de dados desestruturados. Leia a página da web de armazenamento do data lake da AWS para saber mais sobre a criação e utilização do seu data lake.

P: Como uso o AWS DataSync para transferir dados entre os serviços de armazenamento da AWS?

R: Você pode usar o DataSync para transferir arquivos ou objetos entre o Simple Storage Service (Amazon S3), o Amazon EFS, o Amazon FSx para Windows File Server, o Amazon FSx para Lustre, o Amazon FSx para OpenZFS ou o Amazon FSx para NetApp ONTAP na mesma conta da AWS. É possível transferir dados entre os produtos da AWS na mesma região da AWS, entre serviços em diferentes regiões comerciais da AWS, com exceção da China, ou entre regiões AWS GovCloud (Leste dos EUA e Oeste dos EUA). Isso não exige a implantação de um agente do DataSync, e pode ser configurado de ponta a ponta usando o console do AWS DataSync, a Command Line Interface (CLI – Interface de linhas de comando) da AWS ou o Software Development Kit (SDK – Kit de desenvolvimento de software) da AWS.

P: Posso usar o AWS DataSync para migrar para o Amazon WorkDocs?

R. Sim. O AWS DataSync acelera uma etapa necessária para o Amazon WorkDocs Migration Service automatizando o upload de arquivos para o bucket do Amazon S3 que é usado para a migração. Ele facilita e agiliza a migração de diretórios iniciais e compartilhamentos departamentais para o WorkDocs. Para saber mais sobre como usar o DataSync para migrações para o WorkDocs, leia o blog “Migrating network file shares to Amazon WorkDocs using AWS DataSync”.

P: Como começo a usar o AWS DataSync Discovery?

Comece a usar com a implantação de um agente do AWS DataSync em seu ambiente de VM on-premises. Usando o console do DataSync, a CLI ou o SDK, configure o DataSync Discovery para se conectar ao armazenamento on-premises e execute trabalhos de descoberta para coletar dados sobre seu sistema de armazenamento junto com métricas de performance, capacidade e uso. Enquanto seus trabalhos de descoberta são executados, as informações sobre seus sistemas de armazenamento podem ser visualizadas em painéis no console do DataSync. Após a conclusão de um trabalho de descoberta, os dados coletados são analisados para criar recomendações de migração para serviços do AWS Storage como Amazon EFS, Amazon FSx e Amazon S3. Essas recomendações podem ser usadas para orientar a seleção de serviços do AWS Storage. Você pode usar o AWS DataSync para migrar os dados.

P: O que preciso fazer para começar a migrar meus dados com o AWS DataSync?

R: Com alguns cliques, você pode transferir dados usando o AWS DataSync no Console de Gerenciamento da AWS ou por meio da AWS Command Line Interface (CLI). Para começar, siga as 3 etapas a seguir:

1. Para transferir dados entre sistemas de armazenamento on-premises, de borda ou outros sistemas de armazenamento em nuvem e serviços do AWS Storage, implante um atendente - Implante um atendente do DataSync e associe-o à sua conta da AWS por meio do Console de gerenciamento ou da API. O atendente será usado para acessar seu servidor NFS, compartilhamento de arquivos SMB, cluster Hadoop ou armazenamento de objetos autogerenciado ou em nuvem para leitura e gravação de dados. A implantação de um atendente não é necessária para transferir dados entre serviços do AWS Storage dentro da mesma conta da AWS.

2. Crie uma tarefa de transferência de dados: crie uma tarefa especificando a localização da fonte e do destino de dados e todas as opções que você deseja usar para configurar a transferência, como programar a tarefa e ativar os relatórios de tarefas.

3. Inicie a transferência: inicie a tarefa, monitore a movimentação de dados no console ou com o Amazon CloudWatch e audite as tarefas de transferência usando relatórios de tarefas.

P: Como posso implantar um agente do AWS DataSync?

R: Você implanta um agente do AWS DataSync em seu hipervisor on-premises, em seu ambiente de nuvem pública ou no Amazon EC2. Para copiar dados de ou em um servidor de arquivos on-premises ou armazenamento compatível com o Amazon S3 on Snow, baixe a imagem de máquina virtual do agente no Console da AWS e implante-o no hipervisor VMware ESXi, na máquina virtual baseada em kernel (KVM) do Linux ou no Microsoft Hyper-V on-premises. O agente deve ser implantado para que ele possa acessar seu servidor de arquivos usando o protocolo NFS, SMB, acessar NameNodes e DataNodes em seu cluster Hadoop ou acessar seu armazenamento de objetos usando a API do Amazon S3. Para configurar transferências entre seu S3 nos buckets do AWS Outposts ou do S3 em regiões da AWS, implante o agente em seu Outpost. Para configurar transferências entre o dispositivo do AWS Snowcone e o armazenamento da AWS, use a AMI do atendente do DataSync que vem pré-instalada no dispositivo.

Ao copiar dados entre seu ambiente de nuvem pública e o armazenamento da AWS, você pode implantar o atendente do DataSync em seu ambiente de nuvem ou no Amazon EC2. Como o AWS DataSync compacta dados em trânsito entre o atendente do AWS DataSync e os serviços de armazenamento da AWS, você poderá reduzir as taxas de saída implantando o atendente do AWS DataSync em seu ambiente de nuvem pública.  

Não é necessária a implantação de um atendente para transferir dados entre serviços de armazenamento da AWS dentro da mesma conta da AWS. Para copiar dados para ou de um servidor de arquivos autogerenciado na nuvem, ou entre serviços do AWS Storage em diferentes contas da AWS, execute uma instância do Amazon EC2 usando uma AMI do agente do DataSync.

P: Quais são os requisitos de recursos do agente do AWS DataSync?

R: Os recursos mínimos necessários para executar o agente estão relacionados aqui.

P: Como inicio uma tarefa de transferência de dados do AWS DataSync?

R: O AWS DataSync copia dados quando você inicia uma tarefa usando o Console de Gerenciamento da AWS ou a Interface de linhas de comando (CLI) da AWS. Em cada execução, a tarefa verifica a existência de alterações na origem e no destino e copia todas as diferenças de dados e metadados entre a origem e o destino. Você pode configurar quais características da origem são usadas para determinar o que foi alterado, definir filtros de inclusão e exclusão ou manifestos para transferir dados específicos de arquivos e objetos e controlar se os arquivos ou objetos no destino devem ser sobrescritos quando alterados na origem ou excluídos quando não encontrados na origem.

P: Como o AWS DataSync pode garantir que meus dados estão sendo copiados corretamente? 

R: Enquanto transfere e armazena os dados, o AWS DataSync executa verificações de integridade que determinam se os dados gravados no destino correspondem aos que estão sendo lidos na origem. Além disso, uma verificação de verificação opcional pode ser executada para comparar a origem e o destino no final da transferência. O DataSync irá calcular e comparar as somas de verificação de arquivo completo dos dados armazenados na origem e no destino. É possível verificar todo o conjunto de dados ou apenas os arquivos ou objetos que o DataSync transferiu.

P: Como posso monitorar o status dos dados que estão sendo transferidos pelo AWS DataSync?

R: Você pode usar relatórios de tarefas para auditar seus processos de transferência de dados verificando as operações de transferência em todas as execuções de tarefas. Usando relatórios de tarefas, você pode obter um relatório resumido junto com relatórios detalhados de todos os arquivos transferidos, ignorados, verificados e excluídos para cada execução de tarefa. Os relatórios de tarefas fornecem o número total de arquivos e bytes transferidos e incluem atributos de arquivo, como tamanho, caminho, registros de data e hora, somas de verificação de arquivos e IDs de versão do objeto, quando aplicável. Você também pode utilizar o AWS Glue, o Amazon Athena e o Amazon QuickSight para catalogar, consultar e visualizar automaticamente relatórios de tarefas para obter informações críticas sobre seus processos de transferência de dados.

Você pode usar o Console de Gerenciamento da AWS ou a CLI para monitorar o status e o progresso dos dados que estão sendo transferidos. O Amazon CloudWatch Metrics pode ser usado para ver o número de arquivos e a quantidade de dados copiados. Você também pode ativar o registro em log de arquivos individuais para o CloudWatch Logs, para identificar o que foi transferido em determinado momento, bem como os resultados da verificação de integridade de conteúdo realizada pelo DataSync.

Juntas, essas soluções simplificam a auditoria, o monitoramento, a emissão de relatórios e a solução de problemas, além de permitir que você forneça atualizações oportunas às partes interessadas.

P: Posso filtrar os arquivos e pastas que o AWS DataSync transfere?

R: Sim. Você pode especificar um filtro de exclusão, um filtro de inclusão ou os dois tipos de filtros para limitar quais arquivos, pastas ou objetos são transferidos sempre que uma tarefa é executada. Como alternativa, você pode usar manifestos para especificar um subconjunto de arquivos ou objetos que devem ser transferidos do local de origem.

Filtros de inclusão especificam os caminhos de arquivos e pastas ou chaves de objeto que devem ser incluídos quando a tarefa é executada e limita o escopo do que é verificado pelo DataSync na origem e no destino. Filtros de exclusão especificam os caminhos de arquivos e pastas ou chaves de objeto que devem ser excluídos da cópia.  Ao criar ou atualizar uma tarefa, você pode configurar filtros de exclusão e inclusão. Ao iniciar uma tarefa, você pode substituir e atualizar os filtros configurados na tarefa. Leia esse blog de armazenamento da AWS para saber mais sobre como usar filtros comuns com o DataSync.

Um manifesto é um arquivo em formato CSV que lista os caminhos do arquivo ou as chaves de objeto que devem ser incluídas quando a tarefa é executada e limita o escopo do que é verificado pelo DataSync na origem e no destino. Ao criar ou atualizar uma tarefa, você pode fornecer um arquivo de manifesto com milhões de arquivos ou objetos de origem, e o DataSync só comparará e transferirá os arquivos listados nesse manifesto. Ao iniciar uma tarefa, você pode substituir e atualizar o arquivo de manifesto. Ao copiar dados do Amazon S3, você também pode especificar um ID de versão S3 opcional de cada objeto a ser transferido. Leia este blog para obter mais detalhes.

Observe que filtros e manifestos não podem ser usados juntos.

P: Qual é a diferença entre usar um arquivo de manifesto e usar filtros de inclusão?

R: Enquanto um manifesto é uma lista explícita de arquivos ou objetos a serem transferidos do local de origem, um filtro de inclusão é uma string que especifica padrões de arquivos e pastas a serem transferidos da origem. Somente arquivos e pastas que corresponderem aos padrões no filtro são copiados. Um padrão pode ser um caminho inteiro de arquivo ou pasta ou um prefixo que termina com um caractere curinga (*), indicando que todos os arquivos ou objetos que corresponderem ao prefixo deverão ser copiados. Filtros de inclusão são ideais para clientes que desejam copiar apenas um pequeno conjunto de arquivos ou objetos ou algumas pastas específicas. Clientes com conjuntos de dados conhecidos, como aqueles movidos como parte de um fluxo de trabalho automatizado, podem usar manifestos para evitar a varredura de todo o sistema de armazenamento de arquivos ou objetos para determinar alterações. Usando um arquivo de manifesto, os clientes podem especificar milhões de arquivos ou objetos de origem a serem transferidos, e o DataSync só comparará os arquivos listados no manifesto. Os clientes também podem usar manifestos para copiar versões específicas de objetos do bucket do Amazon S3.

P: Posso configurar o AWS DataSync para fazer uma transferência para um cronograma?

R: Sim. Você pode programar suas tarefas usando o AWS DataSync Console ou a AWS Command Line Interface (CLI), sem precisar gravar ou executar scripts para gerenciar as transferências repetidas. O agendamento de tarefas as executa automaticamente dentro do cronograma que você configura, com as opções horárias, diárias ou semanais fornecidas diretamente no Console. Isso permite que você garanta que as mudanças feitas no seu conjunto de dados sejam automaticamente detectadas e copiadas em seu armazenamento destino.

P: O AWS DataSync preserva a estrutura de descobertas ao copiar arquivos?

R: Sim. Na transferência de arquivos, o AWS DataSync cria uma estrutura de diretório no destino que é similar à estrutura do local de origem.

P: O que acontece se uma tarefa do AWS DataSync for interrompida?

R: Se uma tarefa for interrompida (por exemplo, se a conexão de rede cair ou se o agente do AWS DataSync for reiniciado), a execução seguinte dessa tarefa transferirá os arquivos que faltam. Os dados estarão completos e consistentes após essa execução. Cada vez que uma tarefa é iniciada, ele executa uma cópia incremental, transferindo para o destino apenas o que difere na origem.

P: Posso usar o AWS DataSync com o AWS Direct Connect?

R: Você pode usar o AWS DataSync com seu link do Direct Connect para acessar endpoints de serviços públicos ou VPC endpoints privados. A usar os endpoints da VPC, os dados transferidos entre o agente do DataSync e os serviços da AWS não passam pela Internet pública nem usam endereços IP públicos, o que aumenta a segurança dos dados durante a cópia pela rede. No momento, o DataSync Discovery é compatível apenas com endpoints de serviço público.

P: O AWS DataSync é compatível com endpoints da VPC ou com o AWS PrivateLink?

R: Sim, endpoints da VPC são compatíveis com casos de uso de migração de dados. Você pode usar endpoints da VPC para evitar que os dados transferidos pelo agente do AWS DataSync, seja implantado no on-premises ou na nuvem, passem pela Internet pública ou precisem de endereços IP públicos. O uso de endpoints da VPC aumenta a segurança de seus dados, porque mantêm o tráfego de rede restrito à Amazon Virtual Private Cloud (Amazon VPC). Os endpoints da VPC do DataSync são desenvolvidos pelo AWS PrivateLink, uma tecnologia escalável altamente disponível que permite a conexão privada entre uma VPC e os serviços da AWS compatíveis.

P: Como configurar o AWS DataSync para usar VPC endpoints?

R: Para usar VPC endpoints com o AWS DataSync, basta criar um VPC endpoint de interface do AWS PrivateLink para o serviço do DataSync na VPC de sua escolha. Depois, selecione a interface de rede elástica (ENI) desse endpoint ao criar seu agente do DataSync. O agente se conectará a essa ENI na ativação e, a partir desse momento, todos os dados transferidos pelo agente permanecerão dentro da VPC configurada. Para configurar VPC endpoints, você pode usar o console do AWS DataSync, a interface da linha de comando da AWS (ILC) ou o AWS SDK. Para saber mais, consulte Using AWS DataSync in a Virtual Private Cloud (Usar o AWS DataSync em uma nuvem privada virtual).

P: Quais serviços do AWS Storage são compatíveis com o AWS DataSync?

O AWS DataSync é compatível com a migração de dados de, para ou entre o Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS), Amazon FSx para Windows File Server, Amazon FSx para Lustre, Amazon FSx para OpenZFS e Amazon FSx para NetApp ONTAP.
 

P: Posso copiar meus dados para as classes Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval (antiga S3 Glacier) e Amazon S3 Glacier Deep Archive ou para outras classes de armazenamento do S3?

R: Sim. Ao configurar um bucket do S3 para uso com o AWS DataSync, é possível selecionar a classe de armazenamento do S3 que o DataSync usa para armazenar objetos. O DataSync oferece suporte ao armazenamento de dados diretamente para S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval e Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive). Mais informações sobre as classes de armazenamento do Amazon S3 podem ser encontradas no Guia do desenvolvedor do Amazon Simple Storage Service.

Objetos menores que a capacidade de carga mínima por objeto serão armazenados no S3 Standard. Por exemplo, os objetos de pasta, que têm tamanho de zero bytes e contêm somente metadados, serão armazenados na classe S3 Standard. Leia sobre as considerações ao trabalhar com as classes de armazenamento do Amazon S3 em nossa documentação e sobre como avaliar os custos de solicitações do S3 ao usar o DataSync. Para obter mais informações sobre o preço mínimo para as capacidades, consulte Preços do Amazon S3.

P: É possível copiar dados das classes de armazenamento S3 Standard-IA e S3 One Zone-IA?

R: Sim. Ao usar o S3 como local de origem para uma tarefa do AWS DataSync, o serviço irá recuperar todos os objetos do bucket que precisam ser copiados para o destino. Recuperar objetos das classes de armazenamento S3 Standard-IA e S3 One Zone-IA incorrerá em uma taxa de recuperação baseada no tamanho dos objetos. Leia sobre as considerações ao trabalhar com as classes de armazenamento do Amazon S3 em nossa documentação.

P: É possível copiar dados das classes Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval (antiga S3 Glacier) e Amazon S3 Glacier Deep Archive?

R: Ao usar o S3 como o local de origem para uma tarefa do AWS DataSync, o serviço tentará recuperar todos os objetos do bucket que precisam ser copiados para o destino. A recuperação de objetos arquivados na classe de armazenamento S3 Glacier Instant Retrieval incorrerá em taxas de recuperação mais altas com base no tamanho dos objetos. A recuperação de objetos arquivados nas classes de armazenamento S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive resulta em um erro. Quaisquer erros que ocorrem na recuperação de objetos arquivados serão registrados pelo DataSync e resultarão em um status de falha na conclusão da tarefa. Leia sobre as considerações ao trabalhar com as classes de armazenamento do Amazon S3 e sobre como avaliar os custos de solicitações do S3 ao usar o DataSync em nossa documentação.

P: Como o AWS DataSync acessa meu bucket do Amazon S3?

R: O AWS DataSync assume uma função do IAM que você fornecer. A política que você anexar à função determina quais ações essa função pode executar. O DataSync pode gerar automaticamente essa função por você ou, se preferir, você pode configurar a função manualmente.

P: Como o AWS DataSync converte pastas e arquivos em objetos do Simple Storage Service (Amazon S3) e vice-versa?

R: Quando se copiam pastas e arquivos no Amazon S3, estabelece-se uma relação de um para um entre uma pasta ou arquivo e um objeto. Os carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os ID de usuário e de grupo, assim como as permissões, são armazenados nos metadados de usuário do S3. Para compartilhamentos NFS, os metadados de arquivos armazenados nos metadados de usuário do S3 podem interoperar totalmente com o File Gateway, permitindo acesso on-premises baseado em arquivos aos dados armazenados no Amazon S3 pelo AWS DataSync.

Quando o DataSync copia objetos que contêm esses metadados de usuário num servidor NFS, os metadados do arquivo são restaurados. Links simbólicos e hard links também são recuperados em operações de cópia de retorno do NFS para o S3.

Quando ele copia dados de um compartilhamento de arquivos SMB, permissões POSIX padrão são armazenadas nos metadados de usuário do S3. Quando ele os copia para um compartilhamento de arquivos SMB, a propriedade se define com base no usuário configurado no DataSync para acessar esse compartilhamento para a atribuição das permissões padrão.

Ao copiar do HDFS, os carimbos de data/hora do arquivo e da pasta, propriedade do usuário e grupo e permissões POSIX são armazenados nos metadados do usuário do S3. Ao copiar do Amazon S3 de volta para o HDFS, os metadados de arquivos e pastas são armazenados.

Saiba mais sobre como o DataSync armazena arquivos e metadados em nossa documentação.

P: Quais metadados de objetos são preservados na transferência de objetos entre o armazenamento de objetos autogerenciado ou o Armazenamento de Blobs do Azure e o Amazon S3?

R: Na transferência de objetos entre o armazenamento de objetos autogerenciado ou o Armazenamento de Blobs do Azure e o Amazon S3, o DataSync copia objetos junto com seus metadados e etiquetas.

P: Quais metadados de objetos são preservados na transferência de objetos entre buckets do Amazon S3?

R: Ao transferir objetos entre buckets do Amazon S3, o DataSync copia os objetos juntamente com seus metadados e tags. O DataSync não copia outras informações dos objetos, como ACLs ou versões anteriores.

P: Quais custos de solicitação e armazenamento do Amazon S3 se aplicam ao usar as classes de armazenamento do S3 com o AWS DataSync?

R: Algumas classes de armazenamento do S3 têm comportamentos que podem afetar seu custo, como recuperação de dados, recursos de armazenamento mínimo e durações mínimas de armazenamento. O DataSync automatiza o gerenciamento de dados para processar esses fatores e fornece as configurações para minimizar a recuperação de dados.

Para evitar cobranças de capacidade mínimas por objeto, o AWS DataSync automaticamente armazena objetos pequenos no S3 Standard. Para minimizar as taxas de recuperação de dados, você pode configurar o DataSync para verificar apenas os arquivos que foram transferidos por uma determinada tarefa. Para evitar cobranças relacionadas com a duração mínima de armazenamento, o DataSync tem controles para substituir e excluir objetos. Leia sobre as considerações de custo ao trabalhar com as classes de armazenamento do Amazon S3 em nossa documentação e sobre como avaliar os custos de solicitações do S3 ao usar o DataSync.

P: É possível copiar dados de objetos de e para buckets do Amazon S3 no AWS Outposts?

R. Sim. Você pode copiar objetos entre o Amazon S3 no AWS Outposts e os buckets do Amazon S3 nas regiões da AWS. O AWS DataSync copia objetos junto com metadados de objeto e tags de objeto. Para que o DataSync acesse seu Amazon S3 nos buckets do Outposts, implante um agente de EC2 do DataSync no seu Outpost.

Ao usar o DataSync com o Amazon S3 no Outposts, você só pode transferir dados de/para buckets do Amazon S3 nas regiões da AWS. Aprenda mais sobre as origens e os destinos com suporte para tarefas do DataSync em nossa documentação.

P: Como o AWS DataSync acessa um sistema de arquivos do Amazon EFS?

R: O AWS DataSync acessa sistemas de arquivos do Amazon EFS usando o protocolo NFS. O serviço DataSync monta o seu sistema de arquivos de dentro da VPC em interfaces de rede elástica (ENIs) gerenciadas pelo serviço DataSync. O DataSync gerencia a criação, o uso e a exclusão dessas ENIs para você. Você pode montar seu sistema de arquivos EFS usando um destino de montagem ou um ponto de acesso do EFS.

P: Posso usar o AWS DataSync com classes de armazenamento do Amazon EFS?

R: Sim. Você pode usar o AWS DataSync para copiar arquivos para o Amazon EFS e configurar o EFS Lifecycle Management para migrar arquivos que ainda não foram acessados por um período determinado de tempo para classes de armazenamento do Infrequent Access (IA).

P: Como uso o AWS DataSync com políticas de recursos do sistema de arquivos do Amazon EFS?

R: Você pode usar políticas de identidade do IAM e políticas de recursos para controlar o acesso do cliente aos recursos do Amazon EFS de maneira escalável e otimizada para ambientes de nuvem. Ao criar um local do DataSync para seu sistema de arquivos EFS, é possível especificar um perfil do IAM que o DataSync assumirá ao acessar o EFS. Depois, você pode usar as políticas do sistema de arquivos EFS para configurar o acesso para o perfil do IAM. Como o DataSync monta sistemas de arquivos EFS como usuário raiz, sua política do IAM deve permitir esta ação: elasticfilesystem:ClientRootAccess.

P: Posso usar o AWS DataSync para replicar meu sistema de arquivos do Amazon EFS para uma região da AWS diferente?

R: Sim. Além da replicação integrada fornecida pelo Amazon EFS, você pode usar o AWS DataSync para programar a replicação periódica de seu sistema de arquivos da Amazon EFS para um segundo sistema de arquivos da Amazon EFS na mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

P: Quais metadados são preservados ao copiar dados entre um compartilhamento do NFS e o Amazon EFS, ou entre dois sistemas de arquivos do Amazon EFS?

R: O AWS DataSync copia carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os IDs de usuário e de grupo, assim como as permissões. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

P: Quais metadados são preservados ao copiar dados entre o HDFS e o Amazon EFS?

R: O AWS DataSync copia os carimbos de data e hora de arquivos e pastas e as permissões POSIX e aplica os valores padrão para ID de usuário e ID de grupo. Para saber mais e consultar a lista completa de metadados copiados, veja nossa documentação.

P: Como o AWS DataSync acessa o sistema de arquivos do Amazon FSx para Windows File Server?

R: O AWS DataSync acessa o sistema de arquivos do Amazon FSx para Windows File Server usando o protocolo SMB, autenticando com o nome de usuário e a senha configurados no Console da AWS ou na CLI. O serviço DataSync monta seu sistema de arquivos de dentro da VPC em interfaces de rede elástica (ENIs) gerenciadas pelo serviço DataSync. O DataSync gerencia a criação, o uso e a exclusão dessas ENIs para você.

P: Quais metadados do Windows são transferidos ao copiar entre um compartilhamento do SMB e o sistema de arquivos do Amazon FSx for Windows File Server ou entre dois sistemas de arquivos do Amazon FSx?

R: O AWS DataSync copia metadados do Windows, incluindo carimbos de data/hora de arquivo, proprietário de arquivo, atributos de arquivo padrão, Discretionary Access Lists (DACLs – Listas de acesso discricionárias) do NTFS e System Access Control Lists (SACLs – Listas de controle de acesso ao sistema) do NTFS. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

P: Posso usar o AWS DataSync para replicar meu sistema de arquivos do Amazon FSx for Windows File Server para uma região diferente da AWS?

R. Sim. Você pode usar o AWS DataSync para programar a replicação periódica do sistema de arquivos do Amazon FSx for Windows File Server para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

P: Como o AWS DataSync acessa o sistema de arquivos do Amazon FSx para Lustre?

R: Quando você cria uma tarefa do DataSync para copiar de ou para o sistema de arquivos FSx for Lustre, o serviço DataSync criará interfaces de rede elásticas (ENIs) na mesma VPC e sub-rede em que seu sistema de arquivos está localizado.  O DataSync usa essas ENIs para acessar seu sistema de arquivos do FSx for Lustre usando o protocolo Lustre como usuário raiz.  Ao criar um recurso de localização do DataSync para o sistema de arquivos FSx for Lustre, você pode especificar até cinco grupos de segurança a serem aplicados às ENIs e configurar o acesso de saída a partir do serviço DataSync.  Os grupos de segurança devem ser configurados para permitir o tráfego de saída nas portas de rede exigidas pelo FSx for Lustre.  Os grupos de segurança no seu sistema de arquivos do FSx for Lustre devem ser configurados para permitir o acesso de entrada dos grupos de segurança que você atribuiu ao recurso de localização do DataSync para seu sistema de arquivos do FSx for Lustre.

P: Quais metadados são preservados ao copiar dados entre um compartilhamento do NFS ou um sistema de arquivos do Amazon EFS e o Amazon FSx for Lustre, ou entre dois sistemas de arquivos do Amazon FSx for Lustre?

R: O AWS DataSync copia carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os IDs de usuário e de grupo, assim como as permissões. Você pode saber mais e ver a lista completa de metadados copiados na nossa documentação.

P: Posso usar o AWS DataSync para migrar dados de um sistema de arquivos do FSx for Lustre para outro?

R: Sim. Você pode usar o AWS DataSync para copiar do seu sistema de arquivos do FSx for Lustre para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não exige o uso de um agente do DataSync.

P: Posso usar o AWS DataSync para replicar meu sistema de arquivos do Amazon FSx for Lustre para uma região da AWS diferente?

R: Sim. Você pode usar o AWS DataSync para programar a replicação periódica do sistema de arquivos do Amazon FSx for Lustre para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não exige o uso de um agente do DataSync.

P: O DataSync copiará as configurações de striping ou layout ao copiar de um sistema de arquivos do Amazon FSx for Lustre para outro?

R: Não. Os arquivos são gravados usando o layout do arquivo e a configuração de divisão no sistema de arquivos do destino.

P: Como o AWS DataSync acessa o sistema de arquivos do Amazon FSx para OpenZFS?

R: Quando você cria uma tarefa do DataSync para copiar de ou para o sistema de arquivos FSx for OpenZFS, o serviço DataSync cria interfaces de rede elásticas (ENIs) na mesma VPC e sub-rede em que seu sistema de arquivos está localizado.  O DataSync usa essas ENIs para acessar seu sistema de arquivos do FSx for OpenZFS usando o protocolo OpenZFS como usuário raiz.  Ao criar um recurso de localização do DataSync para o sistema de arquivos FSx for OpenZFS, você pode especificar até cinco grupos de segurança a serem aplicados às ENIs e configurar o acesso de saída do serviço DataSync.  Os grupos de segurança devem ser configurados para permitir o tráfego de saída nas portas de rede exigidas pelo FSx for OpenZFS. Os grupos de segurança de seu sistema de arquivos do FSx for OpenZFS devem ser configurados para permitir o acesso de entrada dos grupos de segurança que você atribuiu ao recurso de localização do DataSync para seu sistema de arquivos do FSx for OpenZFS.

P: Quais metadados são preservados ao copiar dados entre um compartilhamento do NFS ou um sistema de arquivos do Amazon EFS e o Amazon FSx for OpenZFS ou entre dois sistemas de arquivos do Amazon FSx for OpenZFS?

R: O AWS DataSync copia carimbos de data e hora e as permissões POSIX das pastas e arquivos, inclusive os IDs de usuário e de grupo, assim como as permissões. Saiba mais e consulte a lista completa de metadados copiados em nossa documentação.

P: Posso usar o AWS DataSync para migrar dados de um sistema de arquivos do FSx for OpenZFS para outro?

R: Sim. Você pode usar o AWS DataSync para copiar de seu sistema de arquivos do FSx for OpenZFS para um segundo sistema de arquivos na mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

P: Posso usar o AWS DataSync para replicar meu sistema de arquivos do Amazon FSx for OpenZFS para outra região da AWS?

R: Sim. Você pode usar o AWS DataSync para programar a replicação periódica do sistema de arquivos do Amazon FSx for OpenZFS para um segundo sistema de arquivos na mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

P: Como o AWS DataSync acessa o sistema de arquivos do Amazon FSx para NetApp ONTAP?

R: Quando você cria uma tarefa, o DataSync cria interfaces de rede elásticas (ENIs) na sub-rede preferencial da mesma VPC em que o sistema de arquivos do Amazon FSx para NetApp ONTAP está localizado. A sub-rede preferencial é configurada quando você cria seu sistema de arquivos FSx para ONTAP, e o DataSync usa as ENIs que cria nessa sub-rede para acessar seu sistema de arquivos FSx para ONTAP. Ao criar um recurso de localização do DataSync para o sistema de arquivos FSx para ONTAP, você pode especificar até cinco grupos de segurança a serem aplicados às ENIs para configurar o acesso de saída do serviço DataSync. É necessário configurar os grupos de segurança de seu sistema de arquivos do FSx para ONTAP para permitir o acesso de entrada dos grupos de segurança que você atribuiu ao recurso de localização do DataSync para seu sistema de arquivos do FSx para ONTAP.

P: Quais versões de protocolo o AWS DataSync pode usar com o Amazon FSx para NetApp ONTAP?

R: O AWS DataSync é compatível com o uso de NFSv3, SMB 2.1 e SMB 3. Atualmente, o DataSync não é compatível com o uso de NFSv4 ou posterior com o FSx para ONTAP.

P: O AWS DataSync preserva os metadados do sistema de arquivos ao copiar dados de ou para meu sistema de arquivos Amazon FSx para NetApp ONTAP?

R: Sim, o AWS DataSync copia carimbos de data e hora e as permissões POSIX de arquivos e pastas, inclusive os IDs de usuário e de grupo, assim como as permissões, durante o uso do protocolo NFS. Ao usar o protocolo SMB, o DataSync copia carimbos de data e hora, propriedade e ACLs de arquivos e pastas. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

P: Qual protocolo devo usar ao migrar meus dados para o Amazon FSx para NetApp ONTAP?

R: Ao migrar de servidores Windows ou compartilhamentos NAS que atendem usuários por meio do protocolo SMB, use um local de origem DataSync SMB e o protocolo SMB para o local do FSx para ONTAP, garantindo que o estilo de segurança do volume do FSx para ONTAP esteja configurado para NTFS. Ao migrar de servidores Unix ou Linux ou compartilhamentos NAS que atendem usuários por meio do protocolo NFS, use um local de origem DataSync NFS e o protocolo NFS para o local do FSx para ONTAP, garantindo que o estilo de segurança do volume do FSx para ONTAP esteja configurado para Unix. Para migrações multiprotocolo, leia as práticas recomendadas apresentadas na publicação de blog Enabling multiprotocol workloads with Amazon FSx for NetApp ONTAP (Habilitar workloads multiprotocolo com o Amazon FSx para NetApp ONTAP) e use o protocolo SMB para preservar os metadados do sistema de arquivos com o máximo de fidelidade. Para obter mais informações sobre como configurar estilos de segurança para seus volumes do FSx para ONTAP, consulte a documentação sobre como gerenciar volumes FSx para ONTAP.

P: Posso usar o AWS DataSync para acessar o mesmo sistema de arquivos Amazon FSx para NetApp ONTAP usando protocolos diferentes?

R: Sim, mas você precisará criar um local e recurso de tarefa do DataSync separados para cada protocolo (NFS ou SMB). Para evitar problemas com substituição e verificação de dados, não recomendamos o uso de várias tarefas do DataSync para copiar para o mesmo caminho de volume ao mesmo tempo (usando o mesmo protocolo ou protocolos diferentes).

P: Posso usar o AWS DataSync para transferir dados de ou para LUNs iSCSI do Amazon FSx para NetApp ONTAP?

R: Não, o DataSync oferece suporte apenas a cópia de dados de arquivo de ou para volumes do FSx para ONTAP usando protocolos NFS ou SMB.

P: Posso usar o AWS DataSync para copiar dados de um sistema de arquivos do Amazon FSx para NetApp ONTAP para outro?

R: Sim. Você pode usar o AWS DataSync para copiar do seu sistema de arquivos do FSx para ONTAP para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não requer o uso de um agente do DataSync.

P: Posso usar o AWS DataSync para replicar meu sistema de arquivos do Amazon FSx para NetApp ONTAP para outro sistema de arquivos em outra região da AWS?

R: Embora você possa usar o DataSync para replicar dados entre seus sistemas de arquivos, recomendamos usar o NetApp SnapMirror para replicar entre seus sistemas de arquivos FSx para ONTAP. O SnapMirror permite que você obtenha RPOs baixos, qualquer que seja o número ou tamanho dos arquivos de seu sistema de arquivos.

P: Como configuro o AWS DataSync para não copiar diretórios de snapshots?

R: O DataSync excluirá automaticamente as pastas denominadas “.snapshot”. Você também pode usar filtros de exclusão para evitar copiar arquivos e pastas que correspondam aos padrões especificados.

P: Como transfiro dados entre o AWS Snowcone e os serviços de armazenamento da AWS?

R: O agente do DataSync está pré-instalado no seu dispositivo do Snowcone como uma AMI. Para migrar dados online para a AWS, conecte o dispositivo do AWS Snowcone à rede externa e use o AWS OpsHub ou a CLI para iniciar a AMI do agente do DataSync. Ative o agente usando o Console de Gerenciamento da AWS ou a CLI e configure a tarefa de migração de dados on-line entre o armazenamento NFS do AWS Snowcone e o Amazon S3, o Amazon EFS, o Amazon FSx para Windows File Server, o Amazon FSx para Lustre, o Amazon FSx para OpenZFS ou o Amazon FSx para NetApp ONTAP.

P: Como faço para migrar dados entre o armazenamento compatível com o Amazon S3 no Snow e os
serviços de armazenamento da AWS?

R: Comece implantando um agente do DataSync em seu ambiente on-premises. Ative o agente usando o Console de Gerenciamento da AWS ou a CLI e configure sua tarefa do DataSync para migrar dados entre um bucket em seu armazenamento compatível com o Amazon S3 e o Amazon S3, Amazon EFS ou qualquer sistema de arquivos do Amazon FSx.

P: Qual a velocidade do AWS DataSync para copiar um sistema de arquivos na AWS?

R: A velocidade da cópia de um conjunto de dados específico pelo AWS DataSync varia em função da quantidade de dados, da largura de banda de E/S nos armazenamentos de origem e de destino, da largura de banda disponível e das condições da rede. Para a transferência de dados entre serviços on-premises e os do AWS Storage, uma única tarefa do DataSync é capaz de utilizar totalmente um link de rede de 10 Gbps.

P: Posso controlar o volume da largura de banda da rede usada por uma tarefa do AWS DataSync?

R: Sim. Você pode controlar o volume da largura de banda de rede usada pelo AWS DataSync configurando o controle de utilização de largura de banda integrado. Você pode aumentar ou reduzir esse limite enquanto a tarefa de transferência de dados está em execução. Esse recurso permite que você reduza o impacto sobre outros usuários ou aplicações que dependem da mesma conexão de rede.

P: Como posso monitorar a performance do AWS DataSync?

R: O AWS DataSync gera métricas do Amazon CloudWatch para fornecer visibilidade granular aos processos de transferência. Usando essas métricas, você pode ver o número de arquivos e a quantidade de dados que foram copiados, bem como o progresso da descoberta e verificação de arquivos. Você pode ver os Gráficos do CloudWatch com tais métricas diretamente no Console do DataSync.

P: O AWS DataSync afeta a performance do sistema de arquivos de origem?

R: Dependendo da capacidade do armazenamento local de arquivos e da quantidade e tamanho dos arquivos a serem transferidos, o AWS DataSync pode afetar o tempo de resposta de outros clientes que acessam o mesmo datastore de origem, pois o agente lê/grava dados nesse sistema de armazenamento. A configuração de um limite de largura de banda para uma tarefa reduzirá esse impacto, limitando a E/S no sistema de armazenamento.

P: Como o AWS DataSync Discovery acessa meu armazenamento on-premises?

O AWS DataSync Discovery usa o agente do DataSync para acessar as interfaces de gerenciamento/API de seus sistemas de armazenamento. Todo o acesso é somente leitura. Consulte a documentação do DataSync para obter mais informações sobre as APIs usadas para acessar seu armazenamento.

P: Ao usar o AWS DataSync Discovery, como especifico as credenciais para meus sistemas de armazenamento on-premises e como elas são protegidas?

Ao configurar o AWS DataSync Discovery para descobrir seu sistema de armazenamento, você fornece um nome de usuário e uma senha para acessar a interface da API do seu armazenamento. Em seguida, o AWS DataSync Discovery criará automaticamente um segredo no AWS Secrets Manager para armazenar as credenciais. Quando o DataSync Discovery executa um trabalho de descoberta, ele recupera a senha do segredo, criptografa-a novamente e envia a senha criptografada ao agente usado para seu trabalho. A senha é retida na memória do agente apenas durante o trabalho e, em nenhum momento, persiste fora da memória.

P: Os dados são criptografados durante a transferência e o armazenamento?

R: Sim. Todos os dados transferidos entre a origem e o destino são criptografados por meio do Transport Layer Security (TLS), que substituiu o Secure Sockets Layer (SSL). Os dados nunca são persistidos no próprio AWS DataSync. O serviço oferece suporte usando criptografia padrão para buckets do S3, criptografia de dados em repouso do sistema de arquivos do Amazon EFS e criptografia de dados em repouso e em trânsito do Amazon FSx.

P: Como o AWS DataSync acessa meu servidor NFS e meu compartilhamento de arquivos SMB?

R: Para acessar os seus arquivos por meio do protocolo NFS ou SMB, o AWS DataSync usa um agente implantado no seu ambiente de TI ou no Amazon EC2. Esses agentes se conectam aos endpoints de serviço do DataSync na AWS e são gerenciados com segurança no Console de gerenciamento da AWS ou na CLI.

P: Como o AWS DataSync acessa o HDFS em meu cluster Hadoop?

R: O AWS DataSync utiliza um agente, que você implanta no seu ambiente de TI ou no Amazon EC2, para acessar seu cluster do Hadoop. O agente DataSync atua como um cliente HDFS e se comunica com os NameNodes e DataNodes em seus clusters. Quando você inicia uma tarefa, o DataSync consulta o NameNode principal para determinar os locais de arquivos e pastas no cluster. O DataSync então se comunica com os DataNodes no cluster para copiar arquivos e pastas de ou para HDFS.

P: Como o AWS DataSync acessa meu armazenamento de objetos autogerenciado ou em nuvem que é compatível com o protocolo do Amazon S3?

R: O AWS DataSync usa um atendente que você implanta em seu datacenter ou ambiente de nuvem pública ou no Amazon EC2 para acessar seus objetos usando a API do Amazon S3. Esse agente se conecta aos endpoints do serviço do DataSync na AWS e é gerenciado com segurança a partir do Console de Gerenciamento da AWS ou da CLI.

P: Como o AWS DataSync acessa meus contêineres do Armazenamento de Blobs do Azure?

R: O AWS DataSync usa um agente que você implanta em seu ambiente do Azure ou no Amazon EC2 para acessar objetos em seus contêineres de Armazenamento de Blobs do Azure. O atendente se conecta aos endpoints de serviço do DataSync na AWS e é gerenciado com segurança no Console de Gerenciamento da AWS ou na CLI. O atendente se autentica em seu contêiner do Azure usando um token SAS que você especifica ao criar um local do Blob do Azure no DataSync.

P: O AWS DataSync exige a configuração de uma VPN para se conectar com meu armazenamento de destino?

R: Não. Ao copiar dados de ou para os seus locais, não é necessário configurar uma VPN/túnel ou permitir conexões de chegada. O seu agente do AWS DataSync pode ser configurado para guiar em um firewall usando portas de rede padrão. Você também pode implantar o DataSync em sua Amazon Virtual Private Cloud (Amazon VPC) usando VPC endpoints. A usar os VPC endpoints, os dados transferidos entre o agente do DataSync e os produtos da AWS não precisam passar pela Internet pública nem usar endereços IP públicos.

P: Como meus agentes do AWS DataSync se conectam à AWS com segurança?

R: Seus agentes do AWS DataSync se conectam aos endpoints de serviço da região da AWS que você selecionar. Você pode fazer com que ele se conecte a endpoints voltados para a internet pública, endpoints validados pelos Federal Information Processing Standards (FIPS – Padrões de processamento de informação federal) ou endpoints em uma das suas VPCs. Ativar seu agente o torna associado de forma segura à sua conta AWS. Para saber mais, consulte Escolher um endpoint de serviço e Ative seu agente.

P: Como meu agente do AWS DataSync recebe patches e atualizações?

R: As atualizações na VM do agente, incluindo o sistema operacional subjacente e os pacotes de software do AWS DataSync, são aplicados automaticamente aplicados pela AWS quando o agente é ativado. As atualizações são aplicadas sem causar interrupções quando o agente está ocioso e sem executar uma tarefa de transferência de dados.

P: Com quais programas de conformidade o AWS DataSync é compatível?

R: A AWS possui o programa de conformidade mais antigo na nuvem. E se compromete a ajudar clientes explorar seus requisitos. O AWS DataSync foi avaliado e cumpre padrões de segurança globais e setoriais. O DataSync está em conformidade com PCI DSS, ISO 9001, 27001, 27017 e 27018; SOC 1, 2, e 3; além de ser qualificado pela HIPAA. O DataSync também está autorizado nas regiões da AWS Leste/Oeste dos EUA, com nível moderado do FedRAMP, e nas regiões da AWS GovCloud (EUA), com nível alto do FedRamp. Isso facilita a verificação da nossa segurança e o cumprimento de suas próprias obrigações. Para obter mais informações e recursos, acesse as nossas páginas de conformidade. Você também pode acessar a página Serviços em foco do programa de conformidade para ver a lista completa de serviços e certificações.

P: O AWS DataSync está em conformidade com o PCI?

R. Sim. O AWS DataSync obedece ao PCI-DSS, o que significa que você pode usar o serviço para transferir informações de pagamento. Faça download do pacote de conformidade do PCI no AWS Artifact para informar-se sobre como alcançar a conformidade com o PCI na AWS.

P: O AWS DataSync é qualificado pela HIPAA?

R: Sim. O AWS DataSync é qualificado pela HIPAA, o que significa que, se você tiver um BAA da HIPAA com a AWS, poderá usar o DataSync para transferir Protected Health Information (PHI – Informações de saúde protegidas).

P:  O AWS DataSync tem autorização provisória de nível moderado do JAB no FedRAMP nas regiões da AWS Leste/Oeste dos EUA?

R. Sim. O AWS DataSync recebeu uma autorização provisória para operar (P-ATO – Provisional Authority to Operate) do Joint Authorization Board (JAB – Conselho de Autorização) sujeita à linha de base moderada do programa Federal Risk and Authorization Management Program (FedRAMP – Programa Federal de Gerenciamento de Risco e Autorização) nas regiões Leste/Oeste dos EUA. Se você é um cliente comercial ou federal, pode usar o AWS DataSync no limite de autorização da região Leste/Oeste da AWS com dados que tenham até o nível de impacto moderado.

P:  O AWS DataSync tem autorização provisória do JAB no FedRAMP nas regiões da AWS GovCloud (EUA)?

R. Sim. O AWS DataSync recebeu uma autorização provisória para operar (P-ATO) do Joint Authorization Board (JAB) sujeita à linha de base alta do programa federal de gerenciamento de risco e autorização (FedRAMP) na região GovCloud dos EUA. Se você é um cliente comercial ou federal, pode usar o AWS DataSync no limite de autorização da região da AWS GovCloud (EUA) com dados que tenham até o nível de alto impacto.

P: Qual é a diferença entre usar o AWS DataSync e ferramentas da linha de comando, como rsync ou a interface da linha de comando do Amazon S3?

R: O AWS DataSync automatiza e acelera completamente a transferência de grandes conjuntos de dados ativos para a AWS. É integrado de forma nativa ao Amazon S3, ao Amazon EFS, ao Amazon FSx, ao Amazon CloudWatch e ao AWS CloudTrail, o que fornece acesso seguro e transparente aos seus serviços de armazenamento, bem como processos de monitoramento de transferências mais detalhados.

O DataSync usa um protocolo de rede com propósito específico e uma arquitetura com escalabilidade horizontal para transferir dados. Para a transferência de dados entre serviços on-premises e os do AWS Storage, uma única tarefa do DataSync é capaz de utilizar totalmente um link de rede de 10 Gbps.

O DataSync automatiza totalmente a transferência de dados. O serviço inclui mecanismos de novas tentativas e resiliência de rede, otimizações de rede, programadores de tarefas incorporados, auditoria por meio de relatórios de tarefas, monitoramento por meio da API e do console do DataSync e métricas, eventos e logs do CloudWatch, que fornecem visibilidade detalhada do processo de transferência. O DataSync executa verificação de integridade de dados durante e ao final da transferência.

O DataSync oferece segurança de ponta a ponta e se integra diretamente aos serviços de armazenamento da AWS. Todos os dados transferidos entre a origem e o destino são criptografados via TLS. O acesso ao armazenamento da AWS é habilitado mediante mecanismos de segurança incorporados da AWS, como perfis do IAM. O DataSync com VPC endpoints são ativados para garantir que dados transferidos entre uma organização e a AWS não passem pela Internet pública, o que aumenta a segurança dos dados durante a cópia pela rede.

P: Para transferir objetos entre meus buckets, em que situações devo usar o AWS DataSync, o S3 Replication ou o S3 Batch Operations?

R: A AWS fornece várias ferramentas para copiar objetos entre seus buckets.

Use o AWS DataSync para distribuição contínua de dados, pipelines de dados e ingestão de data lake, bem como para consolidar ou dividir dados entre vários buckets.

Use a S3 Replication para replicação contínua de dados para um bucket de destino específico.

Use o S3 Batch Operations para operações em lote em grande escala em objetos do S3, como para copiar objetos, definir etiquetas de objetos ou listas de controle de acesso (ACLs), iniciar restaurações de objetos provenientes do Amazon S3 Glacier Flexible Retrieval (antigo S3 Glacier), invocar uma função do AWS Lambda para executar ações personalizadas usando seus objetos, gerenciar a retenção legal do S3 Object Lock ou gerenciar datas de retenção do S3 Object Lock.

P:  Quando uso o AWS DataSync e quando uso o AWS Snowball Edge?

A: O AWS DataSync é ideal para transferências de dados on-line. Você pode usar o DataSync para migrar dados ativos para a AWS, transferir dados para a nuvem para análises e processamento, arquivar dados para liberar a capacidade de armazenamento on-premises ou replicar dados para a AWS para fins de continuidade de negócios.

O AWS Snowball Edge é ideal para transferências de dados offline, para clientes com restrições de largura de banda ou que transferem dados de ambientes remotos, desconectados ou severos. 

P:  Quando uso o AWS DataSync e quando uso o AWS Storage Gateway?

R: Use o AWS DataSync para migrar dados existentes para o Amazon S3, depois use a configuração do File Gateway do AWS Storage Gateway para manter o acesso a dados migrados e atualizações em vigor a partir das aplicações on-premises baseadas em arquivos.

Você pode usar uma combinação do DataSync e do File Gateway para minimizar sua infraestrutura on-premises e conectar de forma clara aplicações on-premises ao armazenamento na nuvem. O AWS DataSync permite que você automatize e acelere transferências de dados online para serviços de armazenamento da AWS. Após a fase inicial de transferência de dados usando o AWS DataSync, o File Gateway fornecerá aplicações on-premises com acesso de baixa latência para os dados transferidos. Ao usar o DataSync com compartilhamentos NFS, os metadados POSIX do armazenamento on-premises de origem são preservados, e as permissões do armazenamento de origem são aplicadas ao acessar seus arquivos usando o File Gateway.

P: Quando uso o AWS DataSync e quando uso o Amazon S3 Transfer Acceleration?

R: Se os aplicativos já estiverem integrados à API do Amazon S3 e você quiser aumentar a throughput pela migração de arquivos grandes para o S3, poderá usar o S3 Transfer Acceleration. Se você quiser transferir dados de sistemas de armazenamento existentes (por exemplo, Network Attached Storage) ou de instrumentos que não podem ser alterados (por exemplo, sequenciadores de DNA, câmeras de vídeo), ou se quiser usar vários destinos, use o AWS DataSync. Além disso, o DataSync automatiza e simplifica a transferência de dados fornecendo funcionalidades adicionais, como mecanismos incorporados de novas tentativas e resiliência, verificação de integridade de dados e configurações flexíveis, para atender a necessidades específicas como controle de utilização de largura de banda etc.

P: Quando uso o AWS DataSync e quando uso o AWS Transfer Family?

R: Se você já usa SFTP para intercâmbio de dados com terceiros, o AWS Transfer Family propicia transferência totalmente gerenciada via SFTP, FTPS, FTP e AS2 diretamente de/para o Amazon S3, reduzindo a sobrecarga operacional.

Se quiser uma transferência de dados acelerada e automatizada entre servidores NFS, compartilhamentos de arquivos SMB, clusters do Hadoop, armazenamento de objetos autogerenciados ou na nuvem, o AWS Snowcone, o Amazon S3, o Amazon EFS e o Amazon FSx, você pode usar o AWS DataSync. O DataSync é ideal para clientes que precisam de migrações online para conjuntos de dados ativos, transferências em tempo hábil para dados gerados continuamente ou replicação para continuidade de negócios.