Atributos do Amazon Managed Service for Apache Flink

Por que usar o Amazon Managed Service for Apache Flink?

Com o Amazon Managed Service for Apache Flink, é mais fácil criar e executar aplicações de processamento de fluxo em tempo real usando o Apache Flink. O Amazon Managed Service for Apache Flink provisiona e configura clusters do Flink e orquestra o gerenciamento de tarefas do Flink. Ele configura monitoramento e alarmes, oferece ajuste de escala automático e foi criado para fornecer alta disponibilidade (incluindo failover de zona de disponibilidade). O serviço oferece acesso às APIs expressivas do Apache Flink e, com o Amazon Managed Service for Apache Flink Studio, você pode consultar interativamente fluxos de dados ou executar aplicações com estado em poucas etapas. Com esse serviço gerenciado, você pode começar a usar o Apache Flink e implantar e operar rapidamente suas aplicações de processamento de fluxo de dados.

Com o Amazon Managed Service for Apache Flink, você tem acesso a toda a gama de recursos líderes de mercado do Apache Flink, incluindo processamento de dados de baixa latência e alto throughput, processamento exatamente uma vez e estado durável da aplicação. Com o Amazon Managed Service for Apache Flink, você pode implantar aplicações seguras, compatíveis e altamente disponíveis. O Amazon Managed Service for Apache Flink replica facilmente dados e workloads em várias zonas de disponibilidade, garantindo performance e confiabilidade ininterruptas, sem precisar pagar por capacidade adicional.

O desenvolvimento de aplicações é facilitado pelo Amazon Managed Service for Apache Flink devido ao suporte às APIs flexíveis do Flink em Java, Scala, Python e SQL. O Amazon Managed Service for Apache Flink se integra a centenas de fontes e destinos de dados, como Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, conectores JDBC e conectores personalizados.

Aplicações de processamento de fluxo que usam o Apache Flink

Código aberto

O Amazon Managed Service for Apache Flink inclui bibliotecas de código aberto, como Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK e integrações de serviços da AWS. O Apache Flink é uma estrutura e um mecanismo para desenvolvimento de aplicações de transmissão altamente disponíveis e precisas. O Apache Beam é um modelo unificado para definir aplicações de streaming e processamento de dados em lote que são executados em vários mecanismos de runtime. Os SDKs da AWS fornecem APIs na linguagem de sua preferência para ajudar a simplificar a codificação de vários serviços da AWS e incluem bibliotecas da AWS, exemplos de código e documentação.

APIs flexíveis

O Amazon Managed Service for Apache Flink é compatível com APIs flexíveis em Java, Scala, Python e SQL que são especializadas para diferentes casos de uso, como processamento de eventos com estado, ETL (extração transformação e carregamento) de streaming e análises em tempo real. Com os operadores e recursos de análise predefinidos, você pode criar uma aplicação de streaming do Apache Flink em horas em vez de meses, e as bibliotecas são extensíveis para permitir o processamento em tempo real de uma grande variedade de casos de uso.

Integrações de serviços da AWS

É possível configurar e integrar uma fonte ou um destino de dados com código mínimo. Use bibliotecas do Amazon Managed Service for Apache Flink para integração com os seguintes serviços da AWS:

Recursos avançados de integração

Além das integrações da AWS, as bibliotecas do Amazon Managed Service for Apache Flink incluem mais de 40 conectores do Apache Flink e a capacidade de criar integrações personalizadas. Com poucas linhas de código adicionais, você pode modificar como cada integração se comporta com funcionalidades avançadas. Também é possível criar integrações personalizadas usando um conjunto de dados primitivos do Apache Flink para poder ler e gravar em arquivos, diretórios, soquetes ou outras fontes acessíveis na Internet.

Processamento exatamente uma vez

Com o Amazon Managed Service for Apache Flink, você pode criar aplicações cujos registros processados afetam os resultados exatamente uma vez, o que é conhecido como processamento exatamente uma vez. Mesmo no caso da interrupção da aplicação, por exemplo, durante uma manutenção de serviços internos ou em uma atualização iniciada pelo usuário, o serviço garante que todos os dados são processados e que nenhuma dado é duplicado.

Processamento com estado

O serviço armazena computações prévias e em andamento, ou estado, no armazenamento de aplicações em execução. Compare resultados em tempo real e resultados anteriores em qualquer período e tenha uma recuperação rápida durante interrupções de aplicações. O estado sempre é criptografado e salvo incrementalmente no armazenamento de aplicações em execução.

Backups duráveis de aplicações

Você pode criar e excluir backups duráveis de aplicações com uma simples chamada de API. Restaure imediatamente as aplicações usando o backup mais recente após uma interrupção, ou restaure a aplicação para uma versão anterior.

Integração de ML

O Amazon Managed Service for Apache Flink oferece suporte a algoritmos de machine learning (ML). Você pode criar aplicações em tempo real para classificação, agrupamento em clusters, avaliação, recomendações de engenharia de atributos, regressões e estatísticas.

Compatibilidade com o AWS Glue Schema Registry

O Amazon Managed Service for Apache Flink é compatível com o AWS Glue Schema Registry. O Schema Registry ajuda você a melhorar a qualidade dos dados e a se proteger contra mudanças inesperadas usando verificações de compatibilidade que controlam a evolução dos esquemas em workloads do Amazon Managed Service for Apache Flink conectadas ao Apache Kafka, Amazon MSK ou Amazon Kinesis Data Streams, seja como conector de origem ou como coletor.