Amazon OpenSearch Ingestion

Acquisisci, trasforma e indirizza i dati su larga scala ai domini OpenSearch di Amazon e alle raccolte serverless
Sfoglia la nostra guida per gli sviluppatori

Perché Amazon OpenSearch Service Ingestion?

Amazon OpenSearch Ingestion è una funzionalità del servizio OpenSearch di Amazon che consente all'utente di inserire, filtrare, trasformare, arricchire e indirizzare i dati a un dominio OpenSearch di Amazon o a una raccolta serverless. Amazon OpenSearch Ingestion è in grado di acquisire dati da un'ampia varietà di fonti e dispone di un ricco ecosistema di processori integrati per soddisfare le esigenze più complesse di trasformazione dei dati. Amazon OpenSearch Ingestion è per natura serverless e si ridimensiona automaticamente per soddisfare i requisiti dei carichi di lavoro più impegnativi, aiutandoti a concentrarti sulla logica aziendale e a eliminare la complessità della gestione di pipeline di dati complesse per i tuoi casi d'uso in materia di osservabilità e sicurezza.

Vantaggi del servizio OpenSearch di Amazon

Riduci i costi di archiviazione deduplicando, campionando e indirizzando i dati eccessivi a un'archiviazione a costi inferiori.
Migliora la qualità dei dati trasformando, filtrando e arricchendo i dati con processori integrati e adottando schemi per accelerare l'osservabilità e ridurre i tempi delle indagini di sicurezza.
Proteggi i dati sensibili oscurando e offuscando le informazioni sensibili prima che arrivino a destinazione.
Indirizza i dati utilizzando la logica condizionale per garantire la conformità alle leggi sulla residenza dei dati.

Caratteristiche principali

AWS è un contributore chiave del progetto OpenSearch, che molti clienti utilizzano. Avrai accesso alle innovazioni per OpenSearch Data Prepper all'interno di questo servizio gestito. Oltre a queste funzioni, a cui la community contribuisce, il servizio Amazon OpenSearch Ingestion offre anche le seguenti funzionalità:

  • Installazione e applicazione di patch del software gestito da AWS
  • AWS monitora e corregge il servizio 24 ore su 24, 7 giorni su 7
  • AWS aggiorna le versioni
  • Tempo di inattività azzerato per aggiornamenti e upgrade
  • Disponibilità SLA: 99,9%
  • Serverless con dimensionamento automatico per i carichi di lavoro di importazione

Clienti e partner

Recensione dei clienti di CyberArk

"In CyberArk EPM (Endpoint Privilege Manager), un sistema multi-tenant basato su cloud, gestiamo milioni di endpoint e raccogliamo eventi di dati ad alto traffico utilizzando AWS OpenSearch. Sfruttando Amazon OpenSearch Ingestion, abbiamo sostituito la nostra precedente pipeline Logstash autogestita con una gestita da AWS, che ha eliminato l'onere della gestione della nostra infrastruttura e ci ha fornito un'architettura più scalabile, conveniente, affidabile e sicura per l'importazione dei dati. Questa decisione è stata presa con l'ulteriore vantaggio che CyberArk EPM ha ottenuto lo status di FedRAMP High In-Process, mentre Amazon OpenSearch Ingestion è già conforme a FedRAMP, consentendoci di mantenere un elevato livello di sicurezza nella nostra offerta."

Ori Doolman, architetto software senior di CyberArk EPM

Logo CyberArk

Recensione dei clienti di Calyptia

"In Calyptia lavoriamo con l'importazione dei dati da oltre 12 anni come creatori e manutentori del progetto Cloud Native Computing Foundation, Fluentd e Fluent Bit. Con le ultime versioni di questi progetti siamo entusiasti che gli utenti possano ottenere un maggiore controllo nella prima fase grazie alla combinazione dei progetti Fluent e del servizio OpenSearch Ingestion. Con il servizio di importazione, gli utenti possono continuare a ridimensionare gli agenti l'elaborazione senza doversi preoccupare della gestione e della manutenzione dell'infrastruttura."

Anurag Gupta, cofondatore di Calyptia

Logo di Calyptia

Recensione dei clienti di Confluent

"Siamo entusiasti di collaborare con il team OpenSearch di Amazon nella creazione del servizio OpenSearch Ingestion, che fornirà un'integrazione nativa con Apache Kafka e Confluent. Questa integrazione aiuterà i nostri clienti congiunti ad accedere ai dati in tempo reale tramite Apache Kafka all'interno di OpenSearch, in modo che possano ripensare l'esperienza dei clienti, creare operazioni di back-end in tempo reale o lanciare nuovi prodotti e servizi. In qualità di principale contributore di Apache Kafka, Confluent ha sviluppato Kafka 10X, creando una piattaforma di streaming di dati completa e nativa del cloud, che consente di spostare i dati da qualsiasi luogo vengano creati in luoghi in cui le aziende possono intervenire nel mondo multi-SaasS in cui viviamo tutti. Ciò consente agli utenti di OpenSearch di beneficiare delle centinaia di origini dati con cui Confluent è integrato. Siamo entusiasti di vedere cosa creano i nostri clienti congiunti mettendo in moto i dati con Confluent e OpenSearch."

Paul Mac Farland, vicepresidente di Partner & Innovation Ecosystem - Confluent

Logo Confluent

Argomenti della pagina

Domande frequenti su Ingestion
5

Domande frequenti su Ingestion

Amazon OpenSearch Ingestion è un livello di importazione dei dati che consente di filtrare, arricchire, trasformare, normalizzare e aggregare i dati per l'analisi e la visualizzazione a valle nei domini Amazon OpenSearch e nelle raccolte Amazon OpenSearch serverless. Amazon OpenSearch Ingestion ti consente di creare pipeline di dati personalizzate per migliorare la visualizzazione operativa delle tue applicazioni. La natura serverless di Amazon OpenSearch Ingestion elimina la complessità della gestione automatica delle pipeline di dati e garantisce che le loro capacità di elaborazione si ridimensionino automaticamente in base alle esigenze dei carichi di lavoro. Con Amazon OpenSearch Ingestion, puoi:

  • Ridurre i costi di archiviazione mediante la deduplicazione dei dati e il campionamento per evitare che i dati eccessivi vengano indicizzati in OpenSearch di Amazon.
  • Applicare la qualità dei dati e adottare schemi comuni trasformando, formattando e arricchendo i dati prima che vengano indicizzati nei domini OpenSearch di Amazon, semplificando la risoluzione dei problemi.
  • Oscurare oppure offusca le informazioni sensibili prima che raggiungano una destinazione, garantendo la conformità alle leggi sulla residenza dei dati.

Una pipeline di Amazon OpenSearch Ingestion è composta da tre componenti principali:

  • La fonte è il componente di input di una pipeline. Definisce il meccanismo attraverso il quale una pipeline consuma i record. La fonte può consumare i record sia ricevendo dati tramite http/s che leggendo da endpoint esterni di terze parti.
  • I processori sono unità di elaborazione intermedie in grado di filtrare, trasformare e arricchire i record nel formato desiderato prima di pubblicarli nel sink. Il processore è un componente opzionale di una pipeline. Se non definisci un processore, i record vengono pubblicati nel formato definito nel codice sorgente. Puoi avere più di un processore. I processori vengono eseguiti nell'ordine in cui li definisci nella pipeline.
  • Il sink è il componente di uscita di una pipeline. Definisce una o più destinazioni in cui una pipeline pubblica i record. Un sink può anche essere una pipeline diversa che consente di concatenare numerose pipeline.

OpenSearch di Amazon supporta l'importazione di tutti i tipi di dati che normalmente indicizzeresti in un suo dominio. Ciò include ma non è limitato a dati strutturati, non strutturati, testuali, numerici e geospaziali. OpenSearch Ingestion supporta anche l'importazione di tutti e tre i pilastri dei dati di osservabilità: log, metriche e tracce. Puoi utilizzare OpenSearch Ingestion insieme al suo supporto per un ricco ecosistema di origini dati, processori e sink per trasformare i tuoi dati prima di archiviarli nei domini OpenSearch di Amazon. Con OpenSearch Ingestion, non è più necessario scrivere una funzione Lambda personalizzata o gestire automaticamente i nodi di importazione Logstash ed Elasticsearch per importare dati che devono essere indicizzati nei cluster OpenSearch di Amazon. Consulta la nostra pagina della documentazione per visualizzare l'elenco delle fonti, dei processori e dei sink supportati da Amazon OpenSearch Ingestion.

Amazon OpenSearch Ingestion è un livello di importazione dei dati che elabora preventivamente i dati prima che vengano indicizzati nel servizio OpenSearch di Amazon. OpenSearch Ingestions è costruito con Data Prepper che è un componente del progetto OpenSearch e supporta tutti i formati di dati, le fonti, i processori e i sink supportati da Data Prepper.

Per iniziare a lavorare con Amazon OpenSearch Ingestion, devi prima definire una pipeline di dati. Una pipeline di OpenSearch Ingestion è il fulcro della logica aziendale ed è composta da una fonte, uno o più processori singoli o una serie di processori e un sink. La configurazione della pipeline viene definita tramite un file YAML che contiene i dettagli della fonte, dei processori e dei sink. OpenSearch Ingestion consente inoltre di configurare una capacità minima e massima delle OpenSearch Compute Units for Ingestion (OCU) che si desidera impostare per pipeline. Infine, puoi scegliere in che modo i dati raggiungono le tue pipeline di OpenSearch Ingestion:

  • Accesso VPC: per l'accesso VPC, stabiliamo un collegamento privato dal tuo VPC alla pipeline di Amazon OpenSearch Ingestion. Ciò fornisce connettività privata alle tue pipeline senza esporre il tuo traffico alla rete Internet pubblica.
  • Accesso pubblico: in questa configurazione di rete, i dati delle pipeline di OpenSearch fluiscono sulla rete Internet pubblica.

Puoi iniziare a creare una pipeline di dati tramite la Console AWS o la riga di comando AWS.