Funzionalità del servizio OpenSearch di Amazon

L'archiviazione hot permette il recupero rapido dei dati a cui si accede di frequente. UltraWarm è un livello di archiviazione warm che integra il livello di archiviazione hot del servizio OpenSearch fornendo un'archiviazione meno costosa per i dati meno recenti e a cui si accede meno frequentemente, pur fornendo un'esperienza di query interattiva. UltraWarm archivia i dati in Amazon Simple Storage Service (Amazon S3) e utilizza nodi personalizzati altamente ottimizzati, costruiti appositamente su AWS Nitro System, per memorizzare nella cache, pre-recuperare ed eseguire query sui dati rapidamente.

Con UltraWarm, è possibile mantenere fino a 3 PB di dati in un singolo cluster del servizio OpenSearch riducendo il costo per GB di quasi il 90% rispetto al livello di archiviazione hot. È anche possibile eseguire una query e visualizzare facilmente i dati nell'interfaccia di Kibana (versione 7.10 e precedenti) o dei Pannelli di controllo OpenSearch. Analizza i dati di log sia recenti (settimane) che storici (mesi o anni) senza passare ore o giorni a ripristinare i registri archiviati.

UltraWarm è un livello di archiviazione warm completamente gestito, a basso costo per il servizio OpenSearch. È compatibile con OpenSearch, Elasticsearch (fino alla versione 7.10), Pannelli di Controllo OpenSearch e Kibana (fino alla versione 7.10), consentendo di analizzare i dati utilizzando gli stessi strumenti forniti oggi dal servizio OpenSearch. UltraWarm si integra perfettamente con le caratteristiche esistenti del servizio OpenSearch, ad esempio notifiche integrate, query SQL ecc. 

UltraWarm ti aiuta a espandere in modo conveniente i dati che desideri analizzare sul servizio OpenSearch. Puoi ottenere informazioni preziose su dati che in precedenza potevano essere stati eliminati o archiviati. Con UltraWarm, ora puoi conservare in modo economico più dati per analizzarli interattivamente quando ritieni opportuno.

Il servizio OpenSearch supporta due livelli integrati di archiviazione, a caldo e UltraWarm. Il livello di archiviazione a caldo è alimentato da nodi di dati utilizzati per indicizzare, aggiornare e fornire l'accesso più rapido possibile ai dati. I nodi UltraWarm sono complementari al livello a caldo fornendo in modo economico un livello di sola lettura per i dati più vecchi a cui si accede meno di frequente.

Per l’archiviazione, UltraWarm utilizza Amazon S3, che è progettato per una durabilità del 99,999999999% e rende superflua la configurazione di una replica Elasticsearch per i dati a caldo. Inoltre, in presenza di più di un nodo UltraWarm, nel caso di errore di un nodo, gli altri nodi UltraWarm accederanno automaticamente ai dati come necessario.

UltraWarm supporta fino a 3 PB di dati primari. UltraWarm è progettato per consentire di utilizzare appieno il 100% di questo spazio di archiviazione. Inoltre, poiché UltraWarm archivia i dati su Amazon S3 per garantirne la durabilità, non è necessario utilizzare archiviazione aggiuntiva per le repliche Elasticsearch.

UltraWarm offre un'esperienza interattiva in Pannelli di Controllo OpenSearch e Kibana implementando il caching I/O granulare, il prefetch e le ottimizzazioni del motore di query per fornire prestazioni simili alle istanze ad alta densità che utilizzano l’archiviazione locale.

Per iniziare ad utilizzare UltraWarm, crea un nuovo dominio del servizio OpenSearch con UltraWarm abilitato tramite console, CLI o API. Una volta creato il dominio, puoi spostare i dati dal livello a caldo a UltraWarm utilizzando le API OpenSearch/Elasticsearch. Per ulteriori informazioni, consulta la Guida per gli sviluppatori del servizio OpenSearch.

L'archiviazione a freddo è l'opzione di archiviazione più economica per il servizio OpenSearch, che permette di mantenere i dati a cui si accede di rado in Amazon S3 e di pagare per il calcolo solo quando è necessario. L’archiviazione a freddo si basa su UltraWarm, che fornisce nodi specializzati per cui i dati vengono archiviati in Amazon S3 e utilizza una sofisticata soluzione di caching per offrire un'esperienza interattiva. Disaccoppiando le risorse di calcolo dall’archiviazione, l'archiviazione a freddo consente di mantenere qualsiasi quantità di dati nel dominio del servizio OpenSearch riducendo il costo per GB a prezzi di archiviazione di Amazon S3. Distacca dati warm cronologici o ad accesso infrequente mentre non vengono utilizzati e libera il calcolo per ridurre i costi. Scopri e allega selettivamente i dati freddi ai nodi UltraWarm del dominio in pochi secondi con la scelta di un'interfaccia di Kibana (versione 7.10 e precedenti) o dei Pannelli di controllo OpenSearch e API di facile utilizzo. Con l'archiviazione a freddo, è possibile eseguire query sui dati freddi allegati con un'esperienza interattiva e prestazioni simili a quelle dei dati warm.

OpenSearch include alcuni codici Elasticsearch con licenza Apache di Elasticsearch B.V. e altri codici sorgente. Elasticsearch B.V. non è la fonte dell’altro codice sorgente. ELASTICSEARCH è un marchio registrato di Elasticsearch B.V.

L'archiviazione a freddo è un livello di archiviazione a costo più basso completamente gestito per il servizio OpenSearch che semplifica l'archiviazione e l'analisi in modo sicuro dei tuoi log storici on demand. L’archiviazione a freddo ti consente di distaccare completamente l’archiviazione dal calcolo quando non viene eseguita attivamente l'analisi dei dati e ti permette di mantenere i dati subito disponibili un costo inferiore. I dati dell’archiviazione a freddo sono disponibili nel dominio del servizio OpenSearch tramite i nodi UltraWarm. L’archiviazione a freddo si integra perfettamente con OpenSearch e pannelli di controllo OpenSearch, nonché con Elasticsearch (versioni 7.9 e 7.10) e Kibana (versioni 7.9 e 7.10). Ti consente di analizzare i dati utilizzando gli stessi strumenti forniti oggi dal servizio OpenSearch.

L’archiviazione a freddo consente di espandere con costi contenuti i dati che desideri analizzare sul servizio OpenSearch e ottenere informazioni dettagliate preziose su dati che in precedenza potrebbero esser stati cancellati o archiviati. L’archiviazione a freddo è perfetta per eseguire ricerche o analisi forensi sui dati precedenti sfruttando tutte le funzionalità del servizio OpenSearch a un prezzo accessibile. L’archiviazione a freddo è scalabile ed è supportata da Amazon S3. Trova e scopri i dati di cui necessiti, collegali ai nodi UltraWarm nel cluster e rendili disponibili per l'analisi nel giro di pochi secondi. I dati inattivi collegati sono soggetti alle policy esistenti di controllo granulare dell'accesso che limitano l'accesso a livello di indice, documento e campo.

Con l'archiviazione a freddo, il servizio OpenSearch supporta tre piani di archiviazione integrati: a caldo, UltraWarm e a freddo. Il piano a caldo viene usato per indicizzare, aggiornare i dati e offrire la massima velocità di accesso possibile. UltraWarm fornisce un'estensione ottimale del piano hot con nodi di calcolo che offrono un'esperienza interattiva altamente performante per i dati memorizzati in modo durevole in Amazon S3 e che devono essere sempre disponibili, supportando attualmente fino a 3 PB di dati in un singolo dominio. Con l’archiviazione a freddo, adesso puoi distaccare indici da UltraWarm quando non vengono utilizzati e liberare il calcolo per ridurre i costi. Con le nuove API di archiviazione a freddo e Pannelli di Controllo OpenSearch e l'interfaccia Kibana, è possibile scoprire indici basati su modelli di indice e timestamp dei dati per trovare facilmente ciò di cui hai bisogno per l'analisi. I dati possono quindi essere collegati al dominio e sono pronti per l'analisi nel giro di pochi secondi. Una volta completata l'analisi, basta distaccare i dati per liberare di nuovo il calcolo. 

L’archiviazione a freddo è scalabile. Mentre i limiti di archiviazione per i dati a caldo e warm rimangono a 3 PB, nell’archiviazione a freddo puoi archiviare qualsiasi quantità di dati.

L’archiviazione a freddo si basa su UltraWarm, che fornisce nodi specializzati per cui i dati vengono archiviati in Amazon S3 e utilizza una sofisticata soluzione di caching per offrire un'esperienza interattiva. I dati a freddo devono essere prima allegati ai nodi UltraWarm del tuo dominio del servizio OpenSearch. Una volta collegati i dati, le query a esse correlate vengono alimentate dai nodi UltraWarm offrendo le stesse prestazioni dei dati warm. Per collegare gli indici inattivi al dominio bastano pochi secondi se la capacità di UltraWarm disponibile per i dati richiesti è sufficiente. Se è richiesta ulteriore capacità, è necessario aggiungere nodi dei dati UltraWarm. Questa operazione può richiedere alcuni minuti.

Il servizio OpenSearch offre funzionalità di ricerca di documenti in tempo reale che vanno oltre la ricerca nel database. Questo servizio completamente gestito utilizza il motore OpenSearch per la ricerca. OpenSearch è un motore di ricerca open source completo, basato su Lucene, portatile e indipendente dalla piattaforma che supporta la ricerca per parole chiave, la ricerca in linguaggio naturale, i sinonimi, più lingue e altro ancora. Le funzionalità di ricerca principali includono quanto segue:

• Acquisisce dati da un database o da un sistema di gestione dei contenuti, da un crawler Web o Intranet, o da un servizio di streaming
• Fornisce API di ricerca per creare un front-end sopra ai servizi di ricerca
• Supporta le ricerche su molti attributi
• Trova nuovi documenti che corrispondono a una serie di query salvate con la ricerca prospettica (percolazione)
• Valuta i modelli di utilizzo ed esegue la pianificazione della capacità e la previsione dei costi grazie alle funzionalità di monitoraggio del servizio OpenSearch
• Utilizza algoritmi di machine learning (ML) integrati per la ricerca K-Nearest Neighbor (k-NN) per eseguire ricerche vettoriali, di similarità, semantiche e di altro tipo
• Utilizza l'algoritmo di machine learning integrato per il Learning to Rank, al fine di calcolare i punteggi di pertinenza
• Fornisce archiviazione e ricerca vettoriali semplici, scalabili e ad alte prestazioni per potenziare esperienze di ricerca potenziate dal ML e applicazioni di IA generativa
• Utilizza più linguaggi di query, incluso SQL

Cerca risorse

Video: AWS On Air per la ricerca

Video: LexisNexis e la ricerca supportata dal machine learning 

Demo: migliorare i risultati di ricerca grazie al servizio OpenSearch di Amazon

Workshop: migliorare la pertinenza della ricerca grazie al machine learning nel servizio OpenSearch di Amazon

Blog: Novartis AG utilizza il k-NN del servizio OpenSearch e SageMaker per potenziare la ricerca e le raccomandazioni

Diagramma dell'architettura di riferimento: applicazioni supportate dalla ricerca

Consenti ai tuoi team delle operazioni di sicurezza (SecOps) di rilevare rapidamente le potenziali minacce disponendo degli strumenti necessari per le indagini di sicurezza, il tutto con bassi costi di conservazione dei dati. Proteggi i dati aziendali e rileva rapidamente le potenziali minacce alla sicurezza. Il servizio OpenSearch fornisce supporto immediato per oltre 2.200 regole di sicurezza Sigma open source per rilevare potenziali minacce alla sicurezza filtrando i risultati di sicurezza. Puoi personalizzare o utilizzare le regole Sigma predefinite anche per rilevare rapidamente potenziali minacce alla sicurezza e inviare avvisi a una destinazione preselezionata. Usa il supporto immediato per più origini di log tra cui Windows, Netflow, AWS CloudTrail, DNS e altro ancora. 

L'analisi della sicurezza di OpenSearch è progettata per indagare, rilevare, analizzare e rispondere alle minacce alla sicurezza che potrebbero mettere a repentaglio le operazioni delle funzioni aziendali critiche. Queste minacce includono la potenziale esposizione di dati riservati, attacchi informatici e altri eventi avversi alla sicurezza. Include gli strumenti e le funzionalità necessari per definire i parametri di rilevamento, generare avvisi e rispondere efficacemente alle potenziali minacce.

Al momento sono supportati 8 tipi di log, tra cui NetFlow, log DNS, log di accesso Apache, log Windows, log AD/LDAP, log di sistema Linux, log AWS CloudTrail e log di accesso Amazon S3.

È possibile utilizzare le pipeline di immissione esistenti che inviano dati in formato JSON a OpenSearch.

Sì, l'analisi di sicurezza OpenSearch include oltre 2.200 regole di sicurezza Sigma da utilizzare immediatamente con diversi tipi di rilevatori di sicurezza. Queste regole vengono preselezionate una volta fornita una configurazione minima sull'origine del log.

Sì, è possibile aggiungere regole personalizzate per i tipi di log supportati sopra indicati. Queste regole devono essere in un formato di regole Sigma e possono essere importate in OpenSearch prima di essere utilizzate con un rilevatore di sicurezza.

Sì, i log devono essere in formato JSON. Si consiglia di inviarli in formato ECS (Elastic Common Schema)

Le analisi di sicurezza di OpenSearch sono disponibili senza costi aggiuntivi o costi di licenza. Paghi lo stesso costo che pagheresti per inserire altri dati nel servizio OpenSearch.

L’analisi della sicurezza è preinstallata con il servizio OpenSearch che esegue OpenSearch versione 2.5 o successiva.

Amazon Security Lake centralizza automaticamente i dati di sicurezza da fonti cloud, on-premise e personalizzate in un data lake appositamente creato e archiviato nel tuo account. Questi dati aggregati vengono normalizzati in un formato comune e archiviati in bucket S3. Questi dati possono essere inseriti nel servizio OpenSearch, che consente di visualizzarli, interrogare, creare report sugli stessi. L'analisi della sicurezza fornisce un motore di regole di sicurezza che può aiutarti a rilevare e segnalare potenziali eventi di sicurezza, nonché a correlarli per agevolare le indagini.

Sì, puoi importare log aggiuntivi da Security Lake su OpenSearch e creare un rilevatore per eseguire le regole pertinenti sui log importati.

OR1, la famiglia di istanze ottimizzate OpenSearch, che offre un miglioramento del rapporto prezzo/prestazioni fino al 30% rispetto alle istanze esistenti nei benchmark interni e utilizza Amazon S3 per fornire undici 9 di durabilità. Con OR1, il servizio OpenSearch di Amazon utilizza l'innovazione OpenSearch e le tecnologie AWS per reimmaginare il modo in cui i dati vengono indicizzati e archiviati nel cloud. OR1 consente ai clienti di dimensionare in modo più economico e affidabile le proprie implementazioni OpenSearch senza compromettere l'esperienza di analisi interattiva che si aspettano. 

OR1, la famiglia di istanze ottimizzate OpenSearch per cluster gestiti dal servizio OpenSearch di Amazon, che offre un miglioramento del rapporto prezzo/prestazioni fino al 30% rispetto alle istanze esistenti nei benchmark interni e utilizza Amazon S3 per fornire undici 9 di durabilità. Con OR1, il servizio OpenSearch di Amazon utilizza l'innovazione OpenSearch e le tecnologie AWS per reimmaginare il modo in cui i dati vengono indicizzati e archiviati nel cloud. OR1 consente ai clienti di dimensionare in modo più economico e affidabile le proprie implementazioni OpenSearch senza compromettere l'esperienza di analisi interattiva che si aspettano. OR1 offre prezzi con pagamento in base al consumo e per le istanze riservate, con una semplice tariffa oraria per l'istanza o le istanze e lo spazio di archiviazione forniti.

I clienti utilizzano ampiamente il servizio OpenSearch di Amazon per l'analisi dei log operativi per via della sua capacità di acquisire elevati volumi di dati e di fornire al contempo analisi complete e interattive su di essi. OR1, la famiglia di istanze ottimizzate OpenSearch, che offre un miglioramento del rapporto prezzo/prestazioni fino al 30% rispetto alle istanze esistenti nei benchmark interni e utilizza Amazon S3 per fornire undici 9 di durabilità. Se esegui l'indicizzazione di pesanti carichi di lavoro di analisi operativa, puoi trarre vantaggio dal miglioramento delle prestazioni e dalla maggiore efficienza di calcolo. Inoltre, in caso di errore, OpenSearch può eseguire il ripristino automatico dei dati fino all'ultima operazione riuscita, migliorando l'affidabilità del dominio.

Il servizio OpenSearch di Amazon supporta due strategie di replica: replica logica (documento) e fisica (segmento). In caso di replica logica, i dati vengono indicizzati su tutte le copie singolarmente, con conseguente duplicazione del lavoro. In caso di replica fisica, i dati vengono indicizzati solo sulla copia principale e vengono create copie aggiuntive copiando i dati da quella primaria. OR1, le nuove istanze per i cluster gestiti dal servizio OpenSearch di Amazon, utilizzano la replica fisica per scrivere dati nell'archivio remoto basato su Amazon S3. Il repository Amazon S3, un datastore altamente durevole, funge da origine affidabile per tutte le operazioni di replica e ripristino. Il design innovativo porta a miglioramenti delle prestazioni di indicizzazione e della durabilità per i domini del servizio OpenSearch di Amazon.

Il servizio OpenSearch di Amazon supporta nodi di gestione cluster (nodi principali), nodi di dati e nodi warm. Per i nodi di dati, i clienti possono scegliere tra istanze per uso generico, ottimizzate per la memoria, ottimizzate per il calcolo, ottimizzate per l'archiviazione e ora ottimizzate per OpenSearch, a seconda del ruolo e delle caratteristiche del carico di lavoro. Per i nodi warm, il servizio OpenSearch di Amazon fornisce istanze ultrawarm ottimizzate per ridurre i costi di archiviazione dei dati caldi. OR1 sono l'opzione di prima istanza della nuova famiglia di istanze ottimizzate OpenSearch. OR1 sono ottimizzati per la memoria e disponibili come nodi di dati. OR1 forniscono una velocità di trasmissione effettiva di indicizzazione migliorata rispetto alle istanze standard ottimizzate per la memoria. Inoltre, offrono durabilità dei dati senza fare affidamento sugli snapshot e un ripristino automatico rapido. Sia le istanze OR1 e che quelle Ultrawarm utilizzano un archivio locale (EBS) e uno remoto (archiviazione gestita, basata su Amazon S3) per archiviare i dati. Per OR1 una copia dei dati viene conservata sia nell'archivio locale che in quello remoto, mentre per Ultrawarm, per ridurre i costi di archiviazione, i dati vengono conservati principalmente nell'archivio remoto e, a seconda del modello di accesso, vengono spostati nell'archivio locale. 

Le istanze OR1 utilizzano EBS come archivio locale e Amazon S3 come archivio remoto. Tutti i dati vengono scritti in modo sincrono su Amazon S3, progettato per fornire una durabilità dei dati del 99,999999999% (undici 9).

È possibile utilizzare le istanze OR1 come nodi di dati per tutti i nuovi cluster gestiti dal servizio OpenSearch di Amazon creati su OpenSearch versione 2.11 o successiva e hanno la crittografia a riposo abilitata. Al momento del lancio, le istanze OR1 non saranno disponibili per i cluster gestiti creati utilizzando altre istanze per i nodi di dati. Per OR1, è necessario fornire istanze Graviton per i gestori di cluster.

In caso di indice rosso, le istanze OR1 ripristinano automaticamente le partizioni mancanti dall'archivio remoto (Amazon S3). Il tempo di ripristino varia in base al volume di dati da recuperare. 

eBook sull'architettura di riferimento

Video: strumenti per la trasformazione dei dati