Características de Amazon OpenSearch Service

El almacenamiento de acceso frecuente permite recuperar rápidamente los datos a los que se accede con frecuencia. UltraWarm es un nivel de almacenamiento de acceso intermedio que complementa el nivel de almacenamiento de acceso frecuente de OpenSearch Service, ya que proporciona almacenamiento menos costoso para los datos más antiguos a los cuales se accede con menos frecuencia, pero sigue ofreciendo una experiencia de consultas interactiva. UltraWarm almacena datos en Amazon Simple Storage Service (Amazon S3) y utiliza nodos personalizados y altamente optimizados, creados con fines específicos en AWS Nitro System, para almacenar en la memoria caché, ubicar en la memoria con anticipación y consultar esos datos.

Con UltraWarm, puede retener hasta 3 PB de datos en un único clúster de OpenSearch Service, a la vez que reduce el costo por GB en casi el 90 %, en comparación con el nivel de almacenamiento de acceso frecuente. También puede consultar y visualizar fácilmente los datos en su interfaz Kibana (versión 7.10 y anteriores) u OpenSearch Dashboards. Analice tanto sus datos de registro recientes (semanas) como los históricos (meses o años) sin tener que pasar horas o días restaurando registros archivados.

UltraWarm es un nivel de almacenamiento de acceso poco frecuente, totalmente administrado y de bajo costo para OpenSearch Service. Es compatible con OpenSearch, Elasticsearch (hasta la versión 7.10), OpenSearch Dashboards y Kibana (hasta la versión 7.10), lo que le permite analizar los datos con las mismas herramientas que ofrece actualmente OpenSearch Service. UltraWarm se integra sin problemas con las características existentes de OpenSearch Service, como las alertas integradas, las consultas SQL y más. 

UltraWarm le permite ampliar de forma rentable los datos que desea analizar en OpenSearch Service. Puede obtener información valiosa sobre los datos que anteriormente podrían haberse eliminado o archivado. Con UltraWarm, ahora puede retener de manera económica más datos para analizarlos de forma interactiva cuando lo desee.

OpenSearch Service admite dos niveles de almacenamiento integrados, de acceso frecuente y UltraWarm. El nivel de almacenamiento de acceso frecuente funciona con los nodos de datos que se utilizan para indexar, actualizar y proporcionar el acceso más rápido a los datos. Los nodos de UltraWarm complementan el nivel de almacenamiento de acceso frecuente con un nivel de solo lectura y bajo costo para datos más antiguos a los que se accede con menos frecuencia.

UltraWarm utiliza Amazon S3 para el almacenamiento que está diseñado para alcanzar una durabilidad del 99,999999999 % y elimina la necesidad de configurar una réplica de Elasticsearch para los datos de acceso intermedio. Además, si tiene más de un nodo de UltraWarm, en caso de que se produzca un error en uno de ellos, los demás nodos de UltraWarm accederán automáticamente a los datos según sea necesario.

UltraWarm admite hasta 3 PB de datos primarios. UltraWarm está diseñado para permitirle utilizar completamente el 100 % de este almacenamiento. Además, dado que UltraWarm almacena los datos en Amazon S3 para garantizar su durabilidad, no necesita utilizar almacenamiento adicional para las réplicas de Elasticsearch.

UltraWarm ofrece una experiencia interactiva en OpenSearch Dashboards y Kibana mediante la implementación de almacenamiento en caché pormenorizado de operaciones de E/S, captura previa y optimizaciones del motor de consulta para ofrecer un rendimiento similar al de las instancias de alta densidad que utilizan almacenamiento local.

Para comenzar a utilizar UltraWarm, cree un nuevo dominio de OpenSearch Service con UltraWarm habilitado a través de la consola, la CLI o las API. Una vez que se crea su dominio, puede mover los datos de un nivel de almacenamiento de acceso frecuente a UltraWarm con las API de OpenSearch o Elasticsearch. Para obtener más información, consulte la Guía para desarrolladores de OpenSearch Service.

El almacenamiento de acceso poco frecuente es la opción de almacenamiento de menor costo de OpenSearch Service, que le permite retener los datos a los que se accede con poca frecuencia en Amazon S3 y solo pagar por computación cuando lo necesite. El almacenamiento de acceso poco frecuente se basa en UltraWarm, que brinda nodos especializados para almacenar datos en Amazon S3 y utiliza una solución de caché sofisticada para proporcionar una experiencia interactiva. Al desacoplar los recursos de computación del almacenamiento, el almacenamiento de acceso poco frecuente le permite retener cualquier cantidad de datos en su dominio de OpenSearch Service a la vez que reduce el costo por GB casi al de los precios de almacenamiento de Amazon S3. Desconecte los datos históricos o a los que se accede con una frecuencia intermedia mientras no se utilizan y libere computación para ayudar a reducir los costos. En cuestión de segundos, descubra y adjunte de forma selectiva los datos fríos a los nodos UltraWarm de su dominio con la elección de una interfaz de Kibana (versión 7.10 y anteriores) o de OpenSearch Dashboards y unas API fáciles de usar. Con el almacenamiento en frío, puede consultar los datos fríos adjuntos con una experiencia interactiva y un rendimiento similares a los de sus datos de acceso intermedio o tibios.

OpenSearch incluye cierto código de Elasticsearch con licencia de Apache de Elasticsearch B.V. y otro código fuente. Elasticsearch B.V. no es el origen de ese otro código fuente. ELASTICSEARCH es una marca registrada de Elasticsearch B.V.

El almacenamiento de acceso poco frecuente es un nivel de almacenamiento de bajo costo completamente administrado para OpenSearch Service que le facilita el almacenamiento seguro y el análisis de sus registros históricos bajo demanda. El almacenamiento de acceso poco frecuente le permite desconectar completamente el almacenamiento de computación cuando no se analizan datos de forma activa y le permite mantener sus datos fácilmente disponibles a bajo costo. Los datos del almacenamiento de acceso poco frecuente están disponibles dentro del dominio de OpenSearch Service a través de sus nodos de UltraWarm. El almacenamiento de acceso poco frecuente se integra perfectamente con OpenSearch y OpenSearch Dashboards, así como con Elasticsearch (versión 7.9 y 7-10) y Kibana (versión 7.9 y 7.10). Permite analizar los datos con las mismas herramientas que ofrece actualmente OpenSearch Service.

El almacenamiento de acceso poco frecuente le permite ampliar de manera rentable el volumen de datos que desea analizar en OpenSearch Service y así obtener información valiosa sobre los datos que antes se podrían haber eliminado o archivado. El almacenamiento de acceso poco frecuente es ideal si tiene que llevar a cabo investigaciones o análisis forenses de sus datos más antiguos y desea utilizar todas las capacidades de OpenSearch Service para hacerlo, a un precio accesible. El almacenamiento de acceso poco frecuente está creado para escalar y está respaldado por Amazon S3. Encuentre y descubra los datos que necesita, adjúntelos a los nodos de UltraWarm en su clúster y póngalos a disposición para su análisis en segundos. Los datos de acceso poco frecuente adjuntos están sujetos a las políticas de control de acceso minucioso existentes que limitan el acceso a índices, documentos y campos.

Con el almacenamiento de acceso poco frecuente, OpenSearch Service admite tres niveles de almacenamiento integrados: de acceso frecuente, UltraWarm y de acceso poco frecuente. El nivel de acceso frecuente se utiliza para indexar, actualizar y proporcionar el acceso más rápido a los datos. UltraWarm proporciona una extensión perfecta de la capa de acceso frecuente al ofrecer nodos informáticos que ofrecen una experiencia interactiva de alto rendimiento para los datos que se almacenan de forma duradera en Amazon S3, y que actualmente admiten hasta 3 PB de datos en un solo dominio. Gracias al almacenamiento de acceso poco frecuente, ahora puede desconectar índices de UltraWarm mientras no están en uso y liberar computación para reducir costos. Con las API de almacenamiento de acceso poco frecuente y la interfaz de OpenSearch Dashboards y Kibana, puede detectar índices basados en patrones de índices y marcas de tiempo de datos para encontrar fácilmente lo que necesita para el análisis. Los datos pueden adjuntarse al dominio y estar listos para el análisis en cuestión de segundos. Cuando haya terminado con el análisis, basta con separar los datos para liberar de nuevo la computación. 

El almacenamiento de acceso poco frecuente está diseñado para ser escalable. Mientras que los límites de almacenamiento para los datos de acceso frecuente y semifrecuente siguen siendo de 3 PB, puede almacenar cualquier cantidad de datos en el almacenamiento de acceso poco frecuente.

El almacenamiento de acceso poco frecuente se basa en UltraWarm, que brinda nodos especializados para almacenar datos en Amazon S3 y utiliza una solución de caché sofisticada para proporcionar una experiencia interactiva. Los datos antiguos deben adjuntarse primero a los nodos de UltraWarm de su dominio de OpenSearch Service. Una vez adjuntados, los nodos de UltraWarm existentes impulsan las consultas en estos datos, lo que ofrece el mismo rendimiento que sus datos de acceso semifrecuente. Adjuntar índices sin actualizar a su dominio lleva unos segundos si hay suficiente capacidad de UltraWarm disponible para los datos solicitados. Si necesita capacidad adicional, es necesario agregar nodos de datos de UltraWarm, lo que puede tardar hasta algunos minutos.

OpenSearch Service ofrece capacidades de búsqueda de documentos en tiempo real que superan la búsqueda en bases de datos. Este servicio totalmente administrado usa el motor OpenSearch para las búsquedas. OpenSearch es un motor de búsqueda de código abierto con todas las características, basado en Lucene, portátil e independiente de la plataforma, que admite búsqueda por palabras clave, búsqueda en lenguaje natural, sinónimos, varios idiomas y mucho más. Entre las principales capacidades de búsqueda se incluyen las siguientes:

• Adquiere datos de una base de datos o un sistema de administración de contenido, un rastreador web o de intranet o un servicio de streaming
• Incluye API de búsqueda para crear un frontend por encima de los servicios de búsqueda
• Permite búsquedas entre varios atributos
• Encuentra nuevos documentos que coinciden con un conjunto de consultas guardadas con búsqueda prospectiva (percolación)
• Evalúa patrones de uso y lleva a cabo planificaciones de capacidad y predicciones de costos con las capacidades de supervisión de OpenSearch Service
• Usa algoritmos de machine learning (ML) integrados para búsquedas del vecino más cercano (k-NN) con el fin de llevar a cabo búsquedas vectoriales, por similitud, semánticas y mucho más.
• Usa el algoritmo de ML integrado para el aprendizaje de clasificación con el fin de calcular calificaciones de relevancia.
• Proporciona almacenamiento y búsqueda de vectores simples, escalables y de alto rendimiento para impulsar las experiencias de búsqueda aumentadas por ML y las aplicaciones de IA generativa
• Utiliza distintos lenguajes de consulta, entre ellos SQL

Buscar recursos

Video: AWS On Air para búsquedas 

Video: LexisNexis en búsquedas potenciadas por ML 

Demostración: Mejore los resultados de búsquedas con Amazon OpenSearch Service 

Taller: Cómo mejorar la relevancia de búsquedas con ML en Amazon OpenSearch Service

Blog: Novartis AG utiliza k-NN de OpenSearch Service y SageMaker para impulsar las búsquedas y recomendaciones

Diagrama de arquitectura de referencia: aplicaciones respaldadas por búsquedas

Ayude a sus equipos de operaciones de seguridad (SecOps) a detectar posibles amenazas rápidamente y, al mismo tiempo, disponer de las herramientas necesarias para ayudar en las investigaciones de seguridad, todo ello con bajos costos de retención de datos. Proteja los datos de su empresa y detecte rápidamente posibles amenazas de seguridad. OpenSearch Service proporciona compatibilidad lista para usar con más de 2200 reglas de seguridad de Sigma de código abierto para detectar posibles amenazas de seguridad mediante el filtrado de los resultados de seguridad. Incluso puede personalizar o utilizar las reglas de Sigma predeterminadas para detectar rápidamente posibles amenazas a la seguridad y enviar alertas a un destino preseleccionado. Utilice la compatibilidad lista para usar con varias fuentes de registro, como Windows, Netflow, AWS CloudTrail, DNS y más. 

Los análisis de seguridad de OpenSearch están diseñados para ayudar a investigar, detectar, analizar y abordar las amenazas de seguridad que podrían poner en riesgo las operaciones de las funciones críticas de la empresa. Estas amenazas incluyen la posible exposición de datos confidenciales, los ciberataques y otros eventos de seguridad adversos. Incluye las herramientas y características necesarias para definir los parámetros de detección, generar alertas y responder de manera eficaz a las posibles amenazas.

Actualmente, se admiten ocho tipos de registros: los registros de NetFlow, los registros de DNS, los registros de acceso de Apache, los registros de Windows, los registros de AD/LDAP, los registros de sistemas Linux, los registros de AWS CloudTrail y los registros de acceso de Amazon S3.

Puede utilizar sus canalizaciones de ingesta existentes que envían datos en formato JSON a OpenSearch.

Sí, los análisis de seguridad de OpenSearch incluyen más de 2200 reglas de seguridad de Sigma para su uso inmediato con diferentes tipos de detectores de seguridad. Estas reglas se preseleccionan una vez que se proporciona una configuración mínima sobre el origen de registro.

Sí, se pueden agregar reglas personalizadas para los tipos de registro admitidos anteriormente. Estas reglas deben estar en formato de regla de Sigma y se pueden importar a OpenSearch antes de usarlas con un detector de seguridad.

Sí, los registros deben estar en formato JSON. Recomendamos enviarlos en formato ECS (Elastic Common Schema)

Los análisis de seguridad de OpenSearch están disponibles sin costo adicional ni tasas de licencia. Paga el mismo costo que pagaría por ingerir otros datos en OpenSearch Service.

Los análisis de seguridad vienen preinstalados con OpenSearch Service en la versión 2.5 o superior de OpenSearch.

Amazon Security Lake centraliza automáticamente los datos de seguridad de orígenes personalizados, locales y en la nube en un lago de datos diseñado especialmente que se almacena en su cuenta. Estos datos agregados se normalizan en un formato común, almacenado en buckets de S3. Estos datos se pueden incorporar a OpenSearch Service, que le permite visualizar, consultar y crear informes. Los análisis de seguridad proporcionan un motor de reglas de seguridad que puede ser de ayuda para detectar y alertar sobre posibles eventos de seguridad, así como para correlacionarlos con el objetivo de facilitar la investigación.

Sí, puede incorporar registros adicionales de Security Lake a OpenSearch y crear un detector para ejecutar las reglas pertinentes en los registros ingeridos.

OR1, la familia de instancias optimizadas de OpenSearch, que ofrece una mejora de hasta un 30 % en cuanto a la relación precio-rendimiento con respecto a las instancias existentes en los análisis de rendimiento internos y utiliza Amazon S3 para ofrecer 11 9 segundos de durabilidad. Con OR1, Amazon OpenSearch Service utiliza la innovación de OpenSearch y las tecnologías de AWS para reimaginar la forma en que los datos se indexan y almacenan en la nube. OR1 permite a los clientes escalar de manera más económica y confiable sus implementaciones de OpenSearch sin comprometer la experiencia de análisis interactivo que esperan. 

OR1, la familia de instancias optimizadas de OpenSearch para clústeres administrados de Amazon OpenSearch Service, ofrece una mejora de hasta un 30 % en cuanto a la relación precio-rendimiento con respecto a las instancias existentes en los análisis de rendimiento internos y utiliza Amazon S3 para ofrecer 11 9 segundos de durabilidad. Con OR1, Amazon OpenSearch Service utiliza la innovación de OpenSearch y las tecnologías de AWS para reimaginar la forma en que los datos se indexan y almacenan en la nube. OR1 permite a los clientes escalar de manera más económica y confiable sus implementaciones de OpenSearch sin comprometer la experiencia de análisis interactivo que esperan. OR1 ofrece precios de pago por uso y de instancias reservadas, con una tarifa por hora simple para las instancias y el almacenamiento aprovisionados.

Los clientes utilizan ampliamente Amazon OpenSearch Service para el análisis de registros operativos debido a su capacidad de ingerir grandes volúmenes de datos y, al mismo tiempo, proporcionar análisis completos e interactivos de estos datos. OR1, la familia de instancias optimizadas de OpenSearch, que ofrece una mejora de hasta un 30 % en cuanto a la relación precio-rendimiento con respecto a las instancias existentes en los análisis de rendimiento internos y utiliza Amazon S3 para ofrecer 11 9 segundos de durabilidad. Si ejecuta cargas de trabajo de análisis operativo de indexación pesadas, puede beneficiarse de la mejora del rendimiento y la eficiencia informática. Además, en caso de una falla, OpenSearch puede realizar una recuperación automática de datos hasta la última operación exitosa, lo que mejora la fiabilidad del dominio.

Amazon OpenSearch Service admite dos estrategias de replicación: la replicación lógica (de documentos) y la física (de segmentos). En el caso de la replicación lógica, los datos se indexan en todas las copias de forma individual, lo que lleva a la duplicación de esfuerzos. En el caso de la replicación física, los datos se indexan solo en la copia principal y se crean copias adicionales copiando los datos de la copia principal. OR1, las nuevas instancias para los clústeres administrados de Amazon OpenSearch Service, utilizan la replicación física para escribir datos en el almacenamiento remoto basado en Amazon S3. El repositorio Amazon S3, un almacén de datos muy duradero, sirve como fuente fiable para todas las operaciones de replicación y recuperación. El diseño innovador permite mejorar el rendimiento de la indexación y mejorar la postura de durabilidad de los dominios de Amazon OpenSearch Service.

Amazon OpenSearch Service admite nodos de administración de clústeres (nodos maestros), nodos de datos y nodos en caliente. En cuanto a los nodos de datos, los clientes pueden seleccionar entre instancias de uso general, optimizadas para memoria, optimizadas para computación, optimizadas para almacenamiento y, ahora, optimizadas para OpenSearch, según las características del rol y la carga de trabajo. Para los nodos calientes, Amazon OpenSearch Service proporciona instancias ultracalientes que están optimizadas para reducir el costo de almacenamiento de datos en caliente. OR1 es la primera opción de instancia de la nueva familia de instancias optimizadas de OpenSearch. Las OR1 están optimizadas para la memoria y están disponibles como nodos de datos. Las OR1 proporcionan un rendimiento de indexación mejorado en comparación con las instancias estándar optimizadas para memoria. Además, las OR1 proporcionan durabilidad de los datos sin depender de instantáneas y proporcionan una recuperación rápida y automatizada. Tanto las instancias OR1 como las de Ultrawarm utilizan un almacén local (EBS) y un almacén remoto (almacenamiento administrado, basado en Amazon S3) para almacenar los datos. En el caso de OR1, se guarda una copia de los datos tanto en el almacén local como en el almacén remoto, mientras que para Ultrawarm, para reducir los costos de almacenamiento, los datos se guardan principalmente en el almacén remoto y, según el patrón de acceso, los datos se trasladan al almacén local. 

Las instancias OR1 utilizan EBS como almacén local y Amazon S3 como almacén remoto. Todos los datos se escriben de forma sincrónica en el Amazon S3, diseñado para proporcionar una durabilidad de los datos del 99,999999999 % (11 9 s).

Las instancias OR1 se pueden utilizar como nodos de datos para todos los nuevos clústeres administrados por Amazon OpenSearch Service creados en la versión 2.11 o versiones posteriores de OpenSearch y que tengan habilitado el cifrado en reposo. En el momento del lanzamiento, las instancias OR1 no estarán disponibles para los clústeres administrados que se crearon con otras instancias para los nodos de datos. Para OR1, debe aprovisionar instancias de Graviton para los administradores de clústeres.

Si el índice aparezca en rojo, las instancias OR1 restauran automáticamente las particiones faltantes del almacén remoto (Amazon S3). El tiempo de recuperación varía según el volumen de datos que se van a recuperar. 

Libro electrónico de arquitectura de referencia 

Video: Herramientas para transformación de datos