Amazon Data Firehose

Echtzeit-Streams zuverlässig in Data Lakes, Warehouses und Analytik-Services laden

Vorteile

Einfaches Erfassen, Transformieren und Laden von Streaming-Daten. Erstellen Sie einen Bereitstellungsdatenstrom, wählen Sie Ihr Ziel aus und starten Sie mit wenigen Klicks das Streaming von Echtzeitdaten.

Automatische Bereitstellung und Skalierung von Computing-, Arbeitsspeicher- und Netzwerkressourcen ohne laufende Verwaltung.

Wandeln Sie Streaming-Rohdaten in Formate wie Apache Parquet um und partitionieren Sie Streaming-Daten dynamisch, ohne eigene Verarbeitungspipelines zu entwickeln.

Funktionsweise:

Amazon Data Firehose bietet die einfachste Möglichkeit, Datenströme innerhalb von Sekunden zu erfassen, zu transformieren und an Data Lakes, Data Warehouses und Analyseservices weiterzuleiten. Um Amazon Data Firehose zu verwenden, richten Sie einen Stream mit einer Quelle, einem Ziel und den erforderlichen Transformationen ein. Amazon Data Firehose verarbeitet den Stream kontinuierlich, skaliert automatisch auf Grundlage der verfügbaren Datenmenge und liefert ihn innerhalb von Sekunden.

Wählen Sie die Quelle für Ihren Datenströme aus, z. B. ein Thema in Amazon Managed Streaming for Kafka (MSK), einen Stream in Kinesis Data Streams, oder schreiben Sie Daten mithilfe der Firehose-Direct-PUT-API. Amazon Data Firehose ist in über 20 AWS-Services integriert, sodass Sie einen Stream aus Quellen wie Datenbanken (Vorversion), Amazon CloudWatch Logs, Web-ACL-Protokollen der AWS WAF, AWS-Network-Firewall-Protokollen, Amazon SNS oder AWS IoT einrichten können.

Geben Sie an, ob Sie Ihren Datenstrom in Formate wie Parquet oder ORC konvertieren, die Daten dekomprimieren, benutzerdefinierte Datentransformationen mit Ihrer eigenen AWS-Lambda-Funktion durchführen oder Eingabedatensätze dynamisch auf der Grundlage von Attributen partitionieren möchten, um sie an verschiedene Speicherorte zu übertragen.

Wählen Sie ein Ziel für Ihren Stream aus, z. B. Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake, Apache-Iceberg-Tabellen, Amazon S3 Tables (Vorversion) oder einen benutzerdefinierten HTTP-Endpunkt.

Weitere Informationen zu Amazon Data Firehose finden Sie in der Dokumentation zu Amazon Data Firehose.

Anwendungsfälle

Streamen Sie Daten in Amazon S3 und konvertieren Sie Daten in die für die Analyse erforderlichen Formate, ohne Verarbeitungspipelines zu erstellen.

Überwachen Sie die Netzwerksicherheit in Echtzeit und erstellen Sie Warnungen, wenn potenzielle Bedrohungen auftreten, indem Sie unterstützte SIEM-Tools (Security Information and Event Management) verwenden.

Reichern Sie Ihre Datenströme mit Modellen des Machine Learning (ML) an, um Daten zu analysieren und Inferenzendpunkte vorherzusagen, während die Datenströme ihr Ziel erreichen.


Mehr von AWS erkunden