Apa itu streaming data waktu nyata?
Streaming data waktu nyata melibatkan pengumpulan dan penyerapan urutan data dari berbagai sumber data dan memproses data tersebut secara waktu nyata untuk mengekstraksi makna dan wawasan.
Contoh data streaming adalah file log yang dihasilkan oleh pelanggan menggunakan aplikasi seluler atau web Anda, pembelian ecommerce, aktivitas pemain dalam game, informasi dari jejaring sosial, lantai perdagangan keuangan, atau layanan geospasial, serta telemetri dari perangkat yang terhubung atau instrumentasi di pusat data.
Streaming data waktu nyata membantu Anda untuk dapat menganalisis dan memproses data secara waktu nyata, alih-alih menunggu berjam-jam, berhari-hari, atau berminggu-minggu untuk mendapatkan jawaban.
Apa saja komponen streaming data waktu nyata?
Sumber: Hingga ratusan dan ribuan perangkat atau aplikasi yang menghasilkan volume tinggi data berkelanjutan dengan kecepatan tinggi. Contohnya adalah perangkat seluler, aplikasi web (clickstream), log aplikasi, sensor IoT, perangkat pintar, dan aplikasi game.
Penyerapan Aliran: Integrasi sederhana dengan lebih dari 15 layanan AWS (Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch, dan lebih banyak lagi) yang membantu Anda untuk dapat menangkap data berkelanjutan yang dihasilkan dari ribuan perangkat dengan cara yang tahan lama dan aman.
Penyimpanan Aliran: Pilih solusi yang memenuhi kebutuhan penyimpanan Anda berdasarkan kebutuhan penskalaan, latensi, dan pemrosesan, seperti Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, dan Amazon Managed Streaming for Apache Kafka (Amazon MSK).
Pemrosesan Aliran: Pilih dari pilihan layanan mulai dari solusi yang hanya memerlukan beberapa klik untuk mengubah dan mengirim data secara terus menerus ke tujuan, seperti Amazon Kinesis Data Firehose, hingga aplikasi waktu nyata yang kuat, yang dibuat khusus, dan integrasi machine learning menggunakan layanan, seperti Layanan Terkelola Amazon untuk Apache Flink dan AWS Lambda.
Tujuan: Kirimkan data streaming ke pilihan danau data, gudang data, dan layanan analitik yang terintegrasi penuh untuk analisis lebih lanjut atau penyimpanan jangka panjang, seperti Amazon S3, Amazon Redshift, Amazon OpenSearch Service, dan Amazon EMR.
Apa saja kasus penggunaan streaming data waktu nyata?
Perpindahan Data Waktu Nyata
Mengalirkan data dari ratusan ribu perangkat dan menjalankan transformasi ETL pada volume tinggi data berkecepatan tinggi yang terus menerus secara waktu nyata memungkinkan pengguna untuk menganalisis data segera setelah diproduksi, lalu menyimpan data selama mungkin di danau data, gudang data, atau basis data untuk analisis lebih lanjut.
Pelajari cara WalkMe mengatasi tantangan pengurutan saat mereka mengalirkan data ke danau data
Pelajari cara John Deere menjalankan ETL streaming ke danau data mereka secara waktu nyata
Analisis Real-Time
Analisis data segera setelah diproduksi dan aktifkan keputusan waktu nyata di seluruh organisasi untuk memanfaatkan peluang, meningkatkan pengalaman pelanggan, mencegah kegagalan jaringan, atau memperbarui metrik bisnis penting secara waktu nyata.
Log: Tangkap, proses, dan analisis log dari aplikasi Anda secara waktu nyata.
Baca mengenai cara menganalisis perilaku pengguna secara waktu nyata
Pelajari cara menganalisis dan memvisualisasikan lalu lintas jaringan VPC Anda
Lihat cara mengelola log server Microsoft Exchange terpusat
Pembaruan waktu nyata: Terlibat dengan konsumen, gamer, pedagang keuangan, dan lainnya dengan memberikan pembaruan waktu nyata ke metrik penentuan penting, rekomendasi penawaran, dan pengalaman pelanggan.
Lihat cara menggunakan analitik game waktu nyata untuk menyenangkan gamer Anda
Pelajari cara menyampaikan berita yang sedang tren dan tepersonalisasi secara waktu nyata
Clickstream: Dapatkan tampilan secara waktu nyata dari performa konten web Anda dan interaksi pengguna dengan aplikasi dan situs web Anda yang meliputi perilaku pengguna, jumlah waktu yang dihabiskan, konten populer, dan masih banyak lagi.
IoT: Hubungkan ke ratusan ribu perangkat IoT dan kumpulkan, proses, serta analisis data streaming secara waktu nyata.
Pemrosesan Aliran Peristiwa
Tangkap dan respons peristiwa yang terjadi secara waktu nyata di beberapa aplikasi. Kasus penggunaan yang paling umum adalah komunikasi antara ratusan layanan mikro yang dipisahkan dan pemeliharaan sistem catatan melalui Tangkapan Data Perubahan.
Komunikasi antara layanan mikro yang dipisahkan: Saat layanan mikro apa pun dipicu, suatu peristiwa dapat dikirim ke aliran data secara waktu nyata, dan layanan mikro lainnya dapat 'menonton' aliran tersebut untuk melihat apakah ada peristiwa yang terjadi untuk memicu tindakan yang diperlukan.
Pelajari cara Lyft berkomunikasi antara ratusan layanan mikro secara waktu nyata
Tangkapan Data Perubahan: Semua perubahan pada data di beberapa aplikasi dan basis data dapat dialirkan ke sistem catatan pusat secara waktu nyata.
Pelajari cara memuat data Tangkapan Data Perubahan dari basis data relasional
Pelajari cara mengalirkan Tangkapan Data Perubahan secara waktu nyata
Layanan streaming apa saja yang tersedia di AWS?
AWS menyediakan beberapa opsi untuk bekerja dengan streaming data waktu nyata.
- Amazon Kinesis Data Streams adalah layanan streaming data waktu nyata yang dapat diskalakan dan tahan lama yang mampu menangkap data berukuran gigabita per detik dari ratusan ribu sumber secara terus menerus.
- Amazon Kinesis Data Firehose menangkap, mentransformasi, dan memuat aliran data ke dalam penyimpanan data AWS untuk analitik mendekati waktu nyata dengan alat kecerdasan bisnis yang ada hanya dengan beberapa klik.
- Layanan Terkelola Amazon untuk Apache Flink mentransformasi dan menganalisis data streaming secara waktu nyata menggunakan Apache Flink, yang merupakan kerangka kerja dan mesin sumber terbuka untuk memproses aliran data.
- Amazon Managed Streaming for Apache Kafka adalah layanan yang terkelola penuh yang memudahkan Anda untuk membangun dan menjalankan aplikasi menggunakan Apache Kafka untuk memproses data streaming.
Mulai streaming data waktu nyata di AWS dengan membuat akun sekarang juga.
Langkah Berikutnya di AWS
