Apa Perbedaan Antara Gudang Data, Danau Data, dan Data Mart?

Buat Akun AWS

Jelajahi Penawaran Analitik Gratis

Lihat penawaran gratis untuk layanan Analitik di cloud

Lihat Layanan Analitik

Berinovasi lebih cepat dengan rangkaian layanan Analitik terlengkap

Jelajahi Pelatihan Analitik

Mulai pelatihan Analitik dengan konten yang dibuat oleh ahli AWS

Baca Blog Analitik

Baca tentang berita produk dan praktik terbaik Analitik AWS terbaru

Apa Perbedaan Antara Gudang Data, Danau Data, dan Data Mart?

Gudang data, danau data, dan data mart adalah solusi penyimpanan cloud yang berbeda. Gudang data menyimpan data dalam format terstruktur. Gudang data adalah pusat repositori data yang diproses sebelumnya untuk analitik dan kecerdasan bisnis. Data mart adalah gudang data yang melayani kebutuhan unit bisnis tertentu, seperti departemen keuangan, pemasaran, atau penjualan perusahaan. Di sisi lain, danau data adalah repositori penyimpanan pusat untuk data mentah dan data tidak terstruktur. Anda dapat menyimpan data terlebih dahulu dan memprosesnya nanti.

Persamaan antara gudang data, data mart, dan danau data

Organisasi saat ini memiliki akses ke volume data yang terus meningkat. Mereka harus menyortir, memproses, memfilter, dan menganalisis data mentah untuk memperoleh manfaat praktis. Pada waktu yang bersamaan, mereka juga harus mengikuti perlindungan data dan praktik keamanan yang ketat untuk kepatuhan regulasi. Berikut adalah praktik-praktik yang harus diikuti perusahaan:

Mengumpulkan data dari berbagai sumber seperti aplikasi, vendor, sensor Internet untuk Segala (IoT), dan pihak ketiga lainnya.
Memproses data ke dalam format yang konsisten, tepercaya, dan bermanfaat. Misalnya, organisasi dapat memproses data untuk memastikan semua tanggal dalam sistem menggunakan format umum atau meringkas laporan harian.
Menyiapkan data dengan memformat file XML untuk perangkat lunak machine learning atau menghasilkan laporan untuk manusia.

Organisasi menggunakan beragam alat dan solusi untuk mencapai hasil analitik data mereka. Gudang data, data mart, dan danau data adalah solusi yang membantu menyimpan data.

Baca selengkapnya mengenai XML »

Manfaat gudang data, danau data, dan data mart berbasis cloud

Ketiga solusi penyimpanan tersebut membantu meningkatkan ketersediaan, keandalan, dan keamanan data Anda. Berikut adalah contoh bagaimana Anda dapat menggunakannya:

Menyimpan data bisnis Anda dengan aman untuk analitik
Menyimpan volume data tidak terbatas selama Anda membutuhkannya
Memecah silo dengan integrasi data dari beberapa proses bisnis
Menganalisis data historis atau basis data warisan
Melakukan analisis data batch dan waktu nyata

Selain itu, ketiga solusi tersebut hemat biaya. Anda hanya membayar untuk ruang penyimpanan yang Anda gunakan. Anda dapat menyimpan semua data Anda, menganalisis pola dan trennya, serta menggunakan informasi tersebut untuk mengoptimalkan operasi bisnis Anda.

Perbedaan utama: gudang data vs. data mart

Gudang data adalah basis data relasional yang menyimpan data dari sistem transaksi dan aplikasi fungsi bisnis. Semua data di gudang adalah terstruktur atau dipramodel ke dalam tabel. Struktur dan skema data didesain untuk mengoptimalkan kueri SQL yang cepat. Data mart adalah istilah pemasaran lain untuk teknologi yang sama. Ini juga merupakan basis data relasional, tetapi penggunaan praktis sangat berbeda dari gudang data. Berikut adalah poin utama perbedaannya.

Baca selengkapnya mengenai SQL »

Sumber data

Gudang data memiliki beberapa sumber, baik internal maupun eksternal. Anda dapat mengekstraksi data dari mana pun, mengubahnya ke dalam format terstruktur, dan memuatnya ke gudang Anda. Data mart memiliki sedikit sumber data dan cenderung berukuran kecil.

Fokus

Gudang data umumnya menyimpan data dari beberapa unit bisnis. Gudang data mengintegrasikan data dari seluruh organisasi untuk analitik komprehensif. Data mart memiliki fokus subjek tunggal dan bersifat lebih terdesentralisasi. Data mart sering kali memfilter dan meringkas informasi dari gudang data lain yang sudah ada.

Penggunaan

Beberapa pengguna dan proyek memerlukan data yang disimpan di gudang data. Oleh karena itu, gudang biasanya memiliki masa pakai yang panjang dan sifatnya lebih kompleks. Di sisi lain, data mart dapat berfokus pada proyek dengan penggunaan terbatas. Tim lebih memilih data mart daripada gudang data korporasi dan mengakhirinya begitu kasus penggunaan telah selesai.

Pendekatan desain

Ilmuwan data menggunakan pendekatan atas-bawah saat mendesain gudang data. Mereka merencanakan arsitektur keseluruhan terlebih dahulu dan menyelesaikan tantangan saat muncul. Dengan data mart, teknisi data sudah mengetahui detail seperti nilai, tipe data, dan sumber data eksternal. Mereka merencanakan implementasi dari awal dan menggunakan pendekatan bawah-atas pada desain data mart.

Karakteristik	Gudang Data	Data Mart
Cakupan	Beberapa bidang subjek terpusat yang diintegrasikan bersama	Bidang subjek khusus yang terdesentralisasi
Pengguna	Berskala organisasi	Satu komunitas atau departemen
Sumber data	Banyak sumber	Satu atau beberapa sumber, atau sebagian data sudah dikumpulkan di gudang data
Ukuran	Besar, dapat sebesar 100 gigabita hingga petabita	Kecil, umumnya hingga 10 gigabita
Desain	Atas-bawah	Bawah-atas
Detail data	Data detail lengkap	Dapat memiliki data terangkum
	Pelajari selengkapnya mengenai Gudang Data	Pelajari selengkapnya mengenai Data Mart

Perbedaan utama: gudang data vs. danau data

Gudang data dan danau data saling berkaitan, tetapi pada dasarnya merupakan teknologi yang berbeda. Gudang data menyimpan data terstruktur, sedangkan danau data adalah repositori terpusat yang memungkinkan Anda menyimpan semua data dalam skala berapa pun. Danau data menawarkan lebih banyak opsi penyimpanan, lebih kompleks, dan memiliki kasus penggunaan yang beragam dibandingkan gudang data. Berikut adalah poin utama perbedaannya.

Sumber data

Danau data dan gudang data sama-sama memiliki sumber data yang tidak terbatas. Akan tetapi, pembuatan gudang data mengharuskan Anda untuk mendesain skema sebelum Anda dapat menyimpan data. Anda hanya dapat memuat data terstruktur ke dalam sistem. Sebaliknya, danau data tidak memiliki persyaratan tersebut. Danau data menyimpan data yang tidak terstruktur dan semiterstruktur, seperti log server web, clickstream, media sosial, dan data sensor.

Prapemrosesan

Gudang data umumnya memerlukan prapemrosesan sebelum penyimpanan. Alat Extract, Transform, Load (ETL) digunakan untuk membersihkan, memfilter, dan membuat struktur set data di awal. Sebaliknya, danau data menyimpan data apa pun. Anda bebas memilih jika ingin melakukan prapemrosesan atau tidak. Organisasi biasanya menggunakan alat Extract, Load, Transform (ELT). Alat ini memuat data di dalam danau terlebih dahulu dan mengubahnya hanya saat diperlukan.

Kualitas data

Gudang data cenderung lebih andal saat Anda melakukan pemrosesan di awal. Beberapa fungsi seperti deduplikasi, penyortiran, peringkasan, dan verifikasi dapat dilakukan terlebih dahulu untuk menjamin keakuratan data. Data duplikasi atau data yang salah dan tidak diverifikasi dapat berakhir di danau data jika pemeriksaan tidak dilakukan sebelumnya.

Performa

Gudang data didesain untuk performa kueri tercepat. Pengguna bisnis memilih gudang data agar mereka dapat menghasilkan laporan dengan lebih efisien. Sebaliknya, arsitektur danau data memprioritaskan volume penyimpanan dan biaya di atas performa. Anda akan mendapatkan volume penyimpanan yang jauh lebih tinggi dengan biaya lebih rendah, dan tetap dapat mengakses data dengan kecepatan yang wajar.

Karakteristik	Gudang Data	Danau Data
Data	Data relasional dari sistem transaksi, basis data operasional, dan lini aplikasi bisnis	Semua data, termasuk data terstruktur, semiterstruktur, dan tidak terstruktur
Skema	Biasanya didesain sebelum implementasi gudang data, tetapi juga dapat ditulis pada saat analisis (schema-on-write atau schema-on-read)	Ditulis pada saat analisis (schema-on-read)
Harga/Performa	Hasil kueri tercepat menggunakan penyimpanan lokal	Hasil kueri menjadi lebih cepat menggunakan penyimpanan biaya rendah dan pemisahan antara komputasi dan penyimpanan
Kualitas data	Data terkurasi dengan baik yang berfungsi sebagai versi kebenaran utama	Data apa pun dapat atau mustahil terkurasi (yaitu data mentah)
Pengguna	Analis bisnis, ilmuwan data, dan developer data	Analis bisnis (yang menggunakan data terkurasi), ilmuwan data, developer data, teknisi data, dan arsitek data
Analisis	Pelaporan batch, BI, dan visualisasi	Machine learning, analitik eksploratori, penemuan data, streaming, analitik operasional, big data, dan pembuatan profil
	Pelajari selengkapnya mengenai Gudang Data	Pelajari selengkapnya mengenai Danau Data

Kapan menggunakan danau data vs. gudang data vs. data mart?

Kebanyakan organisasi besar menggunakan gabungan danau data, gudang data, dan data mart dalam infrastruktur penyimpanan mereka. Biasanya, semua data yang diserap ke dalam danau data lalu dimuat ke dalam gudang data dan data mart yang berbeda untuk beragam kasus penggunaan. Keputusan teknologi tergantung pada berbagai faktor seperti yang dijelaskan di bawah ini.

Fleksibilitas

Pada umumnya, danau data menawarkan fleksibilitas lebih dengan biaya lebih rendah. Tim yang berbeda dapat mengakses data yang sama menggunakan alat analitik dan kerangka kerja pilihan mereka. Anda dapat menghemat waktu karena tidak perlu menentukan struktur, skema, dan transformasi data.

Tipe data

Sebaiknya Anda memilih gudang data jika Anda ingin menyimpan data relasional seperti data pelanggan dan proses bisnis. Jika Anda memiliki data relasional dalam volume besar, tim Anda dapat mempertimbangkan pembuatan beberapa data mart untuk kebutuhan bisnis khusus. Misalnya, departemen akuntansi dapat membuat data mart untuk menjaga neraca keuangan dan menyiapkan pernyataan akun pelanggan, sedangkan departemen pemasaran dapat membuat data mart lain untuk pengoptimalan kampanye iklan.

Biaya dan volume

Gudang data dapat secara efisien menangani ratusan petabita (PB) data. Danau data menawarkan lebih banyak volume dengan biaya relatif lebih rendah, terutama untuk gambar dan video dalam jumlah besar. Namun, tidak semua organisasi mungkin memerlukan tingkat skala tersebut.

Bagaimana AWS dapat membantu penyimpanan data Anda?

AWS memberikan pilihan paling luas dari layanan analitik yang sesuai dengan seluruh kebutuhan analitik data Anda. Kami memungkinkan industri dan organisasi segala ukuran untuk menemukan kembali bisnis mereka dengan data. Berikut adalah contoh bagaimana Anda dapat menggunakan AWS:

Gunakan Amazon Redshift untuk persyaratan gudang data dan data mart Anda. Dapatkan wawasan terintegrasi dengan menjalankan analisis prediktif dan secara waktu nyata pada data yang kompleks dan berskala di seluruh basis data operasional, danau data, gudang data, serta ribuan set data pihak ketiga. Anda dapat secara otomatis membuat, melatih, dan melakukan deployment model machine learning dengan mudah.
Gunakan AWS Lake Formation untuk membuat, mengelola, dan mengamankan danau data dalam hitungan dari. Impor data dengan cepat dari semua sumber data Anda, lalu jelaskan dan kelola data dalam katalog data terpusat.
Gunakan Amazon S3 untuk membuat danau data kustom untuk analitik big data, kecerdasan buatan, machine learning, dan aplikasi komputasi performa tinggi.