Apa itu Manajemen Data?

Selain tata kelola data, praktik manajemen data mencakup pengumpulan dan distribusi data berkualitas tinggi untuk mengontrol akses ke data.

Manajemen kualitas data

Pengguna data berharap data cukup andal dan konsisten untuk setiap kasus penggunaan.

Manajer kualitas data mengukur dan meningkatkan kualitas data organisasi. Mereka meninjau data yang ada dan baru serta memverifikasi bahwa data tersebut memenuhi standar. Mereka mungkin juga mengatur proses manajemen data yang memblokir data berkualitas rendah agar tidak masuk ke sistem. Biasanya, standar kualitas data mengukur hal berikut:

• Apakah informasi utama hilang atau apakah datanya lengkap? (misalnya, pelanggan tidak mengisi informasi kontak utama)
• Apakah data memenuhi aturan pemeriksaan data dasar? (misalnya, nomor telepon harus terdiri dari 10 digit)
• Seberapa sering data yang sama muncul di sistem? (misalnya, entri data duplikat dari pelanggan yang sama)
• Apakah data akurat? (misalnya, pelanggan memasukkan alamat email yang salah)
• Apakah kualitas data konsisten di seluruh sistem? (misalnya, format tanggal lahir adalah dd/mm/yyyy di satu set data, tapi memiliki format mm/dd/yyyy di set data lain)

Distribusi dan konsistensi data

Titik akhir untuk distribusi data

Untuk sebagian besar organisasi, data harus didistribusikan ke (atau dekat) berbagai titik akhir di mana data diperlukan. Ini termasuk sistem operasional, danau data, dan gudang data. Distribusi data diperlukan karena latensi jaringan. Saat data diperlukan untuk penggunaan operasional, latensi jaringan mungkin tidak cukup untuk mengirimkannya secara tepat waktu. Menyimpan salinan data dalam basis data lokal menyelesaikan masalah latensi jaringan.

Distribusi data juga diperlukan untuk konsolidasi data. Gudang data dan danau data mengonsolidasi data dari berbagai sumber untuk menyajikan tampilan informasi yang terkonsolidasi. Gudang data digunakan untuk analitik dan pengambilan keputusan, sedangkan danau data adalah hub terkonsolidasi tempat data dapat diekstrak untuk berbagai kasus penggunaan.

Mekanisme replikasi data dan dampak pada konsistensi

Mekanisme distribusi data memiliki dampak potensial pada konsistensi data dan hal ini merupakan pertimbangan penting dalam manajemen data.

Konsistensi yang kuat dihasilkan dari replikasi data yang sinkronis. Dalam pendekatan ini, saat nilai data diubah, semua aplikasi dan pengguna akan melihat nilai data yang diubah. Jika nilai data baru belum direplikasi, akses ke data diblokir hingga semua salinan diperbarui. Replikasi sinkronis memprioritaskan konsistensi daripada performa dan akses ke data. Replikasi sinkronis paling sering digunakan untuk data keuangan.

Eventual consistency dihasilkan dari replikasi asinkron data. Saat data diubah, salinan akhirnya diperbarui (biasanya dalam hitungan detik), namun akses ke salinan usang tidak diblokir. Untuk banyak kasus penggunaan, hal ini bukan masalah. Misalnya, postingan media sosial, suka, dan komentar tidak memerlukan konsistensi yang kuat. Sebagai contoh lain, jika pelanggan mengubah nomor telepon mereka dalam satu aplikasi, perubahan ini dapat dilakukan secara asinkron.

Membandingkan streaming dengan pembaruan batch

Aliran data mengalirkan perubahan data saat terjadi. Ini adalah pendekatan yang lebih disukai jika akses ke data mendekati waktu nyata diperlukan. Data diekstrak, diubah, dan dikirim ke tujuannya segera setelah diubah.

Pembaruan batch lebih tepat ketika data harus diproses dalam batch sebelum pengiriman. Contohnya, meringkas atau melakukan analisis statistik data dan hanya mengirimkan hasilnya. Pembaruan batch juga dapat mempertahankan konsistensi internal titik waktu data jika semua data diekstrak pada titik waktu tertentu. Pembaruan batch melalui proses ekstrak, transformasi, dan muat (ETL atau ELT) biasa digunakan untuk danau data, pergudangan data, dan analitik.

Manajemen big data

Big data adalah volume besar data yang dikumpulkan organisasi dengan kecepatan tinggi dalam waktu singkat. Umpan berita video di media sosial dan aliran data dari sensor pintar adalah contoh big data. Baik skala maupun kompleksitas operasi menciptakan tantangan dalam manajemen big data. Misalnya, sistem big data menyimpan data seperti:

• Data terstruktur yang mewakili dengan baik dalam format tabel
• Data tidak terstruktur seperti dokumen, gambar, dan video
• Data semi-terstruktur yang menggabungkan dua jenis sebelumnya

Alat manajemen big data harus memproses dan menyiapkan data untuk analitik. Alat dan teknik yang diperlukan untuk big data biasanya melakukan fungsi berikut: integrasi data, penyimpanan data, dan analisis data.

Arsitektur data dan pemodelan data

Arsitektur data

Arsitektur data menjelaskan aset data organisasi dan menyediakan cetak biru untuk membuat dan mengelola aliran data. Rencana manajemen data mencakup detail teknis, seperti basis data operasional, danau data, gudang data, dan server yang paling cocok untuk menerapkan strategi manajemen data.

Pemodelan data

Pemodelan data adalah proses menciptakan model data konseptual dan logis yang memvisualisasikan alur kerja dan hubungan antara berbagai jenis data. Pemodelan data biasanya dimulai dengan merepresentasikan data secara konseptual lalu merepresentasikannya kembali dalam konteks teknologi yang dipilih. Manajer data membuat beberapa jenis model data yang berbeda selama tahap desain data.

Tata kelola data

Tata kelola data mencakup kebijakan dan prosedur yang diterapkan organisasi untuk mengelola keamanan data, integritas, dan utilitas data yang bertanggung jawab. Hal itu mendefinisikan strategi manajemen data dan menentukan siapa yang dapat mengakses data apa. Kebijakan tata kelola data juga membangun akuntabilitas dalam cara tim dan individu mengakses dan menggunakan data. Biasanya, fungsi tata kelola data meliputi:

Kepatuhan terhadap Peraturan

Kebijakan tata kelola data mengurangi risiko denda atau tindakan peraturan. Mereka fokus pada pelatihan karyawan sehingga kepatuhan terhadap hukum terjadi di semua tingkat. Misalnya, sebuah organisasi berkolaborasi dengan tim pengembangan eksternal untuk meningkatkan sistem datanya. Manajer tata kelola data memverifikasi bahwa semua data pribadi dihapus sebelum meneruskannya ke tim eksternal guna digunakan untuk tujuan pengujian.

Keamanan data dan kontrol akses

Tata kelola data mencegah akses tidak sah ke data dan melindunginya dari kerusakan. Hal ini mencakup semua aspek perlindungan, seperti berikut:

• Mencegah pemindahan atau penghapusan data yang tidak disengaja
• Mengamankan akses jaringan untuk mengurangi risiko serangan jaringan
• Memverifikasi bahwa pusat data fisik yang menyimpan data memenuhi persyaratan keamanan
• Menjaga keamanan data bahkan saat karyawan mengaksesnya dari perangkat pribadi
• Autentikasi pengguna, otorisasi, serta pengaturan dan penegakan izin akses untuk data
• Memastikan bahwa data yang disimpan mematuhi hukum di negara tempat data disimpan
   

Praktik terbaik manajemen data membentuk dasar dari strategi data yang sukses. Berikut adalah praktik terbaik yang umum.

Kolaborasi tim

Pengguna bisnis dan tim teknis harus berkolaborasi untuk memastikan bahwa persyaratan data organisasi terpenuhi. Semua pemrosesan dan analisis data harus memprioritaskan persyaratan kecerdasan bisnis. Jika tidak, data yang dikumpulkan akan tetap tidak digunakan dengan sumber daya yang terbuang sia-sia dalam proyek manajemen data yang direncanakan dengan buruk.

Otomatisasi

Strategi manajemen data yang sukses menggabungkan otomatisasi di sebagian besar tugas pemrosesan dan persiapan data. Melakukan tugas transformasi data secara manual merupakan hal yang membosankan dan menimbulkan kesalahan dalam sistem. Bahkan tugas manual dalam jumlah terbatas, seperti menjalankan pekerjaan batch mingguan, dapat menyebabkan kendala sistem. Perangkat lunak manajemen data dapat mendukung penskalaan yang lebih cepat dan efisien.

Komputasi cloud

Bisnis memerlukan solusi manajemen data modern yang memberi mereka serangkaian kemampuan yang luas. Solusi cloud dapat mengelola semua aspek manajemen data dalam skala besar tanpa mengorbankan performa. Misalnya, AWS menawarkan berbagai fungsi, seperti basis data, danau data, analitik, aksesibilitas data, tata kelola data, dan keamanan dari dalam satu akun.