Ekosistem & Infrastruktur Data

Antarmuka standar yang memungkinkan dua sistem perangkat lunak berbeda saling bertukar data atau instruksi secara terstruktur.

Digunakan ketika data yang dibutuhkan berasal dari sistem eksternal, tanpa perlu mengakses database sumber secara langsung.

Sebuah aplikasi cuaca mengambil data suhu terkini dari penyedia layanan cuaca melalui API, tanpa menyimpan data tersebut secara mandiri.

Proses memindahkan data dari satu atau lebih sumber, mengubah formatnya agar sesuai kebutuhan, lalu memuatnya ke sistem penyimpanan tujuan.

Data diekstrak dari sumber asli, ditransformasi (dibersihkan, diformat ulang) di luar sistem tujuan, baru kemudian dimuat ke tempat penyimpanan akhir.

Data transaksi harian diambil dari beberapa sistem operasional, distandarkan formatnya, lalu dimuat ke dalam satu gudang data terpusat setiap malam.

Variasi dari ETL di mana data terlebih dahulu dimuat ke sistem tujuan dalam bentuk mentah, baru kemudian ditransformasi di dalam sistem tersebut.

Transformasi data dilakukan setelah data berada di tempat penyimpanan akhir, memanfaatkan kapasitas pemrosesan sistem tujuan yang umumnya lebih besar.

Data mentah dari berbagai sumber dimuat langsung ke data warehouse berbasis cloud, baru kemudian dibersihkan dan diformat menggunakan query di dalam sistem tersebut.

Rangkaian proses otomatis yang memindahkan data dari satu sistem ke sistem lain secara terjadwal atau berkelanjutan.

Menjadi fondasi agar data terbaru selalu tersedia bagi Data Analyst tanpa perlu proses pemindahan data secara manual berulang kali.

Sebuah pipeline berjalan otomatis setiap malam untuk memindahkan data transaksi harian dari sistem operasional ke gudang data.

Sistem penyimpanan terpusat yang menampung data terstruktur dari berbagai sumber, dirancang khusus untuk mendukung kebutuhan analisis dan pelaporan.

Data yang tersimpan sudah melalui proses pembersihan dan penataan, sehingga siap diakses langsung untuk kebutuhan analisis.

Data penjualan, data pelanggan, dan data inventaris dari berbagai sistem operasional digabungkan ke dalam satu data warehouse.

Sistem penyimpanan berskala besar yang menampung data dalam format mentah, baik terstruktur maupun tidak terstruktur, tanpa perlu ditata terlebih dahulu.

Data Lake menyimpan data mentah apa adanya, sementara Data Warehouse menyimpan data yang sudah diproses dan siap dianalisis.

Menyimpan seluruh log aktivitas aplikasi dalam format mentah ke Data Lake, untuk diproses lebih lanjut sesuai kebutuhan analisis yang muncul di kemudian hari.

Bagian kecil dari sebuah data warehouse yang difokuskan untuk kebutuhan satu divisi atau fungsi bisnis tertentu.

Digunakan ketika sebuah tim, misalnya pemasaran atau keuangan, hanya memerlukan subset data tertentu tanpa perlu mengakses keseluruhan data warehouse perusahaan.

Tim keuangan memiliki Data Mart tersendiri yang hanya berisi data transaksi dan biaya, tanpa perlu mengakses data operasional gudang atau logistik.

Model penyediaan layanan komputasi, termasuk penyimpanan dan pemrosesan data, melalui internet tanpa memerlukan infrastruktur fisik milik sendiri.

Memungkinkan penyimpanan dan pengolahan data dalam skala besar tanpa perlu membeli dan merawat server fisik secara mandiri.

Sebuah perusahaan memindahkan seluruh proses pengolahan datanya ke layanan cloud, sehingga bisa menambah atau mengurangi kapasitas server sesuai kebutuhan tanpa investasi perangkat keras.

Layanan penyimpanan data yang berada pada infrastruktur pihak penyedia layanan cloud, dapat diakses melalui internet dari lokasi mana pun.

Menyimpan file data mentah hasil ekspor sistem operasional ke dalam layanan penyimpanan cloud sebelum diproses lebih lanjut oleh pipeline data.

Digunakan ketika data perlu diakses dari berbagai lokasi atau tim tanpa bergantung pada satu perangkat penyimpanan fisik tertentu.

Sistem yang mencatat riwayat perubahan pada sebuah berkas atau kode dari waktu ke waktu, memungkinkan penelusuran maupun pengembalian ke versi sebelumnya.

Memungkinkan kolaborasi banyak orang pada satu proyek yang sama tanpa risiko kehilangan pekerjaan akibat perubahan yang saling tumpang tindih.

Dua orang mengerjakan skrip analisis yang sama, dan version control memungkinkan perubahan keduanya digabungkan tanpa saling menimpa pekerjaan satu sama lain.

Perangkat lunak version control yang paling banyak digunakan untuk melacak perubahan pada kode maupun berkas proyek data.

Digunakan ketika sebuah proyek, misalnya skrip analisis Python, dikerjakan dan dikembangkan secara berkelanjutan oleh satu atau lebih orang.

Menyimpan riwayat perubahan sebuah skrip Pandas menggunakan Git, sehingga bisa kembali ke versi sebelumnya jika perubahan terbaru ternyata bermasalah.

Kumpulan kebijakan dan prosedur yang mengatur bagaimana data dikelola, diakses, dan digunakan dalam sebuah organisasi.

Memastikan data digunakan secara konsisten, aman, dan sesuai kepatuhan, terutama untuk data yang bersifat sensitif.

Menetapkan aturan bahwa data pribadi pelanggan hanya boleh diakses oleh tim tertentu, dengan pencatatan setiap kali data tersebut dibuka.

Tingkat keandalan suatu data, dinilai dari aspek seperti akurasi, kelengkapan, konsistensi, dan ketepatan waktu.

Menjadi acuan sebelum data digunakan untuk pengambilan keputusan, guna memastikan hasil analisis tidak menyesatkan akibat data yang buruk kualitasnya.

Memeriksa apakah kolom tanggal transaksi memiliki nilai yang wajar dan konsisten formatnya sebelum data tersebut dipakai untuk laporan bulanan.

Data yang menjelaskan karakteristik data lain, seperti kapan sebuah tabel terakhir diperbarui, siapa pemiliknya, atau apa arti setiap kolomnya.

Keterangan bahwa kolom "nilai_transaksi" pada sebuah tabel bersatuan Rupiah dan diperbarui setiap tengah malam merupakan metadata dari tabel tersebut.

Digunakan untuk membantu siapa pun yang mengakses sebuah tabel memahami konteksnya tanpa perlu bertanya langsung kepada pembuatnya.

Struktur yang mendefinisikan bagaimana data disusun dalam sebuah database, termasuk nama tabel, nama kolom, dan tipe data masing-masing kolom.

Menjadi acuan utama ketika perlu memahami struktur sebuah database sebelum menyusun query yang melibatkan tabel tersebut.

Sebuah schema menunjukkan bahwa tabel pesanan memiliki kolom id_pesanan bertipe integer dan tanggal_pesanan bertipe date.

Metode pengolahan data yang memproses sekumpulan data sekaligus pada waktu tertentu secara terjadwal, bukan secara langsung saat data tersebut dihasilkan.

Data transaksi sepanjang hari baru diproses dan dimuat ke gudang data pada pukul dua dini hari, bukan seketika transaksi terjadi.

Cocok untuk kebutuhan laporan rutin yang tidak memerlukan data hitungan detik, seperti laporan penjualan harian atau mingguan.

Metode pengolahan data yang memproses data segera setelah data tersebut dihasilkan, tanpa jeda waktu yang signifikan.

Data tersedia untuk dianalisis hampir seketika, namun umumnya memerlukan infrastruktur yang lebih kompleks dibanding pemrosesan bertahap.

Dashboard monitoring transaksi yang menampilkan angka penjualan detik itu juga saat pelanggan menyelesaikan pembayaran.

Sistem yang mendata dan mengorganisasi seluruh aset data yang dimiliki sebuah organisasi, memudahkan pencarian dan pemahaman data yang tersedia.

Digunakan ketika organisasi memiliki banyak sumber data tersebar, sehingga diperlukan satu tempat terpusat untuk menemukan data yang relevan.

Seorang Data Analyst mencari tabel data pelanggan melalui data catalog, alih-alih bertanya satu per satu ke berbagai tim yang mungkin memilikinya.

Analisis data yang dilakukan sekali untuk menjawab pertanyaan spesifik dan mendesak, tanpa dimaksudkan menjadi laporan atau dashboard yang berkelanjutan.

Digunakan ketika sebuah pertanyaan bisnis muncul secara tiba-tiba dan membutuhkan jawaban cepat, berbeda dari kebutuhan pelaporan rutin.

Manajemen mendadak bertanya berapa banyak pelanggan yang terdampak gangguan sistem kemarin, sebuah pertanyaan yang dijawab sekali lewat query cepat, bukan dashboard permanen.

Pendekatan yang memungkinkan pengguna non-teknis mengakses dan menganalisis data secara mandiri melalui dashboard atau tools yang mudah digunakan, tanpa selalu bergantung pada Data Analyst.

Mengurangi beban permintaan berulang kepada tim data untuk pertanyaan yang sebenarnya bisa dijawab sendiri oleh pengguna melalui dashboard yang sudah tersedia.

Tim pemasaran memeriksa sendiri performa kampanye melalui dashboard interaktif, tanpa perlu meminta laporan khusus dari Data Analyst setiap kali dibutuhkan.