Breaking News
Join This Site
Data Warehouse Architecture

Data Warehouse Architecture




Arsitektur lebih cenderung ke logicalnya sedangkan infrastruktur lebih ke fisik
contoh arsitektur kampus

apa yang salah dengan arsitektur :
- perlebaran sebuah bangunan akan tetapi batasan karena dibawahnya ada bangunan orang,
- seorang perancang data warehouse biasanya merancang terlalu besar kenyataannya tidak semua perusahaan tidak membutuhkannya.

Faktor dalam arsitektur data warehouse
  • data yang terintegrasikan → karena data warehouse terdiri dari banyak jenis data dan semuanya harus bisa di integrasikan
  • Menyiapankan penyimpanan data dan caranya
  • sarana penyampaian informasi
  • aturan, prosedur, fungsi yang menjadikan data warehouse bekerja sesuai kebutuhan bisnis → prosedur harus ada, karena untuk menantisipasi saat terjadi putus koneksi, misal input data di exel setelah koneksi tersambung kembali data bisa di upload kembali.
Tujuan arsitektur data warehouse
  • sebagai blueprint
  • menyediakan kerangka keseluruhan untuk mengembangkan dan menggunakana data warehouse..
definisi arsitektur
  • standard
  • Measurements
  • Desain umum
Data source = internet dll. → diambil kemudian data di acquisition dan di masukan di data staging (mengatagorikan data, menyamakan tipe data) → data storage → information delivery

Tujuan dan ruang lingkup yang berbeda

  • Harus mendukung informasi yang startegis
  • ada komponen utk menyediakan data dalam volume besar
  • dll
isi data
  • data read only
Analisis yg kompeleks dan respon yg cepat

  • arsitektur harus mendukung variasi utk analisis.
  • Format tabel harus diterjemahkan ke dalam grafis
  • harus mudah dan cepat dalam membuat keputusan strategis
Flesibel dan Dinamis
  • Tidak tahu kebutuhan bisnis masa depan
  • kondisi bisnis yg berubah-ubah
Arsitektur pendukung flow dari data
sourcenya berbeda2 sehingga aplikasinya berbeda2 → bisa jadi management control tidak hanya satu

Data Acquisition
  • Data Extraction → dari mysql, postgress → di extract
kumpulkan data source, di filter
generat otomatis
reformating dan disamakan

  • Data Transformation → Relation db
maping dari mana mau kemana
clean data, deduplicate (menyimpan hanya satu kali)
Denormalisasi
Tipe datanya di convert
kalkulasi
konsolidasi data
proses awal
(dilakukan saat dibutuhkan)

  • Data Staging (penyempinan sementara → demporery)
-pengumpulan data sementara backup dan recovery
-pembuatan database
-audit trail dibutuhkan untuk melihat saat ada primary key yg hilang dan kenapa, untuk melihat aktivitas

Data storage :

  • full refresh → semuanya
  • Incremental load → yg dicopy hanya tambahannya/perubahannya