DATA WAREHOUSE

Nama : Irpan Pauzi
NPM : 1103154
Kelas : TI 2D

Data Warehouse

Data Warehouse merupakan  motode dalam perancangan database yang menunjang DSS (Decission Support System) dan EIS (Executive Information System).  Data warehouse adalah database yang berisi data dari beberapa system operasional yang terintegrasi dan terstruktur sehingga dapat digunakan untuk mendukung analisa dan proses pengambilan keputusan dalam bisnis. Data warehouse didesain untuk dapat melakukan query dengan cepat. Informasi diturunkan dari data lain, dilakukan rolling up untuk dijadikan ringkasan, dilakukan operasi drilling down untuk mendapatkan informasi lebih detail, atau melihat pola yang menarik atau melihat trend (kecenderungan).

Istilah-istilah yang berkaitan dengan data warehouse :

1. Data Mart

2. On-Line Analytical Processing(OLAP)

3. Data Maining

Keuntungan Data Warehouse

Data warehouse merupakan pendekatan untuk menyimpan data dimana sumber-sumber data yang heterogen(yang biasanya tersebar pada beberapa database (OLTP) dimigrasikan untuk penyimpanan data yang homogen dan terpisah. Keuntungan dengan menggunakan data warehouse adalah :

1.      Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan transaksi.

2.      Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah dapat diatasi.

3.      Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data apabila data dipindahkan dari database OLTP ke data warehouse.

4.      Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi.

Karakteristik Data Warehouse

1.    Subject Oriented (Berorientasi subject)

Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi tertentu.

2.    Integrated (Terintegrasi)

Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri.

Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara sepeti konsisten dalam penamaan variable,konsisten dalam ukuran variable,konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data.

3.    Time-variant (Rentang Waktu)

Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data warehouse, kita dapat menggunakan cara antara lain :

Cara pertama, yang paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu, misalnya antara 5 sampai 10 tahun ke depan.

Cara yang kedua, dengan menggunakan variasi/perbedaan waktu yang disajikan dalam data warehouse baik implicit maupun explicit secara explicit dengan unsur waktu dalam hari, minggu, bulan dsb. Secara implicit misalnya pada saat data tersebut diduplikasi pada setiap akhir bulan, atau per tiga bulan. Unsur waktu akan tetap ada secara implisit didalam data tersebut.

Cara yang ketiga, variasi waktu yang disajikan data warehouse melalui serangkaian snapshot yang panjang. Snapshot merupakan tampilan dari sebagian data tertentu sesuai keinginan pemakai dari keseluruhan data yang ada bersifat read-only.

4.    Non-Volatile

data pada data warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara reguler. Data yang baru selalu ditambahkan sebagai suplemen bagi database itu sendiri dari pada sebagai sebuah perubahan. Database tersebut secara kontinyu menyerap data baru ini, kemudian secara incremental disatukan dengan data sebelumnya.

Berbeda dengan database operasional yang dapat melakukan update,insert dan delete terhadap data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses data warehouse seperti melakukan query atau menampilan laporan yang dibutuhkan, tidak ada kegiatan updating data).

SEJARAH

Produk pertama menggunakan  query OLAP adalah Express yang dirilis tahun 1970 ( dan dipakai oleh Oracle tahun 1995 sebagai Information Resources ). Tetapi istilah OLAP baru muncul tahun 1993 diperkenalkan oleh E. F. Codd yang merupakan bapak relational databases. Karangan Codd berisi konsultasi pendek yang Codd lakukan dengan pendiri Arbor Software ( sekarang disebut Hyperion Solutions, dan pada tahun 2007 dibeli oleh Oracle ) untuk memperbaiki pemasaran. Perusahaan tersebut kemudian merilis produk OLAP, Essbase, yang menerapkan 12 aturan Codd untuk online analytical processing. OLAP market tumbuh dengan cepat pada akhir tahun 90an dengan banyak komersial produk yang muncul di pasaran. Pada tahun 1998, Microsoft merilis OLAP server pertamanya, Microsoft Analysis Services yang dikembangkan dengan mengadopsi teknologi OLAP.

DEFINISI

Online Analytical Processing (OLAP ) merupakan suatu metode pendekatan untuk menyajikan jawaban dari  permintaan proses analisis yang bersifat dimensional secara cepat, yaitu desain dari aplikasi dan teknologi yang dapat mengoleksi, menyimpan, memanipulasi suatu data multidimensi untuk tujuan analisis.

OLAP (Online Analytical Processing) adalah teknologi yang memproses data di dalam data warehouse dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query analisis yang kompleks.

TEKNIK OLAP

Selain itu, teknik OLAP itu sendiri dapat dirangkum menjadi 5 garis besar  yaitu Fast Analysis of Shared Multidimensional Information atau disingkat menjadi FASMI yang masing-masing berarti sebagai berikut:

FAST,  berarti sistem ditargetkan untuk memberikan response terhadap user dengan  secepat mungkin, sesuai dengan analisis yang dilakukan.

ANALYSIS,  berarti sistem dapat mengatasi berbagai logika bisnis dan analisis statistik yang relevan dengan aplikasi dan user, dan mudah.

SHARED,  berarti sistem melaksanakan seluruh kebutuhan pengamanan data, jika dibutuhkan banyak akses penulisan terhadap data, disesuaikan dengan level dari user. Tidak semua aplikasi membutuhkan user untuk menulis data kembali. Sistem harus dapat meng-handle multiple update dalam satu waktu secara aman.

MULTIDIMENSIONAL,  berarti sistem harus menghasilkan conceptual view dari data secara multidimensional, meliputi full support untuk hierarki dan mutiple hierarki. Hal ini merupakan cara yang logic untuk menganalisis bisnis dan organisasi.

INFORMATION,  adalah semua data dan informasi yang dibutuhkan dan relevan untuk aplikasi. Kapasitas produk OLAP berbeda untuk menghandle input data tergantung beberapa pertimbangan meliputi duplikasi data, RAM yang dibutuhkan, penggunaan disk space, performance, integrasi dengan data warehouse, dan lainnya.

Karakteristik

Adapun karakteristik dari OLAP, yaitu:

Mengijinkan user melihat data dari sudut pandang logical dan multidimensional pada data warehouse

Memfasilitasi query yang komplek dan analisa bagi user

Mengijinkan user melakukan drill down untuk menampilkan data pada level yang lebih detil atau roll up untuk agregasi dari satu dimensi atau beberapa dimensi

Menyediakan proses kalkulasi dan perbandingan data

Menampilkan hasil dalam bentuk number termasuk dalam tabel dan grafik.

TEMPAT PENYIMPANAN

Dari OLAP tersebut terdapat 3 model penyimpanan data dalam cube yang difasilitasi oleh Microsoft SQL Server 7.0. Ketiga model penyimpanan data tersebut adalah:

MOLAP

Multidimensional online analitycal processing (MOLAP) menyimpan data dan agregasi pada struktur data multidimensi. Struktur MOLAP ini tidak tersimpan pada data warehouse tapi tersimpan pada OLAP server. Sehingga performa query yang dihasilkan olehnya sangat bagus. Model penyimpanan ini sesuai untuk database dengan ukuran kecil sampai sedang.

ROLAP

ROLAP (relational online Analitycal processing) menggunakan tabel pada database relasional data warehouse untuk menyimpan detil data dan agregasi kubus. Berbeda dengan MOLAP, ROLAP tidak menyimpan salinan database, ia mengakses langsung pada tabel fact ketika membutuhkan jawaban sebuah query. Sehingga query pada ROLAP mempunyai response time yang lebih lambat dibandingkan ROLAP maupun HOLAP. Karakteristik model ini digunakan untuk menyimpan data yang besar dan jarang dilakukannya proses query. Misalkan, data histori dalam jumlah besar dari beberapa tahun yang sebelumnya.

HOLAP

Gabungan model MOLAP dan ROLAP dapat kita peroleh dari HOLAP (hibrid online analitycal processing).Detil data tersimpan pada tabel relasional tapi aggregasi data disimpan dalam format multidimensi. Misalkan proses drill down dilakukan pada sebuah tabel fakta, maka retrive data akan dilakukan dari tabel database relasional sehingga query tidak secepat MOLAP. Kubus HOLAP lebih kecil daripada kubus MOLAP tapi response time query masih lebih cepat jika dibandingkan dengan ROLAP. Model penyimpanan HOLAP ini biasanya sesuai untuk kubus yang membutuhkan performa query yang bagus dengan jumlah data yang besar.

Pengguna OLAP umumnya memanfaatkan OLAP dengan pola analisis seperti berikut :

Meringkas dan mengumpulkan sejumlah besar data

Melakukan filtering, pengurutan, dan memberikan peringkat (rangking)

Membandingkan beberapa set dari data

Membuat sketsa/bagan/diagram

Menganalisis dan menemukan pola dari data

Menganalisis kecenderungan data

OLAP menerangkan sebuah kelas dari teknologi yang didesain keberadaan data adhoc dan analisis. Ketika proses umum transaksi terjadi pada hubungan database, OLAP menjadi kurang lebih sama dengan pandangan multidimensi dari data bisnis. Tampilan multidimensi ini didukung oleh teknologi multidimensi database.

OLAP adalah langkah maju yang logis dibawah pertanyaan dan laporan, dan merupakan langkah lanjut dari pembuatan sebuah keputusan solusi tambahan total. Tool software OLAP mengirim alat-alat teknologi untuk analisis bisnis komplek dengan membuat pengguna dapat menganalisa data dalam lingkungan multidimensi. Dengan tool OLAP seseorang dapat menganalisa dan me-navigasi melalui data untuk menemukan trend, titik pengecualian, dan mendapat detail tergaris bawah untuk pemahaman kemunduran yang lebih baik dan menjalankan aktivitas bisnis mereka.

OLAP merupakan suatu metode pendekatan untuk menyajikan jawaban dari  permintaan proses analisis yang bersifat dimensional secara cepat, yaitu desain dari aplikasi dan teknologi yang dapat mengoleksi, menyimpan, memanipulasi suatu data multidimensi untuk tujuan analisis.

OLAP DAN PENJADWALAN BERPRIORITAS

Berdasarkan algoritma penjadwalan berprioritas dibagi dua macam :

Statis, prioritas yang tidak berubah

Dinamis, prioritas yang bisa diubah

Pada OLAP algoritma yang digunakan adalah algoritma berprioritas dinamis karena merupakan mekanisme menanggapi perubahan lingkungan sistem saat beroperasi di lingkungan nyata. Prioritas awal yang diberikan ke proses mungkin hanya berumur pendek dalam hal ini sistem dapat menyesuaikan nilai prioritasnya ke nilai yang lebih tepat sesuai lingkungan.

Algoritma ini dituntun untuk memenuhi kebijaksanaan tertentu yang menjadi tujuan sistem komputer.

Berbagai kelebihan bisa didapat dengan menggunakan OLAP ini diantaranya :

Dapat meningkatnya produktivitas bisnis, IT developers, dan seluruh organisasi

Akses yang lebih terkendali terhadap informasi yang dapat meningkatkan efektivitas pengambilan keputusan

Mempercepat respon terhadap permintaan pasar.

Data mining adalah suatu proses yang digunakan untuk mencari informasi dan knowledge yang berguna, dimana diperoleh dari data-data yang dimiliki. Dari buku Data Mining Technique yang dikarang oleh Berry and Linoff, proses terjadinya data mining dapat dideskripsikan sebagai virtous cycle. Didasari oleh pengembangan berkelanjutan dari proses bisnis serta didorong oleh penemuan knowledge ditindaklanjuti dengan pengambilan tindakan dari penemuan tersebut.

Langkah-langkah Data mining

Identity The Business Problem

Yang pertama dan juga dasar dari virtous cycle adalah mengetahui masalah bisnis yang kita hadapi. Karena kita tidak bisa mengolah data jika kita tidak tau yang sedang kita hadapi. Kita harus mengetahui masalah-masalah apa yang sedang dihadapi. Dengan mengetahui masalah yang dihadapi kita dapat menentukan data-data mana saja yang kita butuhkan untuk dapat dilakukan tahap analisa.

Mine The Data For Actionable Information

Setelah mengetajui identifikasi masalah, kita memperolah data-data mana saja yang diperlukan untuk analisa. Barulah kita melakukan analisa terhadap data-data tersebut. Dan dari analisa tersebut analisis akan dapat memperolah sebuah knowledge baru dan baru lah dapat diambil suatu keputusan/kebijaksanaan.

Take The Action

Dan dari keputusan/kebijaksanaan yang didapat dari proses data mining itu barulah kita terapkan dengan aksi berupa tindakan-tindakan yang kongkrit/nyata dalam proses bisnis.

Measure Results

Setelah diambil tindakan-tindakan dan keputusan, kita memonitori hasil tersebut. Apakah sudah sesuai(memuaskan) dengan target2 yang ingin kita capai, apakah bisa mengatasi masalah-masalah yang dihadapi.

Teknik-teknik/Jenis-jenis DataMining

Market Basket Analysis

Himpunan data yang dijadikan sebagai objek penelitan pada area data mining. Market basket analysis adalah proses untuk menganalisis kebiasaan pelanggan dalam menyimpan item-item yang akan dibeli ke dalam keranjang belanjaannya. Market basket analysis memanfaatkan data transaksi penjualan untuk dianalisis sehingga dapat ditemukan pola berupa item-item yang cenderung muncul bersama dalam sebuah transaksi. Selanjutnya pola yang ditemukan dapat dimanfaatkan untuk merancang strategi penjualan atau pemasaran yang efektif, yaitu dengan menempatkan item-item yang sering dibeli bersamaan ke dalam sebuah area yang berdekatan, merancang tampilan item-item di katalog, merancang kupon diskon (untuk diberikan kepada pelanggan yang membeli item tertentu), merancang penjualan item-item dalam bentuk paket, dan sebagainya. Dengan menggunakan teknologi data mining, analisis data secara manual tidak diperlukan lagi.

Business Intelligence pertama kali didengungkan pada tahun 1989 oleh Howard Dresner. Dia menggambarkan istilah tersebut sebagai seperangkat konsep dan metode yang berguna untuk meningkatkan pembuatan keputusan dengan bantuan sistem yang berbasiskan fakta atau realita yang terjadi.Menurut tim studi Busines Intelligence pada Departemen Keuangan Indonesia menyatakan,Business Intelligence (BI) merupakan sistem dan aplikasi yang berfungsi untuk mengubah data-data dalam suatu perusahaan atau organisasi (data operasional, data transaksional, atau data lainnya) ke dalam bentuk pengetahuan. Aplikasi ini melakukan analisis data-data di masa lampau,  menganalisisnya dan kemudian menggunakan pengetahuan tersebut untuk mendukung keputusan dan perencanaan organisasi(Indonesia, 2007).Dari definisi itu, dapat dikatakan bahwa Business Intelligence merupakan suatu sistem pendukung keputusan yang berdasarkan pada data-data fakta kinerja perusahaan. Business Intelligence berguna untuk mengefisienkan finansial, manusia, material serta beberapa sumber daya lainya. Dalam perkembanganya banyak orang setuju bahwaBusiness Intelligence telah banyak mencakup beberapa area teknologi dan proses

Semoga Bermanfaat :)