Berliantara, Agung Yudha (2017) Optimasi Scheduling Untuk Proses Extract, Transform, Load (ETL) Pada Data Warehouse Menggunakan Metode Round Robin Data Partitioning (Studi Kasus: Universitas XYZ). Sarjana thesis, Universitas Brawijaya.
Abstract
Dalam perkembangan teknologi yang pesat seperti saat ini, berbagai macam bentuk teknologi telah masuk ke dalam berbagai macam lingkup kehidupan. Terutama teknologi basis data atau dalam lingkup yang lain adalah data warehouse. Data yang ada di dalam data warehouse dapat diambil dari banyak sumber melalui proses Extract, Transform, and Load (ETL). Proses scheduling pada ETL data warehouse adalah proses yang harus dilalui untuk pembentukan data warehouse. Namun terdapat masalah yang muncul ketika melakukan proses scheduling untuk proses ETL. Sebagai contoh, untuk melakukan proses ETL dalam memproses data yang sangat besar akan dibutuhkan time cost yang sangat besar pula. Apabila tidak ditangani dengan baik, maka kemungkinan akan membutuhkan waktu yang sangat lama untuk eksekusi hingga ketidakkonsistenan data. Maka dari itu penelitian ini berfokus pada optimasi proses ETL untuk data warehouse menggunakan metode Round-robin. Dalam penelitian ini dilakukan wawancara dan observasi untuk mendapatkan informasi tentang keadaan lingkungan (environment) database pada keadaan yang sebenarnya, rancangan skema OLTP dan data warehouse yang tepat, serta data untuk digunakan sebagai bahan uji coba, yang kemudian dijadikan referensi untuk proses simulasi ETL. Proses ETL dengan cara konvensional (tidak menggunakan metode Round-Robin) akan diujikan dan dibandingkan dengan proses ETL yang menggunakan metode Round-Robin untuk mendapatkan hasil uji coba pada penelitian ini. Perbedaan dari kedua proses ini terdapat pada jumlah tabel partisi yang digunakan dalam proses ETL. Pada proses ETL metode Round-robin, tabel target akan dibagi (dipartisi) menjadi beberapa bagian, sedangkan untuk cara yang konvensional tidak diperlukan pembagian tabel target (partisi). Setelah uji coba selesai, ditemukan perbedaan dari kedua metode tersebut dalam segi waktu eksekusi. Melalui percobaan tersebut, diperoleh kesimpulan bahwa metode Round-robin memberikan waktu eksekusi yang lebih efisien hingga 60,1% tergantung dari jumlah data dan banyaknya partisi yang digunakan.
English Abstract
In today's rapid technological development, various forms of technology have entered into various spheres of life. Especially database technology or in other scopes is data warehouse. The data in the data warehouse can be extracted from many sources by the extract, transform, and load (ETL) processes. The process scheduling in ETL data warehouse is a process that must be passed for the establishment of data warehouse. However there is a problem when performing the scheduling of ETL process. For example, to perform an ETL process in very large data will costs too much time. If it is not handled properly, it will likely takes too time for execution until the inconsistency of data. Therefore, this research is focuses on optimizing the ETL process for data warehouse using the Round-robin method. In this research need to do interview and observation to get information about database environment in real situation, proper design of OLTP scheme, and data to be used as experiment material, they are used as reference for ETL simulation process. The ETL process in the conventional way (not using the Round-Robin method) will be tested and compared with the ETL process using the Round-Robin method to obtain the test results in this study. The difference between these two processes is the number of partition tables used in the ETL process. In ETL Round-robin method, the target table will be divided (partitioned) into sections, whereas for the conventional way there is no need to divide the target table (partition). After the test is complete, the difference between the two methods is found in the execution time. It was concluded that the Round-robin method gives a more efficient execution time up to 60,1% depending on the amount of data and the number of partitions used.
| Item Type: | Thesis (Sarjana) |
|---|---|
| Identification Number: | SKR/FTIK/2017/319/051705833 |
| Uncontrolled Keywords: | Optimasi, ETL, Scheduling, Round-Robin |
| Subjects: | 000 Computer science, information and general works > 003 Systems > 003.3 Computer modeling and simulation |
| Divisions: | Fakultas Ilmu Komputer > Sistem Informasi |
| Depositing User: | Yusuf Dwi N. |
| Date Deposited: | 31 Jul 2017 08:48 |
| Last Modified: | 01 Oct 2020 04:22 |
| URI: | http://repository.ub.ac.id/id/eprint/897 |
Preview |
Text
Agung Yudha Berliantara.pdf Download (35MB) | Preview |
Actions (login required)
 |
View Item |