Rancang Bangun Infrastruktur Pemrosesan Big Data Menggunakan Apache Drill (Studi Kasus: Sirclo)

Partogi, Yosef Hesekiel (2017) Rancang Bangun Infrastruktur Pemrosesan Big Data Menggunakan Apache Drill (Studi Kasus: Sirclo). Sarjana thesis, Universitas Brawijaya.

Abstract

Berkembangnya penggunaan teknologi di masyarakat sangat mempengaruhi intensitas masyarakat dalam melakukan transaksi jual beli online, termasuk juga persaingan dari setiap penyedia jasa jual beli online. Agar dapat bersaing dengan semakin banyak competitor yang muncul, SIRCLO sebagai sebuah perusahaan e-commerce, membutuhkan analisis dari data-data yang SIRCLO dapatkan melalui segala aktifitas jual beli pada toko yang ada di SIRCLO. Tetapi untuk melakukan analisis tersebut, dibutuhkan sebuah sistem yang mampu membaca data mentah tersebut. Berdasarkan dari permasalahan tersebut, perlu adanya penelitian terkait rancangan infrastruktur. Penelitian ini menggunakan Apache Drill, HDFS sebagai tempat penyimpanan data, dan script berbasis Python untuk mengkonversi data dari MySQL ke JSON. Penelitian ini dimulai dari proses mengkonveri data dari sumber data (dalam penelitian ini menggunakan MySQL) ke JSON. Setelah itu dilakukan penyimpanan ke HDFS dan dilakukan query file menggunakan Apache Drill. Apache Drill sendiri dipilih karena fleksibilitasnya yang mampu melakukan query dengan syntax MySQL ke plain text, dan menggunakan konsep schema free. Untuk penyimpanan digunakan HDFS, diharapkan agar pengambilan data dari Apache Drill bisa lebih efektif dan manajemen data lebih baik, karena HDFS adalah penyimpanan data secara terdistribusi. Pengujian dilakukan dengan beberapa skenario, yaitu dari jumlah server yang digunakan dan besaran file yang digunakan. Parameter pengujian yang diambil mulai dari resource usage dari server dan lama waktu proses. Setelah penelitian ini selesai dilakukan terdapat beberapa kesimpulan, yaitu, didapatkan rancangan, komponen yang dapat memproses data milik SIRCLO, data dari MySQL berhasil diambil dan dinormalisasi menjadi JSON agar lebih mudah diolah, dan setelah rancangan diimplementasikan, infrastruktur ini dapat memproses data milik SIRCLO.

English Abstract

The Growing use of technology in society, really affect the intensity of society in doing online transaction for buy and sell items, including the competition between e-commerce companies. In order to compete with other e-commerce companies, SIRCLO, an e-commerce company, need to do an analytics to data that they have from all the transaction activities in their online shop, but to do that analytics, it needs a system that can read the raw dat. Based on those problem, this research is needed related to designing the infrastructure that can read those data. Basically, this research is using Apache Drill, HDFS as a file system, and script that written in Python to convert data from MySQL to JSON. This research starts from converting from data source (this research is using MySQL) to JSON, then will be stored in HDFS, and Apache Drill will do query to the file. Apache Drill is used because of the flexibility, it could do query with MySQL’s syntax to plain text, and using schema free concept, also for file system is using HDFS because with hope that reading the data from distributed file system could be more effective and have better data management. This research was conducted with several scenarios, that is from the number of server that is used and size of the file, Parameter that’s used is resource usage and process time of an activity. After this research is finish, this research acquired a design and component that can read SIRCLO’s data, data from MySQL can be acquired and normalized to JSON, and after the design is implemented, this infrastructure can process SIRCLO’s data.

Item Type:	Thesis (Sarjana)
Identification Number:	SKR/FTIK/2017/450/051707772
Uncontrolled Keywords:	Big Data, Apache Drill, Sistem Terdistribusi
Subjects:	000 Computer science, information and general works > 005 Computer programming, programs, data > 005.7 Data in computer systems > 005.74 Data files and database
Divisions:	Fakultas Ilmu Komputer > Teknik Informatika
Depositing User:	Yusuf Dwi N.
Date Deposited:	19 Sep 2017 02:32
Last Modified:	26 Nov 2020 03:43
URI:	http://repository.ub.ac.id/id/eprint/2685

	Text Bagian Depan.pdf Restricted to Repository staff only Download (3MB)
	Text BAB I.pdf Restricted to Repository staff only Download (761kB)
	Text BAB II.pdf Restricted to Repository staff only Download (909kB)
	Text BAB III.pdf Restricted to Repository staff only Download (777kB)
	Text BAB IV.pdf Restricted to Repository staff only Download (1MB)
	Text BAB V.pdf Restricted to Repository staff only Download (2MB)
	Text BAB VI.pdf Restricted to Repository staff only Download (711kB)
	Text Daftar Pustaka.pdf Restricted to Repository staff only Download (719kB)

Actions (login required)

View Item