Maghfiroh, Sofita Hidayatul and Dr. Ir. Dian Eka Ratnawati S.Si., M.Kom., S.Si., M.Kom. and Putra Pandu Adikara, S.Kom., M.Kom. (2024) Analisis Sentimen Berbasis Aspek Menggunakan Support Vector Machine dan Binary Relevance Terhadap Aplikasi Access By KAI. Magister thesis, Universitas Brawijaya.
Abstract
Analisis sentimen berbasis aspek dilakukan menggunakan data yang diambil pada ulasan Google Play Store dengan jumlah 697 data. Data tersebut dilabeli dengan memperhatikan 6 aspek, yaitu performa, pemesanan, pembayaran, fitur, tampilan, dan umum. Klasifikasi dilakukan secara secara multilabel dengan metode Support Vector Machine (SVM) dan Binary Relevance (BR) sebagai metode problem transformation. Langkah-langkah yang dilalui sebelum melakukan klasifikasi yaitu splitting data, preprocessing, pembobotan dengan TFIDF, GridSearchCV untuk data latih menemukan model terbaik, dan klasifikasi untuk data uji. Hasil prediksi memberikan accuracy sebesar 0,471 dan nilai hamming loss sebesar 0,0708. Perhitungan evaluation metrics dengan pendekatan micro average memberikan hasil nilai precision sebesar 0,75, recall sebesar 0,53, dan nilai f1-score sebesar 0,62. Pendekatan macro average memberikan hasil precision sebesar 0,46, recall sebesar 0,28, dan nilai f1-score sebesar 0,32. Hasil yang kurang memuaskan disebabkan sentimen positif yang memiliki jumlah sangat sedikit. Ketidakseimbangan tersebut berakibat pada hasil klasifikasi sehingga pada classification report banyak aspek yang tidak dapat memprediksi satupun data uji dengan benar. Data dengan sentimen negatif dianalisis lebih lanjut dengan Root Cause Analysis (RCA) untuk mengetahui masalah dan akar penyebab dari permasalahan tersebut. Hasil RCA menunjukan bahwa terdapat 12 masalah yang banyak disebabkan oleh pengguna yang belum terbiasa dengan pembaruan pada aplikasi.
English Abstract
Aspect based sentiment analysis was carried out using data taken from Google Play Store reviews with a total of 697 data. This data is labeled by taking into account 6 aspects, namely performance, orders, payments, features, appearance and general. Classification is carried out in a multi-label manner using the Support Vector Machine (SVM) method and Binary Relevance (BR) as a problem transformation method. The steps taken before classifying are splitting data, preprocessing, weighting with TF-IDF, GridSearchCV for training data to find the best model, and classification for test data. The prediction results provide an accuracy of 0.471 and a hamming loss value of 0.0708. Calculation of evaluation metrics using the micro average approach produces a precision value of 0.75, recall of 0.53, and f1-score value of 0.62. The macro average approach gives precision results of 0.46, recall of 0.28, and f1-score of 0.32. The unsatisfactory results were due to the very small number of positive sentiments. This imbalance has an impact on the classification results so that in the classification report there are many aspects that cannot predict any of the test data correctly. Data with negative sentiment is further analyzed using Root Cause Analysis (RCA) to find out the problem and the root causes of the problem. The RCA results show that there are 12 problems, many of which are caused by users who are not familiar with updates to the application.
| Item Type: | Thesis (Magister) |
|---|---|
| Identification Number: | 052413 |
| Uncontrolled Keywords: | analisis sentimen berbasis aspek, Access by KAI, GridSearhCV, Binary Support Vector Machine, Binary Relevance, Root Cause Analysis |
| Divisions: | Fakultas Ilmu Komputer > Sistem Informasi |
| Depositing User: | Unnamed user with username nova |
| Date Deposited: | 02 Oct 2024 03:07 |
| Last Modified: | 02 Oct 2024 03:07 |
| URI: | http://repository.ub.ac.id/id/eprint/225667 |
![[thumbnail of DALAM MASA EMBARGO]](http://repository.ub.ac.id/style/images/fileicons/text.png) |
Text (DALAM MASA EMBARGO)
Sofita Hidayatul Maghfiroh.pdf Restricted to Registered users only Download (7MB) |
Actions (login required)
 |
View Item |