Analisis Sentimen terhadap Persepsi Pengguna dalam Meningkatkan Pengalaman Pelayanan Akademik pada Aplikasi Gapura UB dengan Labeling Lexicon Vader dan Metode Naive Bayes

Surani, Arima and Dr. Dian Eka Ratnawati, S.Si., M.Kom and Nanang Yudi Setiawan, S.T., M.Kom (2024) Analisis Sentimen terhadap Persepsi Pengguna dalam Meningkatkan Pengalaman Pelayanan Akademik pada Aplikasi Gapura UB dengan Labeling Lexicon Vader dan Metode Naive Bayes. Sarjana thesis, Universitas Brawijaya.

Abstract

Perkembangan teknologi terkini mendorong perguruan tinggi untuk memastikan aplikasi mereka memberikan pengalaman pelayanan akademik yang optimal bagi mahasiswa. Aspek penting dalam meningkatkan pengalaman pengguna adalah melalui analisis sentimen terhadap ulasan pengguna. Penelitian ini bertujuan untuk merancang dan mengimplementasikan analisis sentimen menggunakan labeling Vader Lexicon dan metode Naive Bayes pada ulasan pengguna aplikasi Gapura UB. Pertanyaan penelitian mencakup desain implementasi analisis sentimen dan evaluasi tingkat akurasi serta efektivitas metode tersebut dalam mengidentifikasi sentimen positif dan negatif terhadap layanan akademik dalam Aplikasi Gapura UB. Metodologi penelitian ini bersifat analitik dengan karakteristik non-implementatif. Pengumpulan data dilakukan melalui Google Play Store, Twitter, dan Instagram. Dataset ulasan diterjemahkan dan diberi label menggunakan Vader Lexicon, kemudian menjalani tahap preprocessing seperti filtering, stemming, stopword, dan tokenization. Pembobotan TF-IDF diterapkan pada dataset yang telah dibersihkan, diikuti oleh klasifikasi menggunakan metode Naive Bayes. Evaluasi model dilakukan dengan confusion matrix, dengan parameter accuracy, precision, recall, dan F1-Score. Hasil penelitian menunjukkan Vader Lexicon memberikan hasil 79 data di label salah, sehingga perlu di label manual. Hasil akhir dari 428 dataset, didapat 188 data sentimen positif dan 240 data sentimen negatif. Pengujian dilakukan dengan variasi data 50:50, 60:40, 70:30, dan 80:20 yang kemudian dicari akurasi tertinggi. Akurasi tertinggi didapatkan pada perbandingan 80:20 dengan akurasi sebesar 88.6%.

English Abstract

Recent technological developments encourage universities to ensure their applications provide an optimal academic service experience for students. An important aspect in improving user experience is through sentiment analysis of user reviews. This research aims to design and implement sentiment analysis using Vader Lexicon labeling and Naive Bayes method on Gapura UB application user reviews. Research questions include the design of sentiment analysis implementation and evaluation of the accuracy and effectiveness of the method in identifying positive and negative sentiments towards academic services in the Gapura UB Application. This research methodology is analytical with non-implementative characteristics. Data collection is done through Google Play Store, Twitter, and Instagram. The review dataset is translated and labeled using Vader Lexicon, then undergoes preprocessing stages such as filtering, stemming, stopwords, and tokenization. TF-IDF weighting was applied to the cleaned dataset, followed by classification using the Naive Bayes method. Model evaluation is performed using confusion matrix, with accuracy, precision, recall, and F1-Score parameters. The research results showed that the Vader Lexicon gave 79 incorrectly labeled data results, so it needed to be manually labeled. The final results from 428 datasets, obtained 188 positive sentiment data and 240 negative sentiment data. Testing was carried out with data variations of 50:50, 60:40, 70:30, and 80:20 and then the highest accuracy was sought. The highest accuracy was obtained in a ratio of 80:20 with an accuracy of 88.6%.

Item Type:	Thesis (Sarjana)
Identification Number:	0524150034
Uncontrolled Keywords:	analisis sentimen, vader lexicon, naive bayes, aplikasi gapura ub, ulasan pengguna-sentiment analysis, vader lexicon, naive bayes, gapura ub application, user reviews.
Divisions:	Fakultas Ilmu Komputer > Teknologi Informasi
Depositing User:	Sugeng Moelyono
Date Deposited:	16 Feb 2024 02:42
Last Modified:	16 Feb 2024 02:42
URI:	http://repository.ub.ac.id/id/eprint/215317

Text (DALAM MASA EMBARGO) Arima Surani.pdf Restricted to Registered users only Download (4MB)

Actions (login required)

View Item