Klasifikasi Layanan Informasi Fakultas Ilmu Komputer Universitas Brawijaya Melalui Retrieval-based Chatbot Menggunakan Metode Naïve Bayes dan TF-IDF

Faranisa, Puspa Ayu and Dr. Eng. Fitra Abdurrachman Bachtiar, S.T., M.Eng. and Nanang Yudi Setiawan, S.T., M.Kom (2024) Klasifikasi Layanan Informasi Fakultas Ilmu Komputer Universitas Brawijaya Melalui Retrieval-based Chatbot Menggunakan Metode Naïve Bayes dan TF-IDF. Sarjana thesis, Universitas Brawijaya.

Abstract

Meningkatnya harapan pelanggan terhadap respons bisnis mendorong Fakultas Ilmu Komputer untuk meningkatkan efektivitas layanan informasinya, terutama seiring dengan meningkatnya retensi pertanyaan yang mengakibatkan munculnya pertanyaan berulang. Situasi ini juga mengakibatkan kurangnya fokus staf pada permasalahan kebutuhan informasi mahasiswa yang lebih mendesak. Dalam mengatasi tantangan ini, salah satu solusi yang diusulkan adalah melalui implementasi chatbot yang dapat memberikan jawaban pada pertanyaan kapanpun dan dimanapun. Penelitian ini menunjukkan fokus pada optimalisasi model dengan menggunakan algoritma Naive Bayes dan TF-IDF, mencerminkan strategi yang matang dalam pemilihan pendekatan yang tepat untuk implementasi chatbot. Dalam konteks penelitian ini, peran Metodologi Team Data Science Project ditekankan sebagai landasan yang kuat untuk mengevaluasi dan meningkatkan kinerja model. Dengan menerapkan metodologi tersebut, penelitian ini mengadopsi pendekatan terstruktur dari proyek ilmu data, yang mencakup serangkaian tahap dan proses untuk memastikan efektivitas dalam pengembangan dan implementasi model data. Pengujian menggunakan Chatbot Usability Questionnaire (CUQ) menegaskan bahwa chatbot Fluent dinilai memiliki kebergunaan yang dapat diterima oleh pengguna, dengan rata-rata skor 78, menekankan efektivitas chatbot dalam menyediakan layanan informasi di Fakultas Ilmu Komputer Universitas Brawijaya. Hasil penelitian melalui evaluasi performa menegaskan bahwa variasi performa antar kategori, dengan TPR tertinggi pada Manajemen/Struktur Organisasi Filkom (99.23%) dan kategori Keuangan mengalami kesulitan dengan TPR rendah (4.44%) akibat ketidakseimbangan data. Setelah diterapkan metode oversampling, terjadi peningkatan signifikan, khususnya pada kategori Keuangan dengan TPR meningkat menjadi 98.8%. Akurasi keseluruhan juga naik dari 81.8% menjadi 95.5%. Metode oversampling berhasil mengatasi ketidakseimbangan data, memperbaiki kemampuan model, dan mendukung efektivitas chatbot dalam layanan informasi di Fakultas Ilmu Komputer Universitas Brawijaya.

English Abstract

The increasing customer expectations for business response drive the Faculty of Computer Science to enhance the effectiveness of its information services, particularly as the retention of questions leads to recurring queries. This situation also results in a lack of focus among staff on the more urgent informational needs of students. To address this challenge, one proposed solution is the implementation of a chatbot capable of providing answers anytime and anywhere. This research emphasizes the optimization of the model using the Naive Bayes and TF-IDF algorithms, reflecting a well-thought-out strategy in selecting the appropriate approach for chatbot implementation. In the context of this study, the role of the Team Data Science Project Methodology is underscored as a robust foundation for evaluating and improving model performance. By applying this methodology, the research adopts a structured approach from data science projects, encompassing a series of stages and processes to ensure effectiveness in the development and implementation of data models. Testing using the Chatbot Usability Questionnaire (CUQ) confirms that the Fluent chatbot is rated as having acceptable utility for users, with an average score of 78, highlighting the effectiveness of the chatbot in providing information services at the Faculty of Computer Science, Universitas Brawijaya. The research results affirm the performance variations among categories, with the highest True Positive Rate (TPR) in Management/Organization Structure Filkom (99.23%) and the Finance category facing challenges with a low TPR (4.44%) due to data imbalance. After the application of the oversampling method, a significant improvement occurs, especially in the Finance category, with the TPR increasing to 98.8%. The overall accuracy also rises from 81.8% to 95.5%. The oversampling method successfully addresses data imbalances, enhances model capabilities, and supports the effectiveness of the chatbot in information services at the Faculty of Computer Science, Universitas Brawijaya.

Item Type:	Thesis (Sarjana)
Identification Number:	0524150202
Uncontrolled Keywords:	Chatbot, Machine learning, TF-IDF, Layanan Informasi, Peningkatan Kepuasan Pengguna-Chatbot, Machine learning, TF-IDF, Information Services, User Satisfaction Enhancement
Divisions:	Fakultas Ilmu Komputer > Sistem Informasi
Depositing User:	soegeng sugeng
Date Deposited:	01 Apr 2024 07:32
Last Modified:	01 Apr 2024 07:32
URI:	http://repository.ub.ac.id/id/eprint/216223

Text (DALAM MASA EMBARGO) Puspa Ayu Faranisa.pdf Restricted to Registered users only Download (3MB)

Actions (login required)

View Item