Lina, Femi Novia and Rizal Setya Perdana,, S.Kom., M.Kom., Ph.D. and Tirana Noor Fatyanosa, S.Kom., M.Kom., Ph.D. (2024) Penerapan Arsitektur BERT2BERT pada Model Respon Dialog Chatbot Berbahasa Indonesia dengan Dataset Berukuran Terbatas. Sarjana thesis, Universitas Brawijaya.
Abstract
Efisiensi yang ditawarkan menjadikan chatbot sebagai salah satu solusi yang populer untuk beragam permasalahan. Misalnya, dalam konteks layanan akademik, chatbot dapat berperan menghemat sumber daya yang diperlukan dalam menyediakan jawaban pertanyaan yang bersifat rutin, tetapi masih sulit diterapkan karena kurangnya data. Arsitektur yang populer dalam tugas text generation diantaranya encoder-decoder dan decoder-only. Menggunakan arsitektur encoder-decoder, BERT2BERT memanfaatkan BERT pre-trained model yang digunakan untuk inisialisasi komponen encoder dan decoder (Rothe et al., 2020). Arsitektur ini telah digunakan dalam penelitian untuk membangun conversational model berbahasa Arab dan merupakan solusi yang baik untuk permasalahan kurangnya dataset (Naous et al., 2021). Penelitian ini mencoba menggunakan arsitektur BERT2BERT untuk membangun model respon chatbot berbahasa Indonesia dengan data terbatas dan untuk keperluan layanan akademik. Hasil dari penelitian ini adalah arsitektur BERT2BERT memberikan performa yang kurang dengan perplexity score yang diperoleh adalah 573.0654, sementara perplexity score dari model GPT2 adalah 61.2645. Skor cosine similarity juga lebih rendah di angka 0.4009 dibandingkan dengan model GPT2 dengan skor cosine similarity 0.7037. Meskipun begitu, model BERT2BERT memberikan hasil yang lebih baik dibandingkan dengan model encoder-decoder sejenis, BERT2GPT. Model dengan arsitektur encoder-decoder seperti BERT2BERT tidak unggul dalam penelitian ini kemungkinan dikarenakan sulitnya mendapatkan konteks dari data yang berukuran terbatas.
English Abstract
The efficiencies offered by chatbots have made them a popular solution to a variety of problems. For example, in the context of academic services, chatbots can save the resources needed to provide answers to routine questions, but are still difficult to implement due to lack of data. Popular architectures for text generation tasks include encoder-decoder and decoder-only. Using the encoderdecoder architecture, BERT2BERT leverages the BERT pre-trained model which is used to initialize the encoder and decoder components (Rothe et al., 2020). This architecture has been used in research to build conversational models in Arabic and is a good solution to the problem of lack of datasets (Naous et al., 2021). This research tries to use the BERT2BERT architecture to build an Indonesian chatbot response model with limited data and for academic service purposes. The result of this research is that the BERT2BERT architecture provides less performance with the perplexity score obtained is 573.0654, while the perplexity score of the GPT2 model is 61.2645. The cosine similarity score is also lower at 0.4009 compared to the GPT2 model with a cosine similarity score of 0.7037. However, the BERT2BERT model provides better results compared to a similar encoder-decoder model, BERT2GPT. Models with encoder-decoder architectures such as BERT2BERT did not excel in this study possibly due to the difficulty of obtaining context from data of limited size.
| Item Type: | Thesis (Sarjana) |
|---|---|
| Identification Number: | 0524150076 |
| Uncontrolled Keywords: | natural language processing, BERT2BERT, text generation, chatbot, BERT¸ encoder-decoder |
| Divisions: | Fakultas Ilmu Komputer > Teknik Informatika |
| Depositing User: | soegeng sugeng |
| Date Deposited: | 20 Feb 2024 03:59 |
| Last Modified: | 20 Feb 2024 03:59 |
| URI: | http://repository.ub.ac.id/id/eprint/215555 |
![[thumbnail of DALAM MASA EMBARGO]](http://repository.ub.ac.id/style/images/fileicons/text.png) |
Text (DALAM MASA EMBARGO)
Femi Novia Lina.pdf Restricted to Registered users only Download (3MB) |
Actions (login required)
 |
View Item |