Wicaksono, Gigih Bella and Wawan Eko Yulianto, S.S., M.A., Ph.D. and Dr. Esti Junining, S.Pd., M.Pd. (2024) Evaluating The Quality Of Gpt-4 As A Machine Translator In English-Indonesian Subtitle. Magister thesis, Universitas Brawijaya.
Abstract
ChatGPT terbukti mampu menunjukkan hasil terjemahan yang berkualitas tinggi dan tampaknya mampu bersaing dengan mesin penerjemah komersial seperti Google Translate. Maka, penelitian ini bertujuan untuk menyelidiki ChatGPT, khususnya model terbarunya GPT-4, dalam menerjemahkan takarir dengan pasangan bahasa Inggris-Indonesia dan membandingkannya dengan Google Translate. Penelitian ini menggunakan COMET dan COMETKIWI untuk melakukan penilaian yang cepat dan melakukan analisis statistik untuk kedua mesin penerjemah tersebut. Akhirnya, penelitian ini menggunakan instrumen penilaian terjemahan Bahasa Indonesia yang dimodifikasi untuk mengungkap kemampuannya dalam menerjemahkan aspek budaya dan menilai kompetensinya dalam menangani teks yang lebih panjang. Hasil penelitian mengindikasikan bahwa GPT-4 memiliki kinerja yang lebih rendah jika dibandingkan dengan Google Translate menurut skor dari COMET dan COMETKIWI. Pengukuran statistik mengindikasikan bahwa terdapat perbedaan yang signifikan antara kedua sistem penerjemahan mesin tersebut. Terdapat pula indikasi bahwa GPT-4 menghadapi kesulitan dalam menerjemahkan budaya, mengurangi kata-kata kasar, dan memperpendek kalimat yang panjang. Namun, hal ini mungkin disebabkan oleh prompt sederhana yang digunakan dalam penelitian ini.
English Abstract
ChatGPT has proven to demonstrate a fairly high-quality translation result and it seems to be able to compete with commercial machine translation like Google Translate. Therefore, this study aims to investigate ChatGPT, especially the recent model GPT-4, in subtitle translation task with English-Indonesian language pair and comparing it to Google Translate. This study employed COMET and COMETKIWI to perform a quick scoring and provide statistical analysis for both machine translators. Ultimately, this study employed a modified Indonesian translation assessment instrument to unpack its capability in translating cultural aspect and discover its competence in dealing with longer text. The results of the study indicated that GPT-4 has lower performance when compared to Google Translate according to scores from COMET and COMETKIWI. The statistical measurements indicated that there is a significant differences between both machine translation systems. There is also an indication that GPT-4 faces difficulties in translating culture, toning down profanity, and shortening long sentences. However, this may be caused by simple prompt utilized in this study.
| Item Type: | Thesis (Magister) |
|---|---|
| Identification Number: | 042412 |
| Uncontrolled Keywords: | ChatGPT, Penerjemahan Mesin, Takarir, Penilaian, Kualitas |
| Divisions: | S2/S3 > Magister Linguistik Terapan, Fakultas Ilmu Budaya |
| Depositing User: | S Sucipto |
| Date Deposited: | 04 Feb 2025 02:16 |
| Last Modified: | 04 Feb 2025 02:16 |
| URI: | http://repository.ub.ac.id/id/eprint/235714 |
![[thumbnail of DALAM MASA EMBARGO]](http://repository.ub.ac.id/style/images/fileicons/text.png) |
Text (DALAM MASA EMBARGO)
Gigih Bella Wicaksono.pdf Restricted to Registered users only Download (4MB) |
Actions (login required)
 |
View Item |