Penilaian Jawaban Esai Berdasarkan Pedoman Penskoran menggunakan Longest Common Subsequence dan Cosine Similarity

Cholis, Mohammad Nur (2019) Penilaian Jawaban Esai Berdasarkan Pedoman Penskoran menggunakan Longest Common Subsequence dan Cosine Similarity. Magister thesis, Universitas Brawijaya.

Abstract

Evaluasi merupakan salah satu hal penting yang harus dilakukan pada proses pembelajaran. Evaluasi dalam proses pembelajaran salah satunya dapat dilakukan dengan mengadakan ujian. Salah satu ujian yang sering digunakan untuk melakukan evaluasi pembelajaran adalah ujian esai. Alasan digunakannya jenis ujian esai adalah kemudahan dalam penyusunan soal dan memiliki kelebihan dalam melatih pelajar menjawab soal dengan pendapat dan pengetahuannya sendiri. Jawaban untuk satu soal ujian esai bisa bervariasi yang menyebabkan sulitnya melakukan penilaian. Sifat subjektifitas dalam melakukan penilaian juga mengakibatkan ketidakadilan dan mempengaruhi hasil penilaian jawaban ujian esai. Membuat pedoman penskoran yang akan menjadi acuan dalam melakukan penilaian jawaban dapat menjadi solusi untuk mengatasi hal tersebut Pedoman penskoran dapat dikatakan sebagai strategi pemberian skor terhadap jawaban yang akan muncul. Selain penggunaan pedoman penskoran, penggunaan teknologi berupa sistem yang dapat melakukan penilaian secara otomatis juga akan membantu untuk menilai jawaban ujian esai. Dalam membuat sistem penilaian esai secara otomatis dibutuhkan proses pengekstrakan khususnya pada jawaban pelajar supaya menjadi lebih terstruktur. Proses pengekstrakan jawaban dilakukan dengan text mining yang dalam prosesnya dibagi dalam dua tahap yaitu text preprocessing dan feature selection. Pada tahap text preprocessing dilakukan proses untuk mempersiapkan data. Tahap text preprocessing terdiri atas proses mengubah semua huruf menjadi huruf kecil dan proses mengurai (memenggal) kalimat-kalimat menjadi daftar kata (tokenizing). Tahap feature selection adalah tahap setelah tahap text preprocessing. Tahap feature selection bertujuan mengurangi dimensi dari daftar kata dengan menghapus kata-kata yang tidak penting. Pada penelitian ini, ditambahkan proses spelling correction dan synonym recognition pada tahap feature selection. Proses spelling correction digunakan untuk memperbaiki kesalahan pengetikan. Proses synonym recognition digunakan untuk pendeteksian sinonim. Hasil proses pengekstrakan kemudian dihitung kemiripan jawaban dengan setiap kunci jawaban pada pedoman penskoran. Pada proses menghitung kemiripan ini, langkah pertama yang dilakukan adalah mencari kombinasi terbaik antara penggalan jawaban dengan kunci jawaban yang ada pada pedoman penskoran menggunakan algoritma Longest Common Subsequence (LCS). Kombinasi terbaik antara penggalan jawaban dengan kunci jawaban kemudian dihitung untuk mencari nilai kemiripannya menggunakan cosine similarity. Nilai kemiripan kemudian dikalikan dengan skor pada kunci jawaban. Penjumlahan dari semua hasil kali nilai kemiripan dan skor yang didapatkan tersebut yang menjadi rekomendasi nilai dari sistem. Pengujian untuk mengetahui tingkat akurasi sistem dilakukan dengan menggunakan data ujian mata pelajaran bahasa indonesia, seni budaya dan IPA dengan jumlah soal masing-masing ujian adalah 5 soal dan diikuti oleh 24 pelajar. Hasil rekomendasi nilai sistem penilaian esai berdasarkan pedoman penskoran menggunakan synonym recognition serta spelling correction menunjukkan tingkat akurasi sebesar 93,61 % dengan Root Mean Square Error (RMSE) sebesar 0,85, sedangkan tanpa pedoman penskoran memiliki akurasi 51,39 % dengan RMSE sebesar 4,47. Penggunaan synonym recognition serta spelling correction dapat meningkatkan akurasi rata-rata sebesar 35,28 % dan memperkecil RMSE rata-rata sebesar 3,80.

English Abstract

Evaluation is one of the important things that must be done in the learning process. One of the evaluations in the learning process can be done by holding an exam. One test that is often used to conduct learning evaluations is essay examinations. The reason for using this type of essay exam is the ease with which questions are prepared but has advantages in training students to answer questions with their own opinions and knowledge. Answers to one essay exam question can vary which makes it difficult to make an assessment. The nature of subjectivity in making judgments also results in injustice and affects the results of the assessment of essay exam answers. Making scoring guidelines that will be a reference in evaluating answers can be a solution to overcome this problem. Scoring guidelines can be said as a strategy for scoring the answers that will appear. In addition to the use of scoring guidelines, the use of technology in the form of a system that can automatically assess will also help to assess the answers to essay exams. In making an essay scoring system automatically an extraction process is needed especially in the student's answer so that it becomes more structured. The process of extracting answers is done with text mining which in the process is divided into two stages, namely text preprocessing and feature selection. In the text preprocessing stage, a process is prepared to prepare the data. The text preprocessing stage consists of the process of converting all letters into lowercase letters and the process of breaking down the sentences into tokenizing lists. The feature selection stage is the stage after the text preprocessing stage. The feature selection stage aims to reduce the dimensions of the word list by removing non-essential words. In this research added the process of spelling correction and synonym recognition at the feature selection stage. The spelling correction process is used to correct typing errors. The synonym recognition process is used to detect synonyms. The results of the extraction process are then calculated for the similarity of answers with each answer key in the scoring guidelines. In the process of calculating this similarity, the first step taken is to find the best combination between the answers with the answer key in the scoring guidelines using the Longest Common Subsequence (LCS) algorithm. The best combination of fragmenting the answer with the answer key is then calculated to look for similarities using cosine similarity. The similarity value is then multiplied by the score on the answer key. The sum of all the results of the similarity value and the score obtained are recommendations for the value of the system. Testing to determine the level of accuracy of the system is done by using test data on Indonesian subjects, arts and culture and science with the number of questions for each exam is 5 questions and followed by 24 students. The results of the essay rating system recommendations based on scoring guidelines using synonym recognition and spelling correction showed an accuracy of 93.61% and Root Mean Square Error (RMSE) of 0.85, while without scoring guidelines it had an accuracy of 51,39% with RMSE of 4,47 . The use of synonym recognition and spelling correction can increase the average accuracy by 35.28% and reduce the RMSE by an average of 3.80.

Other obstract

-

Item Type:	Thesis (Magister)
Identification Number:	TES/808.84/CHO/p/2019/041906297
Uncontrolled Keywords:	ESSAY ASSESSMENT, LCS (LONGEST COMMON SUBSEQUENCE)
Subjects:	800 Literature (Belles-letters) amd rhetorics > 808 Rhetoric and collections of literary texts from more than two literatures > 808.8 Collections of literary texts from more than two literatures > 808.84 Collections of essays
Divisions:	S2/S3 > Magister Teknik Elektro, Fakultas Teknik
Depositing User:	Budi Wahyono Wahyono
Date Deposited:	13 Jan 2020 02:26
Last Modified:	21 Oct 2021 06:42
URI:	http://repository.ub.ac.id/id/eprint/177806

Text Mohammad Nur Cholis (2).pdf Download (1MB)

Actions (login required)

View Item