Optimalisasi LSTM dan Bi-LSTM Untuk Deteksi Kata Bahasa Isyarat SIBI Lingkup Medis dengan Reduksi Landmark

Mufid Ramadhan, Wildan and Prof.Dr.Eng. Fitri Utaminingrum, S.T., M.T and Dr. Candra Dewi, S.Kom, M.Sc (2024) Optimalisasi LSTM dan Bi-LSTM Untuk Deteksi Kata Bahasa Isyarat SIBI Lingkup Medis dengan Reduksi Landmark. Sarjana thesis, Universitas Brawijaya.

Abstract

Bahasa isyarat tersedia sebagai sarana komunikasi, sulit dipahami, menyulitkan interaksi sosial bagi mereka yang mengalami gangguan pendengaran. Sehingga dibutuhkan sistem penerjemah bahasa isyarat yang mampu membantu komunikasi dengan penyandang tuna rungu. Maka dari itu, dibutuhkan sebuah sistem penerjemah bahasa isyarat yang mampu membantu komunikasi antara orang penyandang gangguan pendengaran dengan orang normal. Pada penelitian ini reduksi landmark diimplementasikan pada LSTM dan Bi-LSTM untuk mengoptimalkan deteksi bahasa isyarat SIBI lingkup medis yang terdiri dari kata isyarat “Batuk”, “Demam”, “Gigi”, “Kepala”, “Minum”, “Obat”, “Perut”, “Resep”, dan “Sakit”. Reduksi landmark merupakan metode pengurangan landmark dengan memilih titik-titik landmark berdasarkan studi literatur terkait komponen landmark yang digunakan dalam bahasa isyarat. Berdasarkan hasil pengujian yang telah dilakukan, penerapan reduksi landmark pada LSTM dan Bi-LSTM efektif dalam meningkatkan akurasi dan menurunkan loss dalam pelatihan, akan tetapi tidak efektif untuk mempercepat konvergensi dalam pelatihan. Model LSTM dan Bi-LSTM tanpa reduksi landmark yang mana model memproses landmark kedua tangan, seluruh badan, dan wajah mencapai konvergensi pada waktu yang lebih singkat, yaitu 59 epoch untuk LSTM dan 67 epoch untuk Bi-LSTM. Sementara itu, model LSTM dengan reduksi landmark k3 yang mana model memproses landmark kedua tangan, badan bagian atas, dan wajah mencapai konvergensi dalam 62 epoch. Model Bi-LSTM dengan reduksi landmark k5 yang mana model memproses landmark kedua tangan memerlukan 67 epoch untuk konvergensi. Selain itu reduksi landmark k4 yang mana model memproses landmark kedua tangan, badan bagian atas, dan mulut mampu meningkatkan akurasi model LSTM yang sebelumnya 0,6889 menjadi 0,8667 dan Bi-LSTM yang sebelumnya 0,8111 menjadi 0,9333.

English Abstract

Sign language is available as a means of communication, difficult to understand, making social interaction difficult for those with hearing loss. So a sign language translator system is needed that is able to help communication with hearing impaired people. Therefore, a sign language translator system is needed that can help communication between people with hearing loss and normal people. In this research, landmark reduction is implemented on LSTM and Bi-LSTM to optimize the detection of medical SIBI sign language consisting of the sign words “Batuk”, “Demam”, “Gigi”, “Kepala”, “Minum”, “Obat”, “Perut”, “Resep”, and “Sakit”. Landmark reduction is a method of reducing landmarks by selecting landmark points based on literature studies related to landmark components used in sign language. Based on the test results, the application of landmark reduction to LSTM and Bi-LSTM is effective in improving accuracy and reducing loss in training, but not effective in accelerating convergence in training. The LSTM and Bi-LSTM models without landmark reduction where the models process landmarks of both hands, the whole body, and the face achieve convergence in a shorter time, which is 59 epochs for LSTM and 67 epochs for Bi-LSTM. Meanwhile, the LSTM model with k3 landmark reduction where the model processes the landmarks of both hands, upper body, and face reaches convergence in 62 epochs. The Bi-LSTM model with k5 landmark reduction where the model processes the landmarks of both hands requires 67 epochs for convergence. In addition, the k4 landmark reduction where the model processes the landmarks of both hands, upper body, and mouth is able to increase the accuracy of the LSTM model from 0.6889 to 0.8667 and Bi-LSTM from 0.8111 to 0.9333

Item Type:	Thesis (Sarjana)
Identification Number:	052415
Uncontrolled Keywords:	kata isyarat, LSTM, Bi-LSTM, titik landmark, reduksi landmark, sign word, LSTM, Bi-LSTM, landmark point, landmark reduction
Divisions:	Fakultas Ilmu Komputer > Teknik Informatika
Depositing User:	Annisti Nurul F
Date Deposited:	12 Feb 2024 03:39
Last Modified:	12 Feb 2024 03:39
URI:	http://repository.ub.ac.id/id/eprint/215920

Text (DALAM MASA EMBARGO) Wildan Mufid Ramadhan.pdf Restricted to Registered users only Download (19MB)

Actions (login required)

View Item