Sistem Pintu Cerdas Berbasis Pengenalan Wajah dan Kartu Identitas Menggunakan YOLOv8 dan Optical Character Recognition (OCR)

Rizki, Anugrah Ilhami and Rekyan Regasari Mardi Putri, S.T.,M.T. and Nur Hazbiy Shaffan, S.T., M.T. (2025) Sistem Pintu Cerdas Berbasis Pengenalan Wajah dan Kartu Identitas Menggunakan YOLOv8 dan Optical Character Recognition (OCR). Sarjana thesis, Universitas Brawijaya.

Abstract

Serangan spoofing telah menjadi ancaman serius pada sistem pintu cerdas berbasis pengenalan wajah. Serangan ini memungkinkan pengguna yang tidak sah untuk mendapatkan akses untuk mesuk ke dalam area yang dilindungi pada sebuah fasilitas. Untuk mengatasi permasalahan ini, penelitian ini mengusulkan solusi berupa implementasi autentikasi multi-faktor pada sistem cerdas berbasis pengenalan wajah dengan menambahkan faktor autentikasi kedua berbasis pengenalan teks kartu identitas. Penelitian ini bertujuan untuk mengetahui apakah penambahan autentikasi berbasis pengenalan teks kartu identitas dapat meningkatkan keamanan sistem pintu cerdas berbasis pengenalan wajah terhadap ancaman serangan spoofing. Untuk autentikasi pengenalan wajah, penelitian ini menggunakan metode dan algoritma yang telah ada sebelumnya dan menggunakan model pengenalan wajah yang telah dilatih melalui pustaka face_recognition pada Python. Sedangkan untuk autentikasi pengenalan teks kartu identitas, sistem ini menggunakan deteksi objek menggunakan model YOLOv8 yang dilatih menggunakan data primer, pengenalan teks menggunakan Tesseract OCR, serta ekstraksi informasi menggunakan regular expression. Kartu identitas yang digunakan adalah kartu identitas khusus dengan data fiktif yang dirancang khusus hanya untuk penelitian ini. Penelitian ini menggunakan 4 kelas pada pengujian dengan masing-masing kelas sebanyak 10 kali percobaan, dimana 1 kelas merepresntasikan pengguna sah sedangkan 3 kelas yang lainnya merepresentasikan pengguna tidak sah dengan 3 skenario yang berbeda. Hasil pengujian menunjukkan bahwa penambahan autentikasi berbasis pengenalan teks kartu identitas dapat meningkatkan keamanan sistem pintu cerdas berbasis pengenalan wajah terhadap serangan spoofing. Hal ini ditunjukkan dengan kemampuan sistem untuk mencegah terjadinya false postive oleh serangan spoofing yang dilambangkan dengan nilai spesifitas, dimana nilai ini meningkat dari 0.15 menjadi 1. Selain itu, hasil pengujian juga menunjukkan bahwa penambahan autentikasi berbasis pengenalan teks kartu identitas juga meningkatkan nilai akurasi sistem secara keseluruhan dari 0.575 menjadi 0.775. Dengan ini, diharapkan penelitian ini dapat menjadi solusi untuk mengatasi ancaman serangan spoofing pada sistem pintu cerdas berbasis pengenalan wajah.

English Abstract

Spoofing attacks have become a serious threat to facial recognition-based smart door systems. This attack allows unauthorized users to gain access to enter protected areas of a facility. To overcome this problem, this study proposes a solution in the form of implementing multi-factor authentication in facial recognition-based smart systems by adding a second authentication factor based on ID card text recognition. This study aims to determine whether the addition of ID card text recognition-based authentication can improve the security of facial recognition-based smart door systems against the threat of spoofing attacks. For facial recognition authentication, this study uses previously existing methods and algorithms and uses a facial recognition model that has been trained through the face_recognition library in Python. Meanwhile, for ID card text recognition authentication, this system uses object detection using the YOLOv8 model trained using primary data, text recognition using Tesseract OCR, and information extraction using regular expressions. The identity card used is a special identity card with fictitious data specifically designed for this study. This study uses 4 classes in testing with each class having 10 trials, where 1 class represents a legitimate user while the other 3 classes represent an illegitimate user with 3 different scenarios. The test results show that the addition of authentication based on identity card text recognition can improve the security of the smart door system based on facial recognition against spoofing attacks. This is indicated by the system's ability to prevent false positives from spoofing attacks which are symbolized by the specificity value, where this value increases from 0.15 to 1. In addition, the test results also show that the addition of authentication based on identity card text recognition also increases the overall system accuracy value from 0.575 to 0.775. With this, it is hoped that this study can be a solution to overcome the threat of spoofing attacks on smart door systems based on facial recognition.

Item Type:	Thesis (Sarjana)
Identification Number:	052515
Uncontrolled Keywords:	serangan spoofing, pintu cerdas, pengenalan wajah, YOLOv8, OCR
Divisions:	Fakultas Ilmu Komputer > Teknik Komputer
Depositing User:	S Sucipto
Date Deposited:	17 Feb 2025 02:56
Last Modified:	17 Feb 2025 02:56
URI:	http://repository.ub.ac.id/id/eprint/236847

Text (DALAM MASA EMBARGO) Anugrah Ilhami Rizki.pdf Restricted to Registered users only Download (3MB)

Actions (login required)

View Item