Sistem Deteksi Tingkat Engagement Terhadap Video Iklan Berdasarkan Fitur Facial Landmark Dengan Metode Random Forest Berbasis Raspberry Pi

Elvindo, Mochamad and Rekyan Regasari Mardi Putri, S.T., M.T. and Dr.Eng. Fitra Abdurrachman Bachtiar, S.T., M.Eng (2025) Sistem Deteksi Tingkat Engagement Terhadap Video Iklan Berdasarkan Fitur Facial Landmark Dengan Metode Random Forest Berbasis Raspberry Pi. Sarjana thesis, Universitas Brawijaya.

Abstract

Engagement manusia merupakan bentuk interaksi sosial yang penting, dengan ekspresi wajah memainkan peran utama dalam menyampaikan tingkat engagement seseorang. Data engagement menjadi elemen kunci dalam memahami perilaku pengguna, terutama dalam konteks interaksi dengan media visual seperti video iklan. Penelitian ini bertujuan mengembangkan sistem deteksi tingkat engagement berbasis Raspberry Pi yang efisien dengan menggunakan teknologi facial landmark untuk ekstraksi fitur wajah dan algoritme Random Forest untuk klasifikasi. Sistem ini dirancang untuk mendeteksi engagement pengguna secara real-time saat menonton video iklan pada layar digital publik. Metodologi yang digunakan meliputi ekstraksi 468 titik facial landmark menggunakan MediaPipe, pengujian terhadap berbagai konfigurasi jumlah titik untuk mengidentifikasi subset optimal, serta optimisasi parameter pada model Random Forest. Database yang digunakan mencakup empat kategori engagement: Engagement 0 (Very Low), Engagement 1 (Low), Engagement 2 (High), dan Engagement 3 (Very High). Hasil penelitian menunjukkan bahwa model Random Forest mampu mencapai akurasi sebesar 91,8% pada data uji berbasis frame individu, sementara metode majority voting yang digunakan untuk klasifikasi video natural menghasilkan akurasi sebesar 77%. Sistem ini juga diuji dalam skenario berbasis edge device untuk mengevaluasi response time serta jumlah frame yang diproses secara real-time. Hasil menunjukkan bahwa pendekatan ini mampu menjaga keseimbangan antara akurasi dan efisiensi komputasi, menjadikannya cocok untuk aplikasi pada berbagai bidang seperti psikologi, keamanan, pemasaran, dan interaksi manusia-mesin. Penelitian ini diharapkan dapat memberikan wawasan baru bagi pemangku kepentingan dalam memahami respons pengguna terhadap media visual, serta menjadi dasar untuk pengembangan lebih lanjut dalam teknologi pendeteksian engagement berbasis komputasi tepi.

English Abstract

Human engagement is a crucial form of social interaction, where facial expressions play a key role in conveying an individual's level of engagement. Engagement data serves as a key element in understanding user behavior, especially in their interaction with visual media such as advertisement videos. This study aims to develop an engagement detection system based on Raspberry Pi that efficiently balances accuracy and computational efficiency by leveraging facial landmark technology for facial feature extraction and the Random Forest algorithm for classification. The system is designed to detect user engagement in real-time while watching advertisement videos on public digital screens. The methodology includes extracting 468 facial landmarks using MediaPipe, testing various configurations to identify the optimal subset of landmarks, and optimizing parameters in the Random Forest model. The dataset comprises four engagement categories: Engagement 0 (Very Low), Engagement 1 (Low), Engagement 2 (High), and Engagement 3 (Very High). The results demonstrate that the Random Forest model achieves an accuracy of 91.8% on frame-based test data, while the majority voting method used for natural video classification yields an accuracy of 77%. The system was also tested in an edge device environment to evaluate response time and the number of frames processed in real-time. The findings show that this approach effectively maintains a balance between accuracy and computational efficiency, making it suitable for applications in various fields such as psychology, security, marketing, and responsive human-machine interaction. This research is expected to provide new insights for stakeholders in understanding user responses to visual media and to serve as a foundation for further advancements in engagement detection technology based on edge computing.

Item Type:	Thesis (Sarjana)
Identification Number:	052515
Uncontrolled Keywords:	Engagement, Facial Landmark, Random Forest, Raspberry Pi, Video Iklan
Divisions:	Fakultas Ilmu Komputer > Teknik Komputer
Depositing User:	S Sucipto
Date Deposited:	07 Mar 2025 02:18
Last Modified:	07 Mar 2025 02:18
URI:	http://repository.ub.ac.id/id/eprint/236649

Text (DALAM MASA EMBARGO) Mochamad Elvindo.pdf Restricted to Registered users only Download (5MB)

Actions (login required)

View Item