Sistem Deteksi Tingkat Engagement Pada Video Iklan Dengan YOLOv8 Nano Berbasis Raspberry Pi 4

Kurniawan, Rafi Athallah and Rekyan Regasari Mardi Putri, S.T., Dr. Eng. and Fitra Abdurrachman Bachtiar, S.T., M. Eng. (2025) Sistem Deteksi Tingkat Engagement Pada Video Iklan Dengan YOLOv8 Nano Berbasis Raspberry Pi 4. Sarjana thesis, Universitas Brawijaya.

Abstract

Engagement merupakan tingkat keterlibatan atau interaksi seseorang dengan suatu hal, seperti produk, layanan, atau konten, yang mencerminkan sejauh mana perhatian, minat, dan keterhubungan emosional mereka terhadap hal tersebut. Salah satu cara untuk mengukur engagement adalah melalui raut wajah, yang dapat mencerminkan respons emosional seseorang terhadap sesuatu. Dalam dunia pemasaran, raut wajah memainkan peran penting dalam mengevaluasi efektivitas iklan, karena raut wajah dapat memberikan wawasan tentang bagaimana audiens merespons konten yang disajikan. Analisis raut wajah dapat membantu mengidentifikasi apakah suatu iklan berhasil menarik perhatian. Oleh karena itu, penelitian ini akan memanfaatkan deteksi tingkat engagement yang berfokus pada raut wajah seseorang saat menonton video iklan. Penelitian ini menggunakan metode YOLOv8 Nano yang akan diterapkan pada perangkat Raspberry Pi 4 Model B dengan webcam Logitech C270 sebagai input. Dataset yang digunakan memiliki 4 kelas tingkat engagement, yaitu engagement_0 (very low), engagement_1 (low), engagement_2 (high), dan engagement_3 (very high). Penerapan model YOLOv8 Nano pada sistem ini menghasilkan akurasi sebesar 90% pada sesi non-natural serta 71% pada sesi natural. Selain itu, model YOLOv8 Nano ini mendapatkan rata-rata waktu komputasi inferensi sebesar 590,7 ms pada sesi natural dan 615,3 ms pada sesi non-natural. Dengan pendekatan ini, diharapkan sistem mampu menjadi solusi yang efektif dan efisien dalam mengukur engagement audiens, mendukung pengambilan keputusan yang berbasis data, serta mengoptimalkan strategi pemasaran secara keseluruhan.

English Abstract

Engagement is a person's level of involvement or interaction with something, such as a product, service, or content, which reflects the extent of their attention, interest, and emotional connection to that thing. One way to measure engagement is through facial expressions, which can reflect a person's emotional response to something. In the world of marketing, facial expressions play an important role in evaluating the effectiveness of advertising, as facial expressions can provide insight into how the audience responds to the content presented. Facial expression analysis can help identify whether an ad is successful in attracting attention. Therefore, this research will utilize engagement level detection which focuses on the look on a person's face when watching an advertising video. This research uses the YOLOv8 Nano method which will be applied to a Raspberry Pi 4 Model B device with a Logitech C270 webcam as input. The dataset used has 4 engagement level classes, namely engagement_0 (very low), engagement_1 (low), engagement_2 (high), and engagement_3 (very high). Applying the YOLOv8 Nano model to this system produces an accuracy of 90% in non-natural sessions and 71% in natural sessions. In addition, the YOLOv8 Nano model achieved an average inference computing time of 590.7 ms in natural sessions and 615.3 ms in non-natural sessions. With this approach, it is hoped that the system will be able to become an effective and efficient solution in measuring audience engagement, supporting data-based decision making, and optimizing overall marketing strategies.

Item Type:	Thesis (Sarjana)
Identification Number:	052515
Uncontrolled Keywords:	Engagement, Raut Wajah, Iklan, YOLOv8 Nano, Raspberry Pi 4, Waktu Komputasi.
Divisions:	Fakultas Ilmu Komputer > Teknik Komputer
Depositing User:	S Sucipto
Date Deposited:	25 Feb 2025 07:31
Last Modified:	25 Feb 2025 07:31
URI:	http://repository.ub.ac.id/id/eprint/236498

Text (DALAM MASA EMBARGO) Rafi Athallah Kurniawan.pdf Restricted to Registered users only Download (5MB)

Actions (login required)

View Item