Pengembangan Multimodal Convolutional Neural Network untuk Grading Buah Jambu Kristal dengan Dua Perspektif Citra

Asghany, Yusrian and Rizal Setya Perdana, S.Kom., M.Kom., Ph.D. and Dr. Eng. Budi Darma Setiawan, S.Kom., M.Cs. (2024) Pengembangan Multimodal Convolutional Neural Network untuk Grading Buah Jambu Kristal dengan Dua Perspektif Citra. Sarjana thesis, Universitas Brawijaya.

Abstract

Indonesia merupakan negara dengan sektor pertanian yang memiliki potensi besar, salah satu produk unggulannya adalah buah-buahan. Terdapat beberapa komoditas buah-buahan di Indonesia yang belum mendapatkan perhatian yang seharusnya, contohnya adalah buah jambu kristal. Upaya peningkatan pemanfaatan jambu kristal dapat dicapai dengan mengoptimalkan proses produksinya. Pengoptimalan ini dapat dicapai dengan menerapkan otomatisasi pada berbagai tahap, dan tahapan grading menjadi salah satu aspek yang sangat menguntungkan. Proses grading dapat diotomatisasi dengan pendekatan computer vision, lebih spesifik Multimodal Convolutional Neural Network (CNN). Pendekatan ini dapat melakukan grading buah jambu kristal dengan masukan citra atas dan citra samping buah. Pendekatan CNN biasa tidak dapat menerima lebih dari satu modalitas sehingga penciri kualitas buah yang diperoleh lebih terbatas dan sangat mungkin untuk tidak mencukupi untuk grading dengan benar. Penelitian dilakukan dengan membangun model Multimodal CNN yang dapat menerima dua macam citra tadi dan menghasilkan prediksi kualitas buah jambu kristal. Model dilatih dengan data pasangan citra atas dan citra samping buah jambu kristal yang sudah melalui pemrosesan awal. Pemrosesan awal yang dilakukan adalah augmentasi dengan rotasi dan flip secara acak serta color thresholding untuk penghapusan latar belakang. Model dengan kinerja terbaik didapatkan dengan penerapan optimizer Adam tanpa scheduler dan learning rate awal sebesar 0.001 pada proses pelatihannya terhadap data yang mendapatkan pemrosesan awal secara lengkap. Model ini mendapatkan nilai akurasi 0.95 dan F1 score 0.95 pada pengujiannya.

English Abstract

Indonesia stands as a country with vast potential in its agricultural sector, and one of its standout products is fruits. While certain fruit commodities in Indonesia have garnered significant attention, there are others that have yet to receive the recognition they deserve, such as crystal guava. Enhancing the utilization of crystal guava can be achieved through the optimization of its production processes. Automation proves to be a pivotal strategy in this endeavor, with grading being a particularly advantageous aspect. The grading process can be automated through a computer vision approach, specifically utilizing Multimodal Convolutional Neural Network (CNN). Unlike conventional CNN approaches that only handle single modality inputs, the Multimodal CNN approach can effectively grade crystal guavas using both top-view and side-view images. This research focuses on constructing a Multimodal CNN model capable of receiving and processing these two types of images to predict the quality of crystal guavas. The model is trained using pairs of pre-processed top-view and side-view images, which undergo initial processing steps including random rotation and flipping for augmentation, as well as color thresholding for background removal. The best-performing model employs the Adam optimizer without a scheduler and an initial learning rate of 0.001 during the training process on fully pre-processed data. This model achieves an accuracy of 0.95 and an F1 score of 0.95 on testing, showcasing its robust performance in grading crystal guavas

Item Type:	Thesis (Sarjana)
Identification Number:	0524150283
Uncontrolled Keywords:	computer vision, Convolutional Neural Network, grading, jambu kristal, multimodal, Multimodal CNN-computer vision, Convolutional Neural Network, grading, crystal guava, multimodal, Multimodal CNN
Divisions:	Fakultas Ilmu Komputer > Teknik Informatika
Depositing User:	soegeng sugeng
Date Deposited:	31 May 2024 07:49
Last Modified:	31 May 2024 07:49
URI:	http://repository.ub.ac.id/id/eprint/219808

Text (DALAM MASA EMBARGO) Yusrian Asghany.pdf Restricted to Registered users only Download (5MB)

Actions (login required)

View Item