Desain Computer Vision Berbasis Citra Reflektansi Dan Fluoresensi Menggunakan Machine Learning Sebagai Pendeteksi Aflatoksin Pada Biji Kakao

Sadimantara, Muhammad Syukri and Prof. Yusuf Hendrawan, S.TP. M.App Life.Sc,P.hD and Prof. Dr. Ir Bambang Dwi Argo, DEA and Prof. Dr. Sucipto, S.TP, MP (2024) Desain Computer Vision Berbasis Citra Reflektansi Dan Fluoresensi Menggunakan Machine Learning Sebagai Pendeteksi Aflatoksin Pada Biji Kakao. Doktor thesis, Universitas Brawijaya.

Abstract

Kakao sebagai komoditas unggulan memilki nilai ekonomis tinggi, namun memiliki beberapa ancaman penurunan mutu. Salah satunya akibat kontaminasi aflatoksin, yaitu senyawa metabolit sekunder yang dihasilkan oleh Aspergillus flavus yang memiliki dampak negatif bagi kesehatan, mempengaruhi mutu biji kakao dan tingkat penerimaan produk di pasar internasional. Oleh karena itu, identifikasi aflatoksin pada rantai pemasaran biji kakao harus dideteksi lebih dini. Terdapat beberapa teknologi identifikasi aflatoksin berbasis kimia misalnya melalui ELISA dan HPLC. Namun, pendekatan ini bersifat destruktif, memerlukan biaya tinggi dan tenaga terampil, sehingga tidak dapat diaplikasikan secara luas. Computer vision merupakan pendekatan non destruktif dan efektif untuk identifikasi mutu pangan, sehingga potensial untuk dikembangkan dalam klasifikasi tingkat kontaminasi aflatoksin pada biji kakao. Aflatoksin sebagai senyawa fluorospohore dapat menghasilkan emisi fluorescense sehingga akuisisi citra dengan fluorescense imaging diharapkan dapat melakukan prediksi dan klasifikasi tingkat kontaminasi aflatoksin dengan akurasi lebih tinggi. Penelitian Tahap I bertujuan: 1) menganalisis kadar aflatoksin pada biji kakao terkontaminasi aflatoksin yang dilakukan secara artifisial pada pengamatan hari ke 1, 3, 5 dan 7 setelah inokulasi kapang A flavus. 2) menganalisis hubungan nilai proksimat, Aw, pH, dan CFU biji kakao terkontaminasi aflatoksin pada pengamatan hari ke 1, 3, 5 dan 7. 3) Memperoleh 3 kelas citra fluoresensi dan reflektansi berdasarkan hasil uji LCMS. Tahap III bertujuan menganalisis hubungan fitur warna-tekstur citra dengan tingkat kontaminasi aflatoksin dengan beberapa pendekatan regresi berdasarkan 289 fitur warna-tekstur hasil ekstraksi citra RGB dan fluorescence. Tahap III bertujuan: menganalisis pendekatan ANN untuk prediksi tingkat terkontaminasi aflatoxin, aplikasi pendekatan machine learning lain untuk klasifikasi citra biji kakao terkontaminasi aflatoxin. Tahap IV bertujuan: menganalisis aplikasi CNN pada klasifikasi citra biji kakao terkontaminasi aflatoksin serta aplikasi YOLO untuk deteksi biji kakao terkontaminasi aflatoksin secara real-time. Tahap V bertujuan memperoleh rekomedasi kombinasi metode akuisisi citra dan machine learning pada klasifikasi dan deteksi biji kakao terkontaminasi aflatoksin. Metode penelitian tahap I adalah: analisis kadar aflatoksin melalui uji LCMS serta pelabelan citra berdasarkan hasil LCMS menjadi 3 kelas yaitu biji kakao bebas aflatoksin, biji kakao terkontaminasi di bawah ambang batas dan biji kakao terkontaminasi aflatoksin diatas ambang batas. Akuisisi citra dilakukan dengan pencahayaan reflektansi dan fluoresensi pada pengamatan hari ke 1-7. Metode penelitian tahap II yaitu citra yang diperoleh kemudian dilakukuan ekstraksi fitur tekstur-warna untuk memperoleh 289 fitur yang menjadi input pada pemodelan beberapa model regresi untuk mengetahui hubungan fitur warna citra dan tingkat kontaminasi aflatoksin. Metode penelitian tahap III yaitu menggunakan pendekatan machine learning yaitu optimasi ANN melalui try and error kombinasi jumlah fitur, jumlah hidden layer, node dan learning rate. Komparasi performansi akurasi klasifikasi machine learning dilakukan dengan beberapa jenis machine learning seperti SVM, DT, KNN, naïve bayes untuk klasifikasi tingkat kontaminasi aflatoksin pada biji kakao pada citra reflektansi dan fluoresensi. Metode penelitian tahap IV yaitu klasifikasi tingkat kontaminasi aflatoksin dengan pre-trained CNN dan deteksi biji kakao kontaminasi aflatoksin melalui YOLO pada citra reflektansi dan fluoresensi. Metode penelitian tahap V yaitu komparasi tingkat akurasi dari kombinasi akuisisi citra danix machine learning serta tingkat kemudahan aplikasi pada industri untuk memperoleh rekomendasi computer vision pada klasifikasi tingkat kontaminasi aflatoksin. Hasil penelitian tahap I diperoleh kelas aflatoksin berdasarkan uji LCMS yaitu biji kakao hasil inkubasi hari ke 1 dan 2 masuk ketegori terkontaminasi aflatoksin di bawah ambang batas, dan biji kakao hasil inkubasi hari ke 3-7 masuk kategori terkontaminasi aflatoksin di atas ambang batas. Uji proksimat menunjukkan terjadi penurunan kadar lemak pada biji kakao inokulasi. Hasil TPC menunjukkan pada hari ke 3 tidak terdapat koloni A. flavus yang mengindikasikan tingginya kadar AF pada hari ke 3. Hasil penelitian tahap II Berdasar hasil ekstraksi 289 fitur warna-tekstur, fitur warna CMY-Y mean dengan model polinomial merupakan model terbaik untuk prediksi tingkat kontaminasi aflatoksin pada citra rekrektansi dengan nilai R2= 0,93 (kuat) sedangkan fitur warna hue contrast merupakan model terbaik untuk prediksi tingkat kontaminasi aflatoksin pada citra fluorresensi, namun berdasar R2(0,573) masuk dalam katagori moderat. Hasil penelitian tahap III yaitu prediksi tingkat kontaminasi aflatoksin dengan pendekatan ANN, maka pada citra RGB diperoleh arsitektur terbaik adalah 4-10-10-1. yaitu 4 fitur input warna-tektur (CMY_Y Mean, Z Energy, CMYK_C Energy dan Z Entropy), 2 Hidden layer, fungsi pembelajaran trainlm, fungsi aktivasi tansig pada hidden layer dan output layer dengan learning rate: 0,1 dan nilai momentum 0,5 yang akan menghasilkan nilai MSE validasi : 0,0106 dan R= 0,989, sedangkan pendekatan ANN pada citra fluoresensi diperoleh arsitektur terbaik adalah 3-20-20-1 dengan input 3 fitur (CMY_Y Mean, CMYK_M Entropy dan CMYK_M Correlation dengan metode filter dengan evaluator OneRattribute. Struktur, learning rate: 0,1 dan nilai momentum 0,5, fungsi aktivasi tansig pada 2 hidden layer dan output layer, fungsi pemebelajaran berupa trainlm yang akan menghasilkan MSE validasi: 0,0087 dan R validasi 0,9910. Pendekatan machine learning lain pada klasifikasi aflatoxin diperoleh SVM cubic dan quadratic merupakan pendekatan machine learning yang memiliki akurasi terbaik dibanding pendekatan lainnya dengan nilai akurasi validasi 99,8% dengan nilai loss: 2 pada citra reflektansi sedangkan pada citra fluoresensi pendekatan Decision treedan SVM linier menjadi pendekatan terbaik dengan akurasi validasi 99.3% dan loss 0. Hasil penelitian tahap IV. Klasifikasi dengan CNN diperoleh model pre trained CNN (ResNet50, optimazer: Adam, learning rate: 0,0001) memperoleh akurasi training 99,6% dan akurasi testing 95 % berdasarkan Confusion matrix pada citra reflektansi. Citra fluoresensi model pre-trained CNN (GoogLeNet, optimazer: Adam, learning rate: 0,0001) dengan akurasi training 96,42%, akurasi testing berdasar Confusion matrix: 96%. Aplikasi algoritma YOLO pada deteksi biji kakao terkontamiansi aflatoxin pada citra reflektansi pada data testing diperoleh precision (all): 0,713, recall (all) 0.799, Mean Average Precision: 0,818 dan mAP@[.5:.95]: 0,407, sedang citra fluoresensi memperoleh performansi lebih baik yaitu: precision (all): 0,91, recall (all) 0,93, Mean Average Precision: 0,95 dan mAP@[.5:.95]: 0,47. Hasil penelitian tahap V diperoleh kombinasi akuisisi citra fluoresensi-CNN merupakan pendekatan computer vision untuk klasifikasi tingkat kontaminasi aflatoksin pada biji kakao terbaik dengan memperoleh nilai akurasi 96%. Pada Deteksi kontaminasi aflatoksin pada bijji kakao, kombinasi Algoritma YOLO dan akuisisi citra fluoresensi merupakan pendetakan terbaik dengan akurasi 91 %.

English Abstract

Cocoa as a superior commodity that has high economic value has several threats of quality degradation. One of them is aflatoxin contamination, which is a secondary metabolite compound produced by Aspergillus flavus which has a negative impact on health, affecting the quality of cocoa beans and the level of product acceptance in the international market. Therefore, identification of aflatoxins in the cocoa bean marketing chain must be detected early. There are several chemical-based aflatoxin identification technologies, for example via ELISA and HPLC. However, this approach is destructive, requires high costs and skilled labor so it cannot be applied widely. Computer vision is a non-destructive and effective approach for identifying food quality, so it has the potential to be developed in classifying the level of aflatoxin contamination in cocoa beans. Aflatoxin as a fluorophore compound can produce fluorescense emissions so that image acquisition with fluorescense imaging is expected to be able to predict and classify the level of aflatoxin contamination with higher accuracy. Phase I research aims: 1) to analyze aflatoxin levels in aflatoxin-contaminated cocoa beans which were carried out artificially on days 1, 3, 5 and 7 after inoculation of A flavus mold. 2) analyze the relationship between proximate values, Aw, pH and CFU of aflatoxincontaminated cocoa beans on days 1, 3, 5 and 7 of observation. 3) Obtain 3 classes of fluorescence and reflectance images based on LCMS test results. Stage III aims to analyze the relationship between image color-texture features and the level of aflatoxin contamination using several regression approaches based on 289 color-texture features extracted from RGB and fluorescence images. Phase III aims to: analyze the ANN approach for predicting levels of aflatoxin contamination, application of other machine learning approaches for image classification of aflatoxin contaminated cocoa beans. Stage IV aims to: analyze the CNN application for classifying images of aflatoxin-contaminated cocoa beans and the YOLO application for real-time detection of aflatoxin-contaminated cocoa beans. Stage V aims to: obtain recommendations for a combination of image acquisition and machine learning methods for the classification and detection of aflatoxin contaminated cocoa beans. The phase I research method is: analysis of aflatoxin levels through LCMS testing and image labeling based on LCMS results into 3 classes, namely aflatoxin-free cocoa beans, cocoa beans contaminated below the threshold and cocoa beans contaminated with aflatoxin above the threshold. Image acquisition was carried out using reflectance and fluorescence lighting on days 1-7 of observation. The stage II research method is that the image obtained is then subjected to color-texture feature extraction to obtain 289 features which are input for modeling several regression models to determine the relationship between image color features and the level of aflatoxin contamination. The stage III research method uses a machine learning approach, namely ANN optimization through try and error combinations of the number of features, number of hidden layers, nodes and learning rate. Comparison of machine learning classification accuracy performance was carried out using several types of machine learning such as SVM, DT, KNN, naïve Bayes for classifying the level of aflatoxin contamination in cocoa beans in reflectance and fluorescence images. The stage IV research method is classification of the level of aflatoxinxi contamination using pre-trained CNN and detection of aflatoxin contaminated cocoa beans via YOLO on reflectance and fluorescence images. The phase V research method is a comparison of the level of accuracy of a combination of image acquisition and machine learning as well as the level of ease of application in industry to obtain computer vision recommendations for classifying the level of aflatoxin contamination. The results of the phase I research showed that the aflatoxin class was based on the LCMS test, namely that the cocoa beans from incubation days 1 and 2 were categorized as contaminated with aflatoxin below the threshold, and the cocoa beans from incubation on days 3-7 were categorized as contaminated with aflatoxin above the threshold. The proximate test showed a decrease in fat content in inoculated cocoa beans. TPC results showed that on day 3 there were no A. flavus colonies which indicated high levels of AF on day 3. Results of phase II research. Based on the extraction results of 289 color-texture features, the mean CMY-Y color feature with a polynomial model is the best model for prediction the level of aflatoxin contamination in the reflectance image with a value of R2 = 0.93 (strong) while the hue contrast color feature is the best model for predicting the level of aflatoxin contamination in the fluorescence image, but based on R2 (0.573) it is in the moderate category. The results of phase III research were prediction of the level of aflatoxin contamination using the ANN approach, so that in the RGB image the best architecture was 4-10-10-1. namely 4 color-texture input features (CMY_Y Mean, Z Energy, CMYK_C Energy and Z Entropy), 2 Hidden layers, trainlm learning function, tansig activation function on the hidden layer and output layer with learning rate: 0.1 and momentum value 0, 5 which will produce validation MSE values: 0.0106 and R= 0.989, while the ANN approach to fluorescence images obtained the best architecture is 3-20-20-1 with input of 3 features (CMY_Y Mean, CMYK_M Entropy and CMYK_M Correlation with filter method with OneRattribute evaluator. Structure, learning rate: 0.1 and momentum value 0.5, tansig activation function on 2 hidden layers and output layer, learning function in the form of trainlm which will produce MSE validation: 0.0087 and R validation 0.9910 Other machine learning in aflatoxin classification obtained cubic and quadratic SVM which is a machine learning approach that has the best accuracy compared to other approaches with a validation accuracy value of 99.8% with a loss value of: 2 in reflectance images while in fluorescence images the Decision tree and linear SVM approaches are the best approaches with validation accuracy of 99.3% and loss of 0. Results of phase IV research. Classification with CNN obtained by a pre trained CNN model (ResNet50, optimizer: Adam, learning rate: 0.0001) obtained training accuracy of 99.6% and testing accuracy of 95% based on the Confusion matrix on the reflectance image. Meanwhile, the fluorescence image of the pre trained CNN model (GoogLeNet, optimizer: Adam, learning rate: 0.0001) with training accuracy of 96.42%, testing accuracy based on Confusion matrix: 96%. Application of the YOLO algorithm to detect aflatoxincontaminated cocoa beans in reflectance images obtained from testing data obtained precision (all): 0.713, recall (all) 0.799, Mean Average Precision: 0.818 and mAP@[.5:.95]: 0.407. while the fluorescence image obtained better performance, namely: precision (all): 0.91, recall (all) 0.93, Mean Average Precision: 0.95 and mAP@[.5:.95]: 0.47. namely 5. Results of phase V research. The combination of fluorescence image acquisition-CNN is a computer vision approach for classifying the level of aflatoxin contamination in the best cocoa beans by obtaining an accuracy value of 96%. Meanwhile, for detection purposes, the combination of the YOLO algorithm and fluorescence image acquisition is the best practice with an accuracy rate of 91%.

Item Type:	Thesis (Doktor)
Identification Number:	0524100074
Uncontrolled Keywords:	Aflatoksin, Biji kakao, Computer vision, Deep learning, Fluoresensi, Machine learning, Reflektansi. Aflatoxin, Cocoa beans, Computer vision, Deep learning, Fluorescence, Machine learning.
Divisions:	S2/S3 > Doktor Teknologi Industri Pertanian, Fakultas Teknologi Pertanian
Depositing User:	soegeng sugeng
Date Deposited:	31 May 2024 07:50
Last Modified:	31 May 2024 07:50
URI:	http://repository.ub.ac.id/id/eprint/219844

Text (DALAM MASA EMBARGO) Muhammad Syukri Sadimantara.pdf Restricted to Registered users only Download (4MB)

Actions (login required)

View Item