Optimasi Struktur Untuk Deep Network Pengenalan Digit Tulisan Tangan Dengan Morphnet

Herasmara, Ridho and M. Azis Muslim,, S.T., M.T., Ph.D and Dr. Eng. Panca Mudjirahardjo,, S.T., M.T (2019) Optimasi Struktur Untuk Deep Network Pengenalan Digit Tulisan Tangan Dengan Morphnet. Magister thesis, Universitas Brawijaya.

Abstract

Proses perancangan struktur neural network umumnya tidak menghasilkan struktur yang optimal. Tidak optimalnya struktur dari neural network salah satunya ditunjukkan dengan tidak signifikannya peningkatan kinerja neural network ketika ditambahkan sumber daya, semisal dengan penambahan neuron maupun layer yang berujung pada peningkatan kebutuhan FLOPS (floating operation) ataupun memori. Hal ini disebabkan kecenderungan penelitian untuk melakukan maksimalisasi akurasi dengan tidak terlalu memperhitungkan sumberdaya yang dibutuhkan dari neural network. Telah ada beberapa penelitian untuk mengatasi masalah ini, namun bentuk yang ada baru menyasar kebutuhan memori, atau penyusutan secara uniform pada seluruh layer yang justru malah menurunkan kinerja network secara signifikan. Penelitian terbaru mengusulkan pendekatan MorphNet, yaitu penggunaan regularizer yang menyasar kebutuhan sumberdaya sebagai bagian dari cost untuk diminimalisir, dan telah diujicobakan pada network ImageNet, AudioSet, dan JFT. Namun, belum ada penelitian yang melakukan optimasi dengan pendekatan MorphNet ini pada jaringan yang mengklasifikasi digit tulisan tangan, dan khususnya yang dilatih dengan menggunakan dataset MNIST. Pada penelitian ini akan dilakukan optimasi pada dua network, yaitu LeNet5 yang berupa convolutional neural network yang telah sedikit dimodifikasi, dan Ciresan yang berupa fully connected layer. Diharapkan metode ini menghasilkan struktur baru yang lebih optimal.

English Abstract

Generally, neural network structure design process produces inefficient structure. This inefficiency is indicated by insignificant increase in performance of neural network, when additional resource such as additional processing layer is added, resulting in increased FLOPS requirement or memory requirement. This is caused by effort by researcher to maximize accuracy with little regard to resource requirement of the neural network. Some studies has been performed to address the issue, but the current study aim to reduce memory footprint, or by uniformly reduce the size of all layer which caused network performance to decrease significantly. New study proposed MorphNet method, a use of regularizer that target resource utilization as a part of the cost to be minimized. This method has been applied to deep networks targeting ImageNet, AudioSet, and JFT. However, no study yet that uses MorphNet to optimize handwritten digit classification network, especially the one that uses MNIST dataset. This study optimize two networks. First, LeNet5 which is a modified convolutional neural network, and CiresanL6, a fully connected multilayer perceptron network. This method is expected to produce an improvised network structure which maintain accuracy while reducing FLOPS requirement.

Other obstract

-

Item Type:	Thesis (Magister)
Identification Number:	TES/006.32/FT/o/2019/042000442
Uncontrolled Keywords:	MorphNet, convolutional neural network, klasifikasi, digit tulisan tangan, MorphNet, convolutional neural network, classification, handwritten digit
Subjects:	000 Computer science, information and general works > 006 Special computer methods > 006.3 Artificial intelligence > 006.32 Neural nets (neural networks)
Divisions:	S2/S3 > Magister Teknik Elektro, Fakultas Teknik
Depositing User:	Nur Cholis
Date Deposited:	25 Aug 2022 02:59
Last Modified:	25 Aug 2022 02:59
URI:	http://repository.ub.ac.id/id/eprint/193563

Text Ridho_Herasmara_Thesis.pdf Download (1MB)

Actions (login required)

View Item