Pengaruh Lapisan Self-Attention Pada Klasifikasi ResNet dan DenseNet Dalam Mendeteksi Kanker Kolorektal

Mulyadi, Yonathan Fanuel and Prof. Dr. Eng. Fitri Utaminingrum, S.T., M.T and Dr. Eng. Novanto Yudistira, S.Kom., M.Cs, (2025) Pengaruh Lapisan Self-Attention Pada Klasifikasi ResNet dan DenseNet Dalam Mendeteksi Kanker Kolorektal. Magister thesis, Universitas Brawijaya.

Abstract

Kanker kolorektal merupakan sebuah penyakit yang muncul di usus besar/rektum, yang merupakan bagian utama dari usus besar dan bagian akhir dari sistem pencernaan. Kanker ini biasanya berasal dari kumpulan sel jinak yang disebut sebagai polip, yang seiring dengan berjalannya waktu, dapat berkembang menjadi kanker. Deteksi dini untuk kanker kolorektal sangat penting untuk mendapat perawatan yang lebih baik, akan tetapi pendekatan konvensional seperti diagnosis dari hasil kolonoskopi seringkali gagal dalam melakukan identifikasi lesi pada tahap awal, yang disebabkan oleh presentasinya yang samar. Namun, dengan adanya kemajuan dalam pembelajaran mesin, khususnya deep learning, maka hal ini menawarkan peluang yang menjanjikan untuk membantu tenaga medis dalam meningkatkan akurasi diagnosis penyakit kanker kolorektal. Dalam penelitian ini dilakukan evaluasi komprehensif terhadap tiga model deep learning, yaitu ResNet, DenseNet, dan Swin-Transformer yang sudah memiliki lapisan self-attention, dengan fokus kinerja ketiga arsitektur yaitu membedakan berbagai jenis jaringan kolorektal dalam dataset CRC-500. Dataset ini terdiri dari 5000 gambar histologis yang dikategorikan ke dalam delapan kelas yang berbeda, yaitu Tumor, Mucosa, Complex, Lympho, Debris, Adipose, Stroma, dan Empty. Penelitian ini membandingkan kinerja masing – masing model dalam dua konfigurasi, yaitu dengan dan tanpa penambahan lapisan self-attention. Hasil dari penelitian ini menunjukkan bahwa model dengan adanya penambahan selfattention memiliki peningkatan yang signifikan, yang mana model ResNet-50 memperoleh akurasi sebesar 92.13%, ResNet-101 memperoleh akurasi 92.94%, ResNet-152 memperoleh akurasi 92.74%, DenseNet-121 memperoleh akurasi sebesar 94.35%, DenseNet-169 memperoleh akurasi sebesar 94.75%, DenseNet- 201 memperoleh akurasi sebesar 94.95%, dan Swin-Transformer mencapai akurasi 82.05%. Sedangkan, model tanpa tambahan self-attention menunjukkan akurasi yang lebih rendah, adapun hasilnya yaitu, ResNet-50, ResNet-101, dan ResNet-152 memperoleh akurasi 89.51%, DenseNet-121 memperoleh akurasi 93.34%, DenseNet-169 memperoleh akurasi 94.55%, DenseNet-201 memperoleh akurasi 93.34%. Hal ini menyoroti potensi mekanisme self-attention dalam meningkatkan deteksi dini dan pengobatan kanker kolorektal. Dengan adanya penemuan ini, maka integrasi self-attention dengan model sangat penting untuk meningkatkan kinerja model, terutama dalam tugas klasifikasi gambar medis.

English Abstract

Colorectal Cancer is a malignancy that arises in the colon or rectum, key components of the large intestine and the terminal part of the digestive syste. It typically originates from benign cell clusters callsed polyps, which can progress into cancer over time. Early detection is crucial for achieving favorable treatment outcomes, but conventional diagnostic approaches, such as diagnosing from colonoscopy results, often fail to identify early-stage lesions due to their subtle presentation. However, advancements in machine learning, particularly deep learning, offer promising opportunities to assist medical professionals in enhancing the diagnostic accuracy of colorectal cancer. This study provides a comprehensive evaluation of three deep learning models ResNet, DenseNet, and Swin-Transformer, which, by default, incorporates self-attention mechanisms, focusing on their performance in distinguishing between different colorectal tissue types within the CRC-5000 dataset. The dataset comprises 5000 histological images categorized into eight distinct classes: Tumor, Mucosa, Complex, Lympho, Debris, Adipose, Stroma, and Empty. The research compares the performance of each model in two configurations: with and without the addition of self-attention layers. The results are significant, demonstrating that models with the addition of self-attention showed notable improvements. For instance, ResNet-50 achieved an accuracy of 92.13%, ResNet-101 reached 92.94%, and ResNet-152 attained 92.74%. DenseNet-121 achieved 94.35%, DenseNet-169 reached 94.75%, and DenseNet-201 attained 94.95%, while the Swin Transformer achieved an accuracy of 82.05%. Conversely, models without self-attention showed lower accuracy, such as ResNet-50, ResNet-101, and ResNet-152 achieving 89.51%, while DenseNet-121 reached 93.34%, DenseNet-169 attained 94.55%, and DenseNet- 201 achieved 93.34%. These findings underscore the potential of self attention mechanisms to enhance early detection and treatment of colorectal cancer. This emphasizes the importance of integrating self-attention with models to improve their performance, particularly in medical image classification tasks.

Item Type:	Thesis (Magister)
Identification Number:	042515
Uncontrolled Keywords:	DenseNet, Colorectal Cancer, CRC-5000 Dataset, ResNet, SelfAttention, Swin-Transformer
Divisions:	S2/S3 > Magister Ilmu Komputer, Fakultas Ilmu Komputer
Depositing User:	S Sucipto
Date Deposited:	18 Feb 2025 06:38
Last Modified:	18 Feb 2025 06:38
URI:	http://repository.ub.ac.id/id/eprint/237010

Text (DALAM MASA EMBARGO) Yonathan Fanuel Mulyadi.pdf Restricted to Registered users only Download (8MB)

Actions (login required)

View Item