Analisis Efektivitas Fusi Fitur Multimodal dalam Klasifikasi Citra Daun Herbal

Abstrak

Penelitian ini bertujuan untuk mengevaluasi performa model klasifikasi citra daun herbal berdasarkan strategi fusi fitur yang menggabungkan representasi bentuk, tekstur, dan semantik. Tiga metode ekstraksi fitur digunakan: Histogram of Oriented Gradients (HOG) untuk bentuk, Gabor Filter untuk tekstur, dan Convolutional Neural Network (CNN) berbasis MobileNetV2 untuk semantik. Setiap jenis fitur diuji menggunakan tiga algoritma klasifikasi, yaitu Support Vector Machine (SVM), K-Nearest Neighbors (KNN), dan Random Forest (RF). Hasil eksperimen menunjukkan bahwa fitur CNN secara konsisten menghasilkan akurasi dan F1-score tertinggi, mencapai 91,0% pada kombinasi CNN+SVM. Sebaliknya, fitur HOG dan Gabor memberikan hasil yang jauh lebih rendah. Penggabungan fitur melalui fusi (HOG+CNN, HOG+Gabor+CNN) justru menurunkan performa secara signifikan, disebabkan oleh dominasi dimensi tinggi HOG yang mengarah pada fenomena curse of dimensionality. Analisis confusion matrix dan kurva ROC menunjukkan bahwa model berbasis CNN memiliki separabilitas antar kelas yang tinggi, sementara fusi dengan HOG menghasilkan prediksi acak pada beberapa kelas. Hasil ini menunjukkan bahwa pendekatan fusi fitur tidak selalu memberikan peningkatan performa, terutama tanpa strategi pengendalian skala dan reduksi dimensi. Penelitian ini merekomendasikan penggunaan fitur CNN tunggal untuk aplikasi klasifikasi citra daun yang efisien dan akurat, serta membuka peluang eksplorasi strategi fusi berbasis bobot atau integrasi multimodal dalam penelitian mendatang.