Analisis Implementasi Sistem Penilaian Otomatis Jawaban Singkat Berbahasa Indonesia

Abstrak

Dalam dunia pendidikan, sudah berkembang banyak sekali tipe soal untuk mengukur sejauh mana pemahaman siswa terhadap materi yang sudah diberikan, seperti pilihan ganda, jawaban singkat, uraian, dan lain-lain. Penilaian untuk soal bertipe uraian sering menyita banyak sekali waktu tenaga pendidik. Salah satu solusi untuk mengatasi masalah ini adalah pengembangan sistem penilaian soal uraian otomatis. Sistem ini dikembangkan di berbagai literatur tentang Automatic Essay Scoring dan Automatic Short Answer Grading. Penelitian ini menggunakan model Support Vector Machine (SVM) Multikelas dalam membangun sistem penilaian otomatis. Terdapat beberapa temuan dari hasil penelitian yang sudah dilakukan. Untuk dataset yang digunakan, kombinasi fitur Unigram & Bigram Cosine Similarity, Type-Token Ratio, dan Word Count Ratio diimplementasikan bersama dengan kernel RBF dengan γ = 100 menghasilkan nilai presisi tertinggi pada tahap validasi. Di tahap evaluasi, dengan nilai metrik evaluasi presisi sebesar 0,49 dan RMSE sebesar 2,77, model ini dinilai kurang akurat. Karena, model KNN dan Logistic Regression memiliki nilai metrik evaluasi yang lebih tinggi. Model Logistic Regression lebih direkomendasikan untuk sistem penilaian soal uraian otomatis ini, karena model ini dapat memberikan prediksi yang lebih seimbang dan akurat berdasarkan nilai RMSE yang terendah dan nilai metrik presisi, recall, dan f1-score yang cenderung stabil.