Transformasi Layanan Informasi Berbasis Chatbot Retrieval-Augmented Generation dan Large Language Model

Abstrak

Keterbukaan akses informasi publik diatur dalam Undang-Undang Nomor 14 Tahun 2008 tentang Keterbukaan Informasi Publik sebagai elemen utama untuk mewujudkan transparansi dan tata kelola pemerintahan yang baik. Di Universitas Lampung, Pejabat Pengelola Informasi dan Dokumentasi (PPID) menyediakan berbagai data publik melalui website resminya. Namun, pengguna sering mengalami kesulitan dalam menemukan informasi spesifik akibat tersebarnya dokumenserta keterbatasan fitur pencarian. Untuk mengatasi permasalahan tersebut, dikembangkan chatbot Telegram berbasis kecerdasan buatan menggunakan Large Language Model (LLM) Qwen2.5 VL 72B Instruct yang terintegrasi dengan arsitektur Retrieval Augmented Generation (RAG). Data diambil dari website PPID Universitas Lampung yang selanjutnya disusun menjadi dataset terstruktur sebanyak 375 pasangan pertanyaan–jawaban yang dikurasi dari 47 entri informasi publik. Data tersebut diproses melalui tahap tokenisasi, embedding, serta indexing menggunakan vector database FAISS untuk mendukung pencariansemantik. Evaluasi dilakukan dengan metrik RAGAS (faithfulness, answer relevance, dan context recall) dengan ambang batas minimal 0,8, serta perbandingan performa dengan LLM murni. Hasil pengujian menunjukkan bahwa sistem berhasilmelampaui ambang batas RAGAS dengan rata-rata latensi respons yang sangat rendah yaitu 0,69 detik, serta memiliki akurasi lebih tinggi dibandingkan LLM murni dengan pengurangan signifikan terhadap halusinasi jawaban. Uji kegunaan menggunakan Chatbot Usability Questionnaire (CUQ) menghasilkan skor rata-rata 90,62 yang mengindikasikan pengalaman pengguna yang sangat baik. Penelitian ini menyimpulkan bahwa integrasi LLM dan RAG pada chatbot efektif meningkatkan akurasi, relevansi, dan kemudahan akses informasi publik secara real-time.