Sistem Tanya Jawab Layanan Adminduk dengan Retrieval Augmented Generation Komodo-7B

Abstract

Pesatnya transformasi digital di Indonesia mendorong pemerintah untuk terus berinovasi dalam meningkatkan kualitas layanan publik, termasuk di bidang administrasi kependudukan. Dinas Kependudukan dan Pencatatan Sipil (Disdukcapil) Kota Surabaya sebagai salah satu penyedia layanan kependudukan, menghadapi tantangan dalam menjawab kebutuhan masyarakat akan layanan yang cepat, responsif, dan tersedia di luar jam operasional. Dalam rangka meningkatkan kualitas layanan, penelitian ini mengembangkan sistem Question Answering (QA) berbasis Large Language Model (LLM) untuk menjawab pertanyaan seputar layanan Kartu Tanda Penduduk (KTP) dan Kartu Keluarga (KK). Sistem dirancang dengan memanfaatkan model LLM Komodo-7B yang telah disesuaikan menggunakan teknik fine-tuning Quantized Low-Rank Adaptation (QloRA) dan pendekatan Retrieval Augmented Generation (RAG) guna meningkatkan akurasi dan relevansi jawaban. Data pelatihan mencakup dataset pengaduan-pertanyaan Disdukcapil Kota Surabaya dan empat data open source. Proses RAG menggunakan vektorisasi kalimat dengan sentence transformer dan pemanggilan konteks berbasis cosine similarity. Evaluasi dilakukan menggunakan metrik ROUGE-1, ROUGE-L, dan METEOR. Hasil evaluasi RAG fine-tuning Komodo-7B didapatkan F1-Score ROUGE-1 mencapai 0.1243, ROUGE-L 0.0854, dan skor METEOR 0.2013.