Penerapan Retrieval-Augmented Generation untuk Pembuatan Soal Pilihan Ganda dari Materi Berbasis PDF

Abstract

Pembuatan soal pilihan ganda merupakan bagian penting dalam evaluasi pembelajaran, namun penyusunannya masih memerlukan waktu dan konsistensi yang tinggi. Pemanfaatan Large Language Model (LLM) membuka peluang otomatisasi, tetapi generasi soal tanpa konteks dokumen sering menghasilkan soal yang kurang relevan terhadap materi sumber. Penelitian ini menerapkan pendekatan Retrieval-Augmented Generation (RAG) untuk menghasilkan soal pilihan ganda secara otomatis dari dokumen pembelajaran berformat PDF. Metode yang digunakan meliputi ekstraksi teks dokumen, chunking teks, pembentukan embedding, penyimpanan vektor, mekanisme retrieval berbasis kemiripan semantik, serta generasi soal menggunakan model GPT-4o-mini. Dataset terdiri dari dokumen buku teks SMA/SMK kelas XI dari beberapa mata pelajaran. Evaluasi dilakukan menggunakan metrik ROUGE untuk mengukur kesesuaian konten antara soal hasil generasi dan soal referensi. Hasil evaluasi menunjukkan nilai ROUGE-1 sebesar 0,78, ROUGE-2 sebesar 0,63, dan ROUGE-L sebesar 0,78, yang mengindikasikan bahwa sistem mampu menghasilkan soal dengan tingkat relevansi dan kesesuaian konteks yang baik terhadap materi sumber. Temuan ini menunjukkan bahwa pendekatan RAG efektif dalam menjaga keterikatan konteks dan meningkatkan kualitas generasi soal otomatis berbasis dokumen pembelajaran.

Kata kunci: Retrieval-Augmented Generation; Generasi Soal Otomatis; Large Language Model;  ROUGE;  PDF