Sep 11, 2025
MUHAMMAD GHIFARY
Bagi para pengguna Large Language Models (LLM), mungkin hampir semua pernah mengalaminya: bertanya kepada LLM pertanyaan yang tampaknya sederhana, lalu menerima jawaban yang terdengar masuk akal tetapi ternyata salah. Fenomena ini dikenal dengan halusinasi, yang bahkan masih terdapat pada LLM tercanggih saat ini. Berikut contoh pertanyaan sederhana kepada ChatGPT dengan model GPT-5, yang tentu saja memberikan jawaban yang salah!
Sebuah paper dari OpenAI dan Georgia Tech (Kalai et al. 2025) “Why Language Models Hallucinate” membahas secara mendalam akar masalah halusinasi ini. Temuan utama dari penelitian teoretis ini yaitu LLM berhalusinasi karena prosedur pelatihan dan evaluasi lebih memberikan insentif terhadap jawaban tebakan dibandingkan pengakuan ketidakpastian atau ketidaktahuan.
Bayangkan kita sedang menjawab soal pilihan ganda. Ketika kita tidak tahu jawabannya, kita bisa melakukan 2 pilihan: 1) memberi jawaban tebakan dan berharap benar, atau 2) tidak menjawab dan mengakui bahwa kita tidak tahu. Metode pelatihan LLM saat ini memberikan insentif lebih banyak ke pilihan 1 dibandingkan 2 — mungkin bahasa mudahnya, prosedur pelatihannya lebih menghargai AI untuk “sok tahu” dibandingkan mengatakan “saya tidak tahu” 🙂
Mari kita selami lebih dalam.
Studi tersebut menguraikan penyebab halusinasi menjadi 2 tahap utama dalam paradigma pelatihan modern LLM: pra-pelatihan (pre-training) dan pasca-pelatihan (post-training).
Pra-pelatihan merupakan suatu prosedur melatih LLM yang pada umumnya dilakukan dengan cara self-supervised learning dengan memprediksi huruf kata/kalimat/token berikutnya. Prosedur tersebut menghasilkan model dasar bahasa yang mengestimasi statistik distribusi probabilitas kemunculan token berikutnya dari token-token sebelumnya.
Pendekatan tersebut yang sebenarnya menjadi standar baku pada machine learning (meminimalkan cross entropy antara data dan hasil prediksi dari model), ternyata memiliki efek samping. Bahkan jika data latih yang digunakan itu bebas dari kesalahan, tujuan / objektif pelatihan standar tersebut masih berpeluang menimbulkan efek samping halusinasi.
Argumen tersebut diformulasikan secara formal dengan mengaitkannya kepada konsep model klasifikasi biner yang diterapkan untuk mengidentifikasi validitas output dari model — dinamakan dengan (Is-This-Valid) IIV classifier. Secara intuitif, IIV classifier mengerjakan hal-hal seperti di bawah ini:
Menghasilkan IIV classifier dengan error yang kecil bukan perkara yang mudah. Ada kasus yang cukup jelas polanya untuk diklasifikasikan, ada pula kasus-kasus lain yang sulit dibedakan validitasnya karena tidak menunjukkan pola tertentu atau pola yang ambigu. Sebagai contoh, kasus “Birthdays” (no pattern) tidak memiliki pola yang benar-benar membedakan apakah sampel teks output masuk dalam kategori valid vs tidak valid. Kasus semacam ini merupakan fakta arbitrer (arbitrary facts) dimana keterhubungan antar sampel nya memiliki pola yang cenderung acak. Distribusi data / teks bertipe fakta arbitrer inilah yang menjadi salah satu sumber kesalahan IIV classifier yang berasosiasi dengan halusinasi, walaupun informasi pada teks bersifat faktual.
Pada intinya, semakin besar error yang dihasilkan IIV classifier, semakin besar pula kemungkinan LLM berhalusinasi. Pada studi tersebut, ditemukan hubungan yang menarik antara skor kesalahan IIV classifier dengan kesalahan dari hasil luaran LLM. Misalkan $\epsilon_{c} \in \mathbb{R}$ merupakan skor kesalahan (error rate) yang dihasilkan oleh IIV classifier dan $\epsilon_g \in \mathbb{R}$ merupakan skor kesalahan dari luaran LLM, teridentifikasi hubungan matematis yang menarik:
$$ \epsilon_g \gtrsim 2 \cdot \epsilon_c $$
Kajian teoritis mengindikasikan bahwa diperlukan suatu prosedur yang dapat menurunkan $\epsilon_c$ baik secara langsung maupun tidak langsung untuk mengurangi halusinasi. Dapat disimpulkan pula bahwa apapun yang berkontribusi terhadap tingginya nilai $\epsilon_c$ selain fakta arbitrer juga merupakan penyebab halusinasi, seperti performa model IIV yang buruk (poor model), kompleksitas komputasi, pergeseran distribusi data latih vs data lapangan, dan GIGO (Garbage In, Garbage Out).