LLM punya dua kelemahan besar untuk pemakaian bisnis: ia tidak tahu data internal kamu (dokumen, produk, kebijakan perusahaan), dan ia kadang mengarang jawaban dengan percaya diri (halusinasi). Retrieval-Augmented Generation (RAG) adalah pola arsitektur yang memecahkan keduanya sekaligus.

Ide Dasarnya Sederhana

Daripada berharap LLM "mengingat" semua data, RAG mencari dulu dokumen yang relevan dari basis pengetahuanmu, lalu menyuntikkannya ke dalam prompt sebelum AI menjawab. AI menjawab berdasarkan dokumen itu, bukan tebakan.

Pertanyaan user
   ↓
Cari dokumen relevan (vector search)
   ↓
Suntik dokumen ke prompt
   ↓
LLM menjawab berdasarkan konteks
   ↓
Jawaban + sumber

Komponen yang Kamu Butuhkan

1. Embedding

Dokumen diubah menjadi vektor angka yang menangkap maknanya. Dokumen dengan makna mirip akan punya vektor yang berdekatan. Model embedding inilah yang membuat pencarian "berdasarkan makna", bukan sekadar kata kunci.

2. Vector Database

Tempat menyimpan vektor dan mencarinya dengan cepat. Pilihan populer termasuk pgvector (ekstensi PostgreSQL), Pinecone, Qdrant, dan Weaviate. Buat developer Laravel, pgvector menarik karena tetap di dalam PostgreSQL yang sudah kamu pakai.

3. Chunking

Dokumen panjang dipecah menjadi potongan kecil sebelum di-embed. Ukuran chunk berpengaruh besar — terlalu besar membuat konteks tidak fokus, terlalu kecil kehilangan makna. Mulai dari 500–800 token per chunk dengan sedikit overlap.

Tips dari Lapangan

  • Selalu tampilkan sumber. Tunjukkan dokumen mana yang dipakai. Ini membangun kepercayaan dan memudahkan verifikasi.
  • Kualitas data > kecanggihan model. RAG dengan dokumen berantakan tetap menghasilkan jawaban berantakan.
  • Evaluasi retrieval terpisah. Kalau jawaban salah, cek dulu: apakah dokumen yang diambil sudah benar? Sering masalahnya di retrieval, bukan di LLM.

Kapan Pakai RAG?

RAG cocok untuk: customer support berbasis dokumentasi, pencarian internal perusahaan, asisten yang menjawab dari knowledge base, dan chatbot produk. Kalau kebutuhanmu adalah AI yang menjawab dari data spesifik dan terus berubah, RAG hampir selalu jawaban yang lebih murah dan praktis dibanding fine-tuning model.

Kesimpulan

RAG adalah salah satu pola paling penting di era AI aplikatif. Ia membuat AI relevan dengan datamu, mengurangi halusinasi, dan bisa diperbarui hanya dengan menambah dokumen — tanpa melatih ulang model. Untuk kebanyakan kasus bisnis Indonesia, RAG adalah titik awal yang tepat sebelum memikirkan hal yang lebih rumit.