Membangun Sistem RAG yang Benar-Benar Bekerja

Retrieval-Augmented Generation (RAG) kini menjadi pola standar untuk menghubungkan model bahasa dengan pengetahuan organisasi. Namun kebanyakan implementasi gagal secara diam-diam — lolos demo, lalu hancur di produksi. Inilah yang benar-benar penting.

Chunking adalah 80% dari pekerjaan

Kesalahan paling umum adalah menganggap chunking sebagai hal sepele. Jika chunk terlalu besar, retriever mengembalikan konteks yang membengkak dan LLM kehilangan informasi utama. Jika terlalu kecil, koherensi hilang.

Yang bekerja:

• Chunking semantik, bukan window ukuran tetap
• Pertahankan batas paragraf — jangan potong di tengah kalimat
• Overlap 10–15% antar chunk untuk menjaga konteks di batas
• Untuk data terstruktur (tabel, formulir), ekstrak dan indeks secara terpisah

Kualitas retrieval > kualitas model

Mengganti GPT-3.5 dengan GPT-4 di atas retriever yang buruk tidak akan memperbaiki jawaban Anda. Investasikan di retrieval terlebih dahulu:

• Hybrid search (vektor dense + BM25 keyword) secara konsisten mengalahkan keduanya sendiri
• Re-ranking dengan cross-encoder setelah retrieval awal mempersempit kandidat
• Selalu evaluasi kualitas retrieval dengan golden set sebelum mengevaluasi kualitas jawaban

Grounding dan sitasi

Sistem RAG tanpa sitasi adalah risiko halusinasi. Paksa model untuk mengutip sumber:

Jawab hanya dari konteks yang diberikan. Jika konteks tidak cukup untuk menjawab, 
katakan demikian. Kutip dokumen sumber untuk setiap klaim.

Investasi dalam struktur sitasi terbayar dengan kepercayaan pengguna dan kemudahan debug.

Kapan harus menggunakan RAG

RAG adalah alat yang tepat ketika korpus berubah sering dan fine-tuning terlalu mahal untuk dijalankan setiap siklus pembaruan. Untuk basis pengetahuan statis yang berubah setiap kuartal, fine-tuning sering lebih murah dan memberikan akurasi lebih baik. Evaluasi keduanya sebelum memutuskan.