RAG ile Kurumsal Asistan Kurmak: Kendi Verilerinizle Konuşan Bir Yapay Zeka

Bir süre önce bir müşteriyle toplantıdayken şu soruyu aldım: "ChatGPT'ye şirket içi belgelerimizi öğretebilir miyiz?" Cevap evet — ama doğru mimariyle. İşte tam bu noktada RAG (Retrieval-Augmented Generation / Geri Getirmeli Üretim) devreye giriyor.

RAG Nedir, Ne Değildir?

RAG, bir büyük dil modelini (LLM) doğrudan eğitmek yerine, modelin cevap üretirken dış bir bilgi kaynağından ilgili belgeleri çekip bunları bağlam olarak kullanmasını sağlayan bir mimaridir. Yani modelin ağırlıklarını değiştirmiyorsunuz; sadece ona "şu an konuştuğun kişinin soru sorduğu anda ihtiyaç duyduğu bilgiyi" veriyorsunuz.

Bu, fine-tuning'den temel olarak farklıdır:

• Fine-tuning pahalı, zaman alıcı ve veri seti gerektiren bir süreçtir.
• RAG ise güncellenebilir, denetlenebilir ve çok daha hızlı devreye alınabilir.

Kurumsal Asistan Mimarisi Nasıl Görünür?

Tipik bir RAG tabanlı kurumsal asistanın bileşenleri şöyle sıralanır:

1. Belge Deposu: PDF'ler, Word dosyaları, Confluence sayfaları, Notion veritabanları — tüm kurumsal bilgi birikimi. 2. Chunk & Embed Aşaması: Belgeler anlamlı parçalara (chunk) bölünür ve bir embedding modeli aracılığıyla vektörlere dönüştürülür. 3. Vektör Veritabanı: Üretilen vektörler Pinecone, Weaviate, Qdrant veya pgvector gibi bir vektör DB'ye yazılır. 4. Retriever (Geri Getirici): Kullanıcı sorusu da vektöre dönüştürülür; vektör DB'de en yakın belgeler bulunur. 5. LLM + Prompt: Bulunan belgeler, kullanıcının sorusuyla birlikte modele bağlam olarak verilir. Model bu bağlama dayanarak cevap üretir.

Pratikte Nelere Dikkat Etmeli?

Teoride çok temiz görünen bu mimari, pratikte birkaç kritik noktada tökezleyebilir:

Chunk Stratejisi Önemlidir

Belgeleri nasıl böldüğünüz, sistemin kalitesini doğrudan etkiler. Çok küçük chunk'lar bağlamı yitirir; çok büyükler ise token limitini zorlar. Recursive character splitting veya semantic chunking yaklaşımları genellikle iyi sonuç verir.

Metadata Olmadan Retrieval Kör Gider

Her chunk'a kaynak adı, tarih, departman gibi metadata ekleyin. Hem filtreleme yapmak hem de modelin "bu bilgi 2021'den kalma" demesini sağlamak için şart.

Hybrid Search Kullanın

Sadece vektör benzerliğine güvenmeyin. BM25 gibi klasik anahtar kelime aramasını vektör aramasıyla birleştiren hybrid search, özellikle teknik terimler ve kısaltmalar söz konusu olduğunda çok daha iyi çalışır.

Halüsinasyonu Azaltmak İçin Kaynak Gösterin

Modelin verdiği her cevaba kaynak belge ve bölüm ekleyin. Hem kullanıcı güveni artar hem de yanlış bilgiyi tespit etmek kolaylaşır.

Hangi Araçlarla Başlayabilirsiniz?

• LangChain / LlamaIndex: Hızlı prototipleme için güçlü framework'ler.
• Ollama + yerel LLM: Veri güvenliği kritikse, her şeyi on-premise çalıştırmak mümkün.
• Azure OpenAI + AI Search: Kurumsal ortamlarda entegrasyon kolaylığı sunar.
• Qdrant veya pgvector: Kendi altyapınızda barındırabileceğiniz vektör çözümleri.

Son Söz

RAG, kurumsal bilgiyi gerçekten kullanılabilir hale getirmenin şu an için en pragmatik yolu. Ama bir sihir değil — kaliteli veri, iyi bir chunk stratejisi ve sürekli değerlendirme olmadan sisteminiz yarım kalır. Doğru kurulduğunda ise çalışanlarınızın "Bu bilgi neredeydi?" diye saatlerce harcadığı zamanı geri kazandırır.

Kurumsal asistan projelerinde kullandığınız araçlar veya karşılaştığınız sorunlar varsa yorumlarda buluşalım.