Madde #362RAG & Vektör/sozluk/long-context-llms-vs-rag
Long-Context LLMs vs. RAG
Long-Context Language Models versus Retrieval-Augmented Generation
Türkçe: Uzun Bağlamlı LLM'ler ve RAG Karşılaştırması
Ayrıntılı Tanım
Milyonlarca token okuyabilen dev modeller (Gemini 1.5 Pro) ile harici veritabanından dinamik parça çeken RAG mimarileri arasındaki maliyet, hız, doğruluk ve kullanım senaryosu takasını (trade-off) inceleyen modern yapay zekâ ikilemidir.
Ne İşe Yarar / Çözülen Problem
Bir yapay zekâ projesinde tüm dokümanları doğrudan modelin bağlam penceresine mi doldurmalıyız, yoksa bir RAG altyapısı mı kurmalıyız sorusunun mühendislik kararını verir.
Nasıl Çalışır? (Teknik & Mekanizma)
* **Uzun Bağlam:** Tüm veriyi doğrudan alır; bağlam içi öğrenme (in-context) mükemmeldir ancak her sorguda milyonlarca tokenı tekrar okumak çok yavaş ve aşırı maliyetlidir.
* **RAG:** Sadece ilgili 3 sayfayı çeker; ultra ucuz, çok hızlı ve güncellenmesi anlıktır ancak arama motorunun yanlış parça getirme riski vardır.
Örnek Senaryo & Pratik Uygulama
Bir mahkeme duruşması: Bir avukatın duruşma salonuna 10 bin ciltlik tüm kütüphaneyi kamyonla getirmesi (Uzun Bağlam) vs. Avukatın sadece o davayla ilgili 2 emsal karar dosyasını çantasına koyup getirmesi (RAG).
Benzer Terimlerden Farkı
Birbirinin düşmanı değillerdir; geleceğin en iyi sistemleri ikisini birleştiren hibrit yapılardır (RAG ile 100 sayfa çekip uzun bağlamlı modelde sentezlemek).
İlişkili Terimler (3)
Bilgi Erişimi, RAG ve Vektör Veritabanları
Dense/Sparse retrieval, Vektör indeksleme (HNSW), Rerankers ve RAG pipeline.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#361)Context Window Extension
Sonraki Terim (#363)Reasoning (Akıl Yürütme)