Madde #351RAG & Vektör/sozluk/product-quantization-pq
Product Quantization (PQ)
Product Quantization (Jégou et al., 2011)
Türkçe: Çarpım Kuantalaması
Ayrıntılı Tanım
Yüksek boyutlu büyük vektörleri (örneğin 1536 boyutlu FP32 vektörleri) küçük alt vektörlere bölüp, her alt vektörü önceden belirlenmiş kod defterindeki (codebook) en yakın küme merkezinin bayt indeksiyle temsil ederek **bellek boyutunu %95'e varan oranda sıkıştıran** yöntemdir.
Ne İşe Yarar / Çözülen Problem
Milyarlarca vektörün kapladığı yüzlerce gigabaytlık VRAM/RAM maliyetini birkaç gigabayta düşürerek devasa indekslerin tek bir sunucuda barınmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
1024 boyutlu bir vektör 8 adet 128 boyutlu alt parçaya bölünür. Her parça için 256 merkezli küçük bir K-Means işletilir. 128 sayılık kayan noktalı blok yerine sadece 1 baytlık () bir tamsayı ID saklanır. Vektör 4096 bayttan 8 bayta düşer.
Örnek Senaryo & Pratik Uygulama
16 milyon renkten oluşan yüksek çözünürlüklü bir fotoğrafı, sadece en temel 256 rengin bulunduğu küçük bir paletle yeniden kodlayarak dosya boyutunu küçültmek.
Benzer Terimlerden Farkı
Bir indeks arama algoritması değil; vektörleri bellekte küçülten kayıplı bir sıkıştırma (compression) teknolojisidir (genellikle IVF-PQ olarak birlikte kullanılır).
İlişkili Terimler (2)
Bilgi Erişimi, RAG ve Vektör Veritabanları
Dense/Sparse retrieval, Vektör indeksleme (HNSW), Rerankers ve RAG pipeline.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#350)Inverted File Index (IVF)
Sonraki Terim (#352)Scalar Quantization (SQ)