Madde #403Kuantalama & Dağıtım/sozluk/gguf-gpt-generated-unified-format
GGUF (GPT-Generated Unified Format)
GPT-Generated Unified Format (llama.cpp)
Türkçe: GGUF Dosya Formatı
Ayrıntılı Tanım
Georgi Gerganov ve açık kaynak topluluğu tarafından geliştirilen; modelin tüm ağırlıklarını, kuantalama parametrelerini ve gerekli tüm üst verilerini (metadata) **tek bir dosya halinde paketleyen** ve CPU/RAM üzerinde doğrudan çalışabilen devrimci dosya formatıdır.
Ne İşe Yarar / Çözülen Problem
Eski GGML formatının uyumluluk ve genişletilebilirlik sorunlarını çözmüştür; pahalı GPU'su olmayan sıradan kullanıcıların Mac, Windows ve Linux bilgisayarlarda tam yerel LLM çalıştırmasını sağlamıştır (Ollama'nın kalbidir).
Nasıl Çalışır? (Teknik & Mekanizma)
İkili (binary) bir formattır. Model mimarisi, tokenizer sözlüğü ve kuantalanmış tensörler tek bir dosyadadır. `mmap` (bellek eşleme) kullanarak modeli RAM'e kopyalamadan diskten doğrudan sıfır kopyayla (zero-copy) okur.
Örnek Senaryo & Pratik Uygulama
Bir bilgisayar oyununu kurmak için 50 farklı dosya ve sürücüyle uğraşmak yerine; tek bir `.exe` veya `.dmg` dosyasına çift tıklayıp oyunu anında başlatmak.
Benzer Terimlerden Farkı
PyTorch `.bin` veya Safetensors dosyaları sadece ağırlıkları tutar ve çalıştırmak için Python ortamı ister; GGUF ise C++ tabanlı saf çalıştırılabilir tam bir ekosistem paketidir.
İlişkili Terimler (2)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#402)Knowledge Distillation
Sonraki Terim (#404)MLX