Ollama

Ollama (Get up and running with large language models locally)

Türkçe: Ollama Yerel Model Yöneticisi

Ayrıntılı Tanım

Arka planda `llama.cpp` motorunu kullanan; karmaşık terminal komutları, sürücü ayarları ve kuantalama dosyalarıyla uğraşmadan tek bir komutla (`ollama run llama3`) büyük dil modellerini kişisel bilgisayarlarda yerel olarak çalıştırmayı sağlayan popüler yazılımdır.

Ne İşe Yarar / Çözülen Problem

Yapay zekâ modellerini yerel bilgisayarda çalıştırmanın getirdiği tüm teknik kurulum bariyerlerini yıkar; Docker benzeri bir sadelikle modellerin indirilmesini, güncellenmesini ve yerel API olarak sunulmasını sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

GGUF formatındaki modelleri otomatik olarak kendi kütüphanesinden çeker. Sistemdeki CPU, RAM ve GPU (CUDA veya Apple Metal) kaynaklarını anında algılar ve katmanları donanıma en uygun şekilde paylaştırarak yerel bir REST API ayağa kaldırır.

Örnek Senaryo & Pratik Uygulama

Kullanıcının terminale sadece `ollama run mistral` yazması ve 3 saniye sonra terminal ekranında modelle canlı sohbete başlaması.

Benzer Terimlerden Farkı

Ham bir çıkarım kütüphanesi değil; son kullanıcıya ve geliştiriciye hitap eden eksiksiz bir model paketleme ve yönetim arayüzüdür.

İlişkili Terimler (1)

#403

GGUF (GPT-Generated Unified Format)

GGUF Dosya Formatı

Ait Olduğu Kategori

Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#418)TensorRT-LLM

Sonraki Terim (#420)LM Studio