Madde #229LLM & Fine-Tuning/sozluk/frankenmerging
Frankenmerging
Frankenmerging (Layer Stacking)
Türkçe: Frankestein Birleştirme / Katman İstifleme
Ayrıntılı Tanım
Aynı veya benzer modellerin farklı derinliklerdeki katmanlarını alıp ardı ardına uca ekleyerek (örneğin iki adet 7B modelin katmanlarını üst üste koyarak 11B veya 13B model yapmak); sıfır eğitimle daha büyük modeller üretme yöntemidir.
Ne İşe Yarar / Çözülen Problem
Elinizdeki donanım kısıtlıyken sıfırdan büyük model eğitemeseniz bile, hazır katmanları yapboz gibi dizerek daha derin ve kapasiteli modeller denemenizi sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Model A'nın 1-16. katmanları ile Model B'nin 10-32. katmanları bir konfigürasyon dosyasıyla sıralı olarak birbirine bağlanır.
Örnek Senaryo & Pratik Uygulama
İki ayrı arabanın motorunu ve şasisini kesip birbirine kaynak yaparak 8 tekerlekli dev bir canavar kamyonet inşa etmek.
Benzer Terimlerden Farkı
Matematiksel bir ağırlık harmanlaması değil; fiziksel bir katman yapıştırma (Frankenstein) operasyonudur. Katman sınırlarında bazen tutarsızlıklar yaşanabilir.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#228)DARE
Sonraki Terim (#230)Continual Learning