Self-Instruct

Self-Instruct (Wang et al., 2022)

Türkçe: Kendi Kendine Talimat Üretimi

Ayrıntılı Tanım

Dil modelinin, kendisine verilen bir avuç (örneğin 175 adet) tohum insan talimatından yola çıkarak; kendi kendine yüz binlerce yeni talimat, girdi ve yanıt senaryosu türetip kendi kendini eğittiği sentetik veri çerçevesidir.

Ne İşe Yarar / Çözülen Problem

İnsanlara talimat veri seti yazdırmanın aylar süren ve yüz binlerce dolar tutan maliyetini birkaç saatlik API çağrısına indirir (Stanford Alpaca bu yolla doğdu).

Nasıl Çalışır? (Teknik & Mekanizma)

1. Tohum havuzundan rastgele 8 görev seçilir. 2. Modelden yeni bir görev ve çözüm üretmesi istenir. 3. Üretilen görev benzerlik filtrelerinden geçirilir; yeniyse havuza eklenir. Döngü tekrarlanır.

Örnek Senaryo & Pratik Uygulama

Bir yazarın elindeki birkaç örnek soru kalıbına bakıp kütüphaneye kapanarak tek başına 50 bin soruluk devasa bir soru bankası yazması.

Benzer Terimlerden Farkı

İnsan emeğini neredeyse sıfıra indirir; modelin kendi üretken potansiyelini eğitim yakıtına çevirir.

İlişkili Terimler (3)

Evrimsel Talimat Üretimi

#209