ARC-AGI Benchmark (Chollet)

Abstraction and Reasoning Corpus for AGI (François Chollet, 2019)

Türkçe: AGI İçin Soyutlama ve Akıl Yürütme Kıyaslaması

Ayrıntılı Tanım

Ezberlenmiş internet bilgisine ve dile tamamen kapalı olan; renkli ızgaralar üzerinde daha önce hiç görülmemiş soyut görsel bulmacaları sadece birkaç örnekten genel fizik ve simetri kurallarını kavrayarak çözmeyi zorunlu kılan **en saf AGI testidir**.

Ne İşe Yarar / Çözülen Problem

LLM'lerin internetteki trilyonlarca kelimeyi ezberleyerek zekiymiş gibi görünmesi illüzyonunu yıkar; modelin gerçek anlamda sıfırdan "yeni durumlara uyum sağlama (adaptasyon)" yeteneğini ölçer.

Nasıl Çalışır? (Teknik & Mekanizma)

Kullanıcıya 3 adet girdi-çıktı ızgara dönüşümü verilir (örneğin mavi karelerin etrafına kırmızı çerçeve çizme kuralı). Model bu kuralı soyutlayıp 4. test ızgarasını sıfırdan kendisi boyamak zorundadır. İnsanlar %85 çözerken, geleneksel LLM'ler %20-30'larda sürünür.

Örnek Senaryo & Pratik Uygulama

Bir IQ testindeki renkli şekil ve döndürme bulmacaları: Ne dil bilir, ne tarih, ne formül; sadece saf geometrik akıl yürütme.

Benzer Terimlerden Farkı

MMLU ve GSM8K bilgi ve ezber içerir; ARC-AGI ise sadece saf tümevarımsal soyutlama kapasitesini test eder.

İlişkili Terimler (3)

#576

Artificial General Intelligence (AGI)

Yapay Genel Zekâ (YGZ)

#430

Benchmarking

Kıyaslama Testleri / Karşılaştırmalı Değerlendirme

#363