Graph Attention Network (GAT)

Graph Attention Network (Veličković et al., 2018)

Türkçe: Çizge Dikkat Ağı (GAT)

Ayrıntılı Tanım

GCN'in tüm komşulara sabit yapısal katsayılarla yaklaşması kısıtını yıkarak; Transformer'lardaki **Öz-Dikkat (Self-Attention)** mekanizmasını çizgelere uyarlayan ve bir düğümün **hangi komşusuna ne kadar dikkat etmesi gerektiğini dinamik olarak öğrenen** mimaridir.

Ne İşe Yarar / Çözülen Problem

Bir düğümün 100 komşusu olsa bile, sadece o anki görev için en kritik olan 2-3 komşusuna odaklanmasını sağlar; alakasız veya gürültülü kenarları bastırır.

Nasıl Çalışır? (Teknik & Mekanizma)

Düğüm

i

ile komşusu

j

arasındaki dikkat katsayısı

\alpha_{ij}

LeakyReLU ve Softmax ile hesaplanır:

\alpha_{ij} = \frac{\exp\left(\text{LeakyReLU}\left(\vec{a}^T [W h_i \parallel W h_j]\right)\right)}{\sum_{k \in \mathcal{N}_i} \exp\left(\text{LeakyReLU}\left(\vec{a}^T [W h_i \parallel W h_k]\right)\right)}

Multi-Head Attention (çok başlı dikkat) kullanılarak kararlılık artırılır.

Örnek Senaryo & Pratik Uygulama

Bir karar verirken tüm arkadaşlarınıza aynı oranda kulak vermek (GCN) yerine; tıp konusunda doktor arkadaşınıza %80, araba konusunda tamirci arkadaşınıza %80 dikkat kesilmek (GAT).

Benzer Terimlerden Farkı

Komşuluk ağırlıkları çizgenin sabit topolojisinden değil; düğümlerin anlık özniteliklerinin dikkatle çarpışmasından doğar.

İlişkili Terimler (3)

#552

Graph Convolutional Network (GCN)

Çizge Evrişimli Ağı (GCN)

#160

Self-Attention

Öz-Dikkat Mekanizması

#163

Multi-Head Attention (MHA)

Çok Başlı Dikkat Mekanizması

Ait Olduğu Kategori

Grafiksel Modeller, Çizge Sinir Ağları ve Bilgi Çirgeleri

GNN, Graph Convolution, Knowledge Graphs, TransE ve geometrik derin öğrenme.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#552)Graph Convolutional Network (GCN)

Sonraki Terim (#554)Message Passing Neural Network (MPNN)