Figyelem (attention) mechanizmusok haladó magyarázata: típusok, tradeoffok, és mikor melyiket érdemes használni

Az attention egy tanulható módszer arra, hogy a modell eldöntse: „mi számít most igazán”. Ahelyett, hogy minden tokent ugyanúgy kezelne, súlyokat rendel hozzájuk, így a releváns kontextusra fókuszál és kiszűri a zajt.

A Transformerben az attention nem egyetlen funkció, hanem mechanizmusok családja. Azért vannak különböző típusok, mert nem ugyanaz az optimális megoldás minden szekvenciahosszra, hardverre vagy feladatra.

A legtöbb modern attention Query (Q), Key (K) és Value (V) köré épül. A Query azt jelenti: mit keres a modell. A Key azt: mit „kínál” egy token. A Value pedig az a tartalom, amit összegzünk, ha a token releváns.

A modell kiszámolja a hasonlóságot Q és K között, ebből súlyokat képez (jellemzően softmax-szal), majd a V-k súlyozott összegét adja ki. Ez lesz a kontextus-érzékeny reprezentáció.

Scaled Dot-Product Attention:

pontszám = (Q · K^T) / sqrt(d_k)
súlyok   = softmax(pontszám)
kimenet  = súlyok · V

- d_k: a key dimenzió
- a softmax miatt a súlyok összege 1

Self-attention esetén Q, K és V ugyanabból a szekvenciából jön. Ez segít összekapcsolni a tokeneket egy bemeneten belül (mondat, beszélgetés, kódfájl).

Cross-attention esetén a Q egyik szekvenciából jön, a K és V pedig egy másikból. Tipikus encoder–decoder modelleknél (fordítás), vagy RAG rendszereknél, amikor a modell külső dokumentumokra figyel.

1. Self-attention: kapcsolatok a bemeneten belül
2. Cross-attention: külső/elkülönített kontextus kontrollált használata
3. Gyakorlatban: cross-attention jó eszköz „bizonyíték” beemelésére

Az autoregresszív LLM-ek (chat modellek) causal attentiont használnak: a tokenek csak a korábbi tokenekre figyelhetnek, a jövőre nem. Így a modell valóban lépésenként tud generálni.

A causal maszk szabály, nem trükk. Ez az oka annak is, hogy a hosszú kontextus drága: minden új token az összes korábbi tokenre figyel.

A multi-head attention több részre bontja a reprezentációt. A fejek specializálódhatnak: egyik a szintaxisra, másik a coreference-re, másik hosszú távú függésekre, stb.

Mérnöki szempontból ez robusztusságot ad, viszont drága KV cache memóriában. Emiatt jöttek később olyan változatok, amelyek csökkentik a KV költséget.

Produkcióban sokszor a KV cache mérete a fő költség, különösen hosszú kontextusnál. A Multi-Query Attention (MQA) és Grouped-Query Attention (GQA) ezt csökkenti.

• MHA: minden fejnek saját K és V (jobb minőség, nagy memória).
• MQA: sok query-fej osztozik egy K/V készleten (nagyon hatékony, néha minőségvesztés).
• GQA: kompromisszum—csoportos megosztás (gyakran a legjobb balance produkcióra).

A teljes attention N² skálázódású. A sparse attention csökkenti a számítást azzal, hogy korlátozza, mely token melyikre figyelhet.

A minták lehetnek lokális ablakok, stride, blokkok vagy tanult routing. A kockázat: ha a releváns információ kívül esik a mintán, a minőség romlik.

1. Lokális/windowed: olcsó, de kihagyhat globális infót
2. Block-sparse: hardverbarát, struktúrált
3. Tanult sparsity: rugalmas, de nehezebb hangolni és debugolni

A lineáris attention célja, hogy elkerülje az N×N mátrixot. Ehhez olyan átalakítást használ, ami közelíti a softmax viselkedést, de közelebb van a lineáris skálázáshoz.

Cserébe approximációs kockázatot kapsz. Bizonyos feladatoknál kiváló, de nem mindig hozza a standard softmax attention univerzalitását.

Ha túl nagy a kontextus, a megoldás nem mindig a „még hosszabb prompt”. Inkább retrieval: releváns dokumentumok visszakeresése és bizonyítékként való beemelése.

A jó RAG rendszer kulcsa: chunkolás, embeddingek, rerank, idézetelés, és refusal szabályok, ha nincs bizonyíték.

Ugyanaz az attention matematika eltérő sebességet adhat attól függően, hogyan van implementálva GPU-n. A FlashAttention-szerű megoldások csökkentik a memória műveleteket és javítják a kihasználtságot.

Produkcióban gyakran nem a FLOPs a szűk keresztmetszet, hanem a memória-hozzáférés és a cache viselkedés.

A legegyszerűbb megoldást válaszd, ami elég. A komplexitás költség: több hibamód, hosszabb debug, több karbantartás.

• Rövid kontextus + max minőség: standard MHA (vagy amit a modell ad).
• Hosszú kontextusú chat skálán: GQA + hatékony attention kernel előnyös.
• Dokumentum-alapú asszisztens: a RAG pipeline + eval a legfontosabb.
• Extrém hossz: sparse/long-context architektúrák, de számolj regressziókkal.

Attention-jellegű hibák: utasítások „elfelejtése”, long-context recall bukás, rossz coreference, és citation drift. Evals nélkül ez csak ügyfeleknél derül ki.

Egy jó eval csomag tartalmaz: hosszú kontextusú visszahívás teszteket, grounding ellenőrzést, instruction hierarchy teszteket, és „bait” promptokat, amik előhozzák a figyelem összeomlását.