vasiliy.ch
← Блог
Ссылка 20 ноября 2026

Pozicijsko kodiranje u LLM-ovima

Читать на: Русский English Srpski

Ссылка · magazine.sebastianraschka.com Understanding Positional Embeddings in Modern LLMs ↗

Kako LLM-ovi razumeju koji token stoji ranije, a koji kasnije? Sami tokeni to ne otkrivaju.

U GPT‑2 vektoru tokena dodavao se vektor njegove pozicije. U originalnom transformeru pozicije su se kodirale pomoću sinusa i kosinusa. Oba načina govore modelu gde se nalazi reč, ali se u savremenim LLM-ovima češće koristi RoPE (Rotary Position Embedding). Rotiranjem vektora tokena koje model međusobno poredi uzima se u obzir rastojanje između tokena. Značenje se čuva i kada se promeni pozicija reči.

Odličan, sjajan lonrid Sebastijana Raške o tome kako ovo funkcioniše.