Kako LLM-ovi razumeju koji token stoji ranije, a koji kasnije? Sami tokeni to ne otkrivaju.
U GPT‑2 vektoru tokena dodavao se vektor njegove pozicije. U originalnom transformeru pozicije su se kodirale pomoću sinusa i kosinusa. Oba načina govore modelu gde se nalazi reč, ali se u savremenim LLM-ovima češće koristi RoPE (Rotary Position Embedding). Rotiranjem vektora tokena koje model međusobno poredi uzima se u obzir rastojanje između tokena. Značenje se čuva i kada se promeni pozicija reči.
Odličan, sjajan lonrid Sebastijana Raške o tome kako ovo funkcioniše.