vasiliy.ch
← Блог
Ссылка 20 ноября 2026 · 1 прочтение

Позиционное кодирование в LLM

Читать на: Русский English Srpski

Ссылка · magazine.sebastianraschka.com Understanding Positional Embeddings in Modern LLMs ↗

Как LLM понимают, какой токен стоит раньше, а какой — позже? Сами по себе токены этого не подсказывают.

В GPT‑2 к вектору токена прибавляли вектор его позиции. В оригинальном трансформере позиции кодировали с помощью синуса и косинуса. Оба способа сообщают модели, где находится слово, но в современных LLM чаще используют RoPE (Rotary Position Embedding). Поворачивая векторы токенов, которые модель сравнивает друг с другом, учитывается расстояние между токенами. Значение сохраняется и при изменении позиции слов.

Шедевральный лонгрид от Себастьяна Рашка о том, как это работает.