Как LLM понимают, какой токен стоит раньше, а какой — позже? Сами по себе токены этого не подсказывают.
В GPT‑2 к вектору токена прибавляли вектор его позиции. В оригинальном трансформере позиции кодировали с помощью синуса и косинуса. Оба способа сообщают модели, где находится слово, но в современных LLM чаще используют RoPE (Rotary Position Embedding). Поворачивая векторы токенов, которые модель сравнивает друг с другом, учитывается расстояние между токенами. Значение сохраняется и при изменении позиции слов.
Шедевральный лонгрид от Себастьяна Рашка о том, как это работает.