Что такое токен (Token)

Определение

Токен это единица, которой языковая модель читает и пишет: короткое слово, кусок длинного слова, число, пробел или знак препинания. Перед тем как модель увидит текст, токенизатор (tokenizer) делит его на токены, а ответ модель пишет по одному токену. Токены измеряют две вещи: сколько помещается в контекстное окно модели и сколько расходует запрос на тарифе с оплатой за использование. Один и тот же текст на разных языках занимает разное число токенов, и сколько именно, зависит от токенизатора.

Почему это важно

В примере, измеренном для этой страницы, шесть строк правил заняли 63 токена на английском, 86 на иврите и 82 на русском с современным токенизатором, а со старым 205 и 136. Старая статья об иврите и ИИ может приводить разрыв, который новые токенизаторы сократили.

Напрямую связано: Контекстное окно (Context Window), LLM (большая языковая модель), Инференс (Inference).

Советы по улучшению

• Проверьте длинный документ счётчиком токенов, прежде чем вставлять его, особенно на иврите или по-русски.
• Держите постоянные инструкции короткими: они читаются и считаются с каждым вопросом.
• Просите ответ нужной длины: токены ответа тоже считаются.
• Следите за расходом в автоматических сценариях, где одно сообщение клиента может запускать несколько обращений к модели.

Частые ошибки

• Применять к ивриту английское правило: в измеренном абзаце на английском вышло в среднем около 4,2 символа на токен, на иврите около 2,6.
• Путать два лимита: запрос длиннее контекстного окна модель видит не целиком, а ответ, который упёрся в лимит вывода, обрывается.
• Путать токен в ИИ с криптотокеном или с ключом доступа к API.