Что такое контекстное окно (Context Window)

Определение

Контекстное окно это предел того, сколько текста языковая модель может учесть за одно обращение, и измеряется он в токенах. В него входит всё: скрытые инструкции инструмента, ваш промпт, приложенные файлы, переписка до этого момента и ответ, который пишется. Памяти между обращениями у модели нет, поэтому приложение с каждым сообщением отправляет переписку заново. Когда переписка перерастает окно, приложение решает, что оставить за бортом: одни отбрасывают самые старые сообщения, другие их пересказывают, третьи отказываются продолжать. Что не отправлено, модель не видит.

Почему это важно

И почему больше не всегда лучше: исследование 2024 года показало, что информацию из середины длинного текста модели используют хуже, чем из начала или конца, так что сфокусированный запрос часто выигрывает у полного.

Напрямую связано: Токен (Token), LLM (большая языковая модель), Промпт (Prompt).

Советы по улучшению

• Закрепите факты, которые должны пережить длинную переписку, например абонемент и ограничения клиента, в короткой заметке, которая уходит с каждым сообщением.
• Если документы не помещаются, отправляйте только нужные для вопроса фрагменты, как это делает RAG, а не целые файлы.
• Ставьте вопрос и главную инструкцию в начало или конец длинного текста, а не в середину.
• Для новой темы начинайте новый чат с коротким резюме того, что ещё важно.

Частые ошибки

• Заполнять окно целыми файлами, когда вопросу нужен один фрагмент: ответ становится медленнее и менее точным.
• Считать, что окно побольше значит ответы получше, хотя середина длинного текста по-прежнему используется хуже.
• Вставлять в общедоступный инструмент целые договоры или истории клиентов с личными данными только потому, что они помещаются.