Что такое LLM (большая языковая модель)

Определение

LLM, большая языковая модель, это модель, обученная на огромном объёме текстов предсказывать, что будет дальше в написанном. Получив промпт, она пишет ответ по одному токену, то есть слову или куску слова, каждый раз выбирая вероятное продолжение. Поэтому она бегло пишет на многих языках, в том числе по-русски и на иврите, и поэтому же может звучать убедительно и ошибаться. LLM знает только тексты, на которых обучена, до определённой даты, если инструмент вокруг неё не ищет в интернете и не читает ваши файлы. ChatGPT, Claude, Copilot и Gemini это примеры продуктов, построенных на LLM.

Почему это важно

Если знать, что она предсказывает вероятный текст, понятны и её сила, и главный риск: гладкий ответ не значит проверенный. Отсюда и решение: дайте ей ваши факты и проверяйте всё, что уходит клиентам.

Напрямую связано: Токен (Token), Контекстное окно (Context Window), Галлюцинация ИИ (AI Hallucination).

Советы по улучшению

• Давайте модели нужные факты в промпте или в приложенных документах, а не полагайтесь на то, что она выучила при обучении.
• Если ответ уйдёт клиенту, просите короткий ответ с источником каждого факта.
• Проверьте в настройках данных вашего тарифа, могут ли ваши переписки пойти на обучение будущих моделей.
• Прежде чем сменить модель или инструмент, проверьте его на десяти вопросах, которые реально задают ваши клиенты.

Частые ошибки

• Считать, что модель знает сегодняшние новости, ваши цены или часы работы, хотя их ей не давали.
• Вставлять в общедоступный инструмент ИИ номера удостоверений личности клиентов, медицинские данные или данные банковских карт.
• Относиться к модели так, будто она понимает бизнес, хотя она предсказывает текст по закономерностям.