Что такое галлюцинация ИИ (AI Hallucination)

Определение

Галлюцинация ИИ это текст, который языковая модель выдаёт неверным или выдуманным, но звучащим как правда: несуществующие цена, часы работы, правило, норма закона, статистика, цитата, источник или ссылка, написанные тем же уверенным тоном, что и верные части ответа. Так происходит потому, что модель устроена выдавать вероятный текст, а не проверять факты. Исследователи OpenAI в 2025 году доказывали, что привычные обучение и оценка поощряют уверенную догадку больше, чем «я не знаю», как экзамен, где за пустой ответ не дают баллов, поощряет угадывание. В профиле генеративного ИИ от NIST 2024 года тот же риск назван конфабуляцией (confabulation).

Почему это важно

Отключить галлюцинации нельзя. Их становится меньше, когда модель отвечает по вашим документам и когда действует правило: всё, что уходит клиенту, проверяет человек.

Напрямую связано: RAG (генерация с дополнением поиском), LLM (большая языковая модель), Промпт (Prompt).

Советы по улучшению

• Дайте инструменту ваши документы, чтобы он отвечал по ним, и скажите, что писать, если ответа там нет: «уточню и вернусь с ответом».
• Просите источник каждого важного факта и открывайте его, прежде чем пользоваться фактом.
• Пусть всё, что уходит клиенту, проверяет человек: цены, даты, правила, аллергены, юридические и медицинские формулировки.
• Всё юридическое, медицинское и финансовое отдавайте квалифицированному специалисту, а не только тому, кто знает бизнес.

Частые ошибки

• Доверять цитатам, статистике или ссылкам от ИИ, не открывая их.
• Верить, что одна настройка или один промпт отключат галлюцинации, хотя их можно только уменьшить.
• Позволять ассистенту для клиентов отвечать на вопросы, которых нет в его документах, вместо того чтобы передать их человеку.