Что такое дообучение (Fine-tuning)

Определение

Дообучение, или fine-tuning, берёт уже обученную модель и немного доучивает её на ваших примерах: парах из входного текста и ответа, который вы хотите получать. Внутренние настройки модели меняются, и новое поведение сохраняется без повторения в каждом промпте. Дообучение подходит для единого стиля, постоянного формата или узкой задачи, которая повторяется много раз, например сортировки сообщений по типам. Добавлять так факты ненадёжно, а обновлять их, когда что-то меняется, долго, поэтому факты должны лежать в документах, которые модель читает с каждым вопросом (RAG). Дообучение это инструмент для разработчиков на платформе поставщика. Загрузка файлов в проект чат-бота дообучением не является: инструмент ищет по файлам, а модель остаётся прежней.

Почему это важно

Промпт задаёт инструкции и тон, RAG даёт модели ваши факты, а дообучение оправдано только для узкой задачи, которая повторяется в большом объёме, когда хороший промпт всё равно не справляется. Там оно может позволить небольшой модели хорошо делать одну работу.

Напрямую связано: RAG (генерация с дополнением поиском), Промпт (Prompt), Обучение модели (Model Training).

Советы по улучшению

• Прежде чем думать о дообучении, попробуйте более ясный промпт с тремя или четырьмя примерами ответов и проверьте его на 20 настоящих сообщениях.
• Факты, которые меняются, например часы работы и правила, держите в документе, который читает модель, а не в обучении.
• Если всё же дообучаете, соберите от десятков до сотен хороших примеров, в зависимости от задачи, и все в нужном вам стиле.
• Удалите имена, телефоны и номера удостоверений из переписки с клиентами, прежде чем она станет обучающими примерами.

Частые ошибки

• Называть проект в чат-боте с загруженными файлами дообученной моделью, хотя сама модель не изменилась.
• Обучать на разнородных примерах, так что модель усваивает ошибки вместе со стилем.
• Начинать проект дообучения, не попробовав и не измерив хороший промпт.