Обучение против инференса
Обучение - это этап, на котором модель формируют на больших объемах данных. Инференс - это уже работа с обученной моделью, когда вы получаете от нее ответ. Обучение происходит один раз или периодически, инференс - каждый раз, когда кто-то использует модель.
Model Training (Обучение модели)
Процесс, в котором модель AI получает данные, находит в них паттерны, корректирует внутренние математические веса и учится давать точные прогнозы.
Inference (Инференс)
Обученная модель AI получает новые, ранее не встречавшиеся данные и строит по ним прогнозы, генерирует контент или решает задачи.
До развертывания модели - как правило, один раз или периодически
Каждый раз, когда пользователь задает вопрос или делает запрос
Крупные единовременные или периодические расходы
Небольшие расходы на каждый запрос, но на масштабе они складываются в заметную сумму
Сформировать знания и закономерности модели
Применить эти знания к реальному, живому запросу
| Когда происходит | До развертывания модели - как правило, один раз или периодически | Каждый раз, когда пользователь задает вопрос или делает запрос |
|---|---|---|
| Структура затрат | Крупные единовременные или периодические расходы | Небольшие расходы на каждый запрос, но на масштабе они складываются в заметную сумму |
| Цель | Сформировать знания и закономерности модели | Применить эти знания к реальному, живому запросу |