Обучение против инференса
Обучение - это этап, на котором модель учат на больших объемах данных. Инференс - это уже работа с обученной моделью, когда вы получаете от нее ответ. Обучение происходит один раз или периодически, инференс - каждый раз, когда кто-то использует модель.
Обучение модели (Model Training)
Обучение модели это процесс, в котором модель ИИ учится на примерах: сверяет свои догадки с правильными ответами и подстраивается, пока ошибок не станет меньше.
Инференс (Inference)
Инференс (inference) это работа уже обученной модели ИИ: она получает новый вопрос и выдаёт ответ. Он происходит при каждом запросе, поэтому это текущий расход.
До развертывания модели - как правило, один раз или периодически
Каждый раз, когда пользователь задает вопрос или делает запрос
Крупные единовременные или периодические расходы
Небольшие расходы на каждый запрос, но при больших объемах они складываются в заметную сумму
Сформировать знания и закономерности модели
Применить эти знания к реальному, живому запросу
| Когда происходит | До развертывания модели - как правило, один раз или периодически | Каждый раз, когда пользователь задает вопрос или делает запрос |
|---|---|---|
| Структура затрат | Крупные единовременные или периодические расходы | Небольшие расходы на каждый запрос, но при больших объемах они складываются в заметную сумму |
| Цель | Сформировать знания и закономерности модели | Применить эти знания к реальному, живому запросу |