Что такое эмбеддинг (Embedding)

Определение

Эмбеддинг превращает фрагмент текста или картинку в набор чисел, подобранных так, чтобы у похожих по смыслу вещей были похожие числа. Тексты с одинаковым смыслом оказываются рядом, даже если у них нет ни одного общего слова, и именно это позволяет инструменту ИИ найти фрагмент, который нужен клиенту. В настоящих эмбеддингах от сотен до тысяч чисел: text-embedding-3-small от OpenAI по умолчанию возвращает 1 536 чисел, а text-embedding-3-large 3 072. Карты, где эмбеддинги нарисованы точками на странице, упрощены до двух измерений для наглядности. Эмбеддинги это первый шаг векторной базы данных и RAG.

Почему это важно

Владелец бизнеса почти никогда не создаёт их сам, но они лежат в основе любого инструмента, который отвечает по вашим файлам, поэтому важны два факта: они сопоставляют смысл, а не слова, и они несут содержание текста, так что требуют той же осторожности, что и документы.

Напрямую связано: Векторная база данных (Vector Database), RAG (генерация с дополнением поиском), Токен (Token).

Советы по улучшению

• Используйте одну модель эмбеддингов для всего, что сравниваете: числа двух разных моделей друг другу не соответствуют.
• Делайте фрагменты короткими, по одному правилу или теме, чтобы каждый эмбеддинг передавал один смысл.
• Проверяйте поиск вопросами в словах клиентов и на том языке, на котором они пишут.
• Защищайте сохранённые эмбеддинги так же, как документы, из которых они получены.

Частые ошибки

• Смешивать эмбеддинги двух моделей, так что поиск сравнивает несопоставимые числа.
• Делать эмбеддинги длинных страниц со многими темами, так что ни один фрагмент не подходит к вопросу хорошо.
• Ждать от эмбеддингов оценки, верен ли фрагмент и актуален ли он, хотя они измеряют только близость смысла.