מה זה Embedding (אמבדינג)

הגדרה

Embedding, או אמבדינג, הופך קטע טקסט, או תמונה, לרשימת מספרים שנבחרו כך שלמשמעויות דומות יש מספרים דומים. טקסטים עם אותה משמעות נמצאים קרוב זה לזה גם כשאין להם אף מילה משותפת, וזה מה שמאפשר לכלי AI למצוא את הקטע שהלקוח צריך. ב-embeddings אמיתיים יש מאות עד אלפי מספרים: text-embedding-3-small של OpenAI מחזיר 1,536 כברירת מחדל, ו-text-embedding-3-large מחזיר 3,072. המפות שמציגות embeddings כנקודות על דף מפושטות לשני ממדים לצורך הסבר. Embeddings הם השלב הראשון של מסד נתונים וקטורי ושל RAG.

למה זה חשוב

בעלי עסקים כמעט אף פעם לא יוצרים אותם בעצמם, אבל הם יושבים מתחת לכל כלי שעונה מתוך הקבצים שלכם, אז שתי עובדות חשובות: הם מתאימים משמעות ולא מילים, והם נושאים את התוכן של הטקסט, ולכן צריכים את אותה זהירות כמו המסמכים.

קשור ישירות: מסד נתונים וקטורי (Vector Database), RAG (יצירה מועשרת באחזור), טוקן (Token).

טיפים לשיפור

• השתמשו במודל embedding אחד לכל מה שמשווים, כי מספרים משני מודלים שונים לא מתאימים זה לזה.
• שמרו על קטעים קצרים, נוהל או נושא אחד בכל קטע, כך שכל embedding מייצג משמעות אחת.
• בדקו עם שאלות במילים של הלקוחות ובשפה שבה הם כותבים.
• הגנו על embeddings שמורים כמו על המסמכים שמהם נוצרו.

טעויות נפוצות

• לערבב embeddings משני מודלים, כך שהחיפוש משווה מספרים שלא מתאימים זה לזה.
• ליצור embedding לעמודים ארוכים שמערבבים נושאים רבים, כך שאף קטע לא מתאים היטב לשאלה.
• לצפות מ-embeddings לשפוט אם קטע נכון או עדכני, כשהם מודדים רק קרבה במשמעות.