מה זה Inference (הסקה)

הגדרה

Inference, בעברית הסקה, הוא השלב שבו משתמשים במודל שכבר אומן: הוא מקבל קלט חדש, למשל שאלה של לקוח, ומפעיל את מה שלמד כדי להפיק פלט, כמו תשובה, סיווג או תחזית. המודל עצמו לא משתנה בזמן שהוא עונה. כל שאלה שנשלחת לכלי צ׳אט או לעוזר AI היא הרצת inference אחת, וכל הרצה נמדדת בטוקנים: השאלה, כל מסמך שנשלח איתה והתשובה נספרים כולם. הסקה יכולה לרוץ בשרתים של הספק, או עם מודל פתוח קטן על המחשב שלכם, ואז המידע נשאר במשרד והתשובות בדרך כלל איטיות יותר.

למה זה חשוב

הספק שילם על האימון פעם אחת, ההסקה קורית בכל פעם מחדש, ולכן השימוש הוא שמניע את החשבון. ככל שהטקסט שנשלח עם כל שאלה ארוך יותר, כל הרצה צורכת יותר, גם כשמספר השאלות לא משתנה.

קשור ישירות: אימון מודל (Model Training), מודל AI (AI Model), טוקן (Token).

טיפים לשיפור

• אל תשלחו את אותה שאלה פעמיים כשתשובה שמורה מספיקה: הכינו תשובות מוכנות לשאלות שלקוחות שואלים כל יום.
• שלחו רק את החלק במסמך שהשאלה צריכה, לא את כל הקובץ, כי כל מה שנשלח נקרא מחדש בכל הרצה.
• בדקו איך הכלי שלכם מחייב על שימוש: לפי בקשה, לפי כמות טקסט או כמגבלות בתוך מנוי.

טעויות נפוצות

• לבלבל בין אימון, שבו מודל לומד מדוגמאות, לבין inference, שבו המודל המוכן עונה על שאלות חדשות.
• לצרף מסמך ארוך לכל שאלה כשצריך ממנו רק פסקה אחת.