מה זה LLM (מודל שפה גדול)

הגדרה

LLM, מודל שפה גדול, הוא מודל שאומן על כמות עצומה של טקסט כדי לחזות מה בא אחר כך בקטע כתוב. כשהוא מקבל פרומפט, הוא כותב את התשובה טוקן אחרי טוקן, מילה או חלק ממילה, ובכל פעם בוחר המשך סביר. בגלל זה הוא כותב בשטף בהרבה שפות, כולל עברית, ובגלל זה גם יכול להישמע נכון ולטעות. LLM מכיר רק את הטקסט שעליו אומן, עד תאריך מסוים, אלא אם הכלי שסביבו מחפש ברשת או קורא את הקבצים שלכם. ChatGPT, Claude, Copilot ו-Gemini הם דוגמאות למוצרים שבנויים על LLM.

למה זה חשוב

כשיודעים שהוא חוזה טקסט סביר, מבינים גם את הכוח שלו וגם את הסיכון העיקרי: תשובה שוטפת היא לא תשובה שנבדקה. זה גם מסביר את הפתרון: תנו לו את העובדות שלכם, ובדקו את מה שמגיע ללקוחות.

קשור ישירות: טוקן (Token), Context Window (חלון הקשר), הזיית AI (AI Hallucination).

טיפים לשיפור

• תנו למודל את העובדות שהוא צריך בפרומפט או במסמכים מצורפים, במקום לסמוך על מה שלמד באימון.
• כשתשובה תגיע ללקוח, בקשו תשובה קצרה עם המקור של כל עובדה.
• בדקו בהגדרות המידע של התוכנית שלכם אם השיחות שלכם עשויות לשמש לאימון מודלים עתידיים.
• לפני שמחליפים מודל או כלי, בדקו אותו על עשר שאלות שהלקוחות שלכם באמת שואלים.

טעויות נפוצות

• להניח שהמודל יודע את החדשות של היום, את המחירים או את שעות הפתיחה שלכם בלי שנתנו לו אותם.
• להדביק בכלי AI ציבורי מספרי תעודת זהות של לקוחות, פרטים רפואיים או פרטי כרטיס אשראי.
• להתייחס למודל כאילו הוא מבין את העסק, כשהוא חוזה טקסט לפי דפוסים.