מה זה Context Window (חלון הקשר)

הגדרה

חלון הקשר הוא המגבלה על כמות הטקסט שמודל שפה יכול להתחשב בה בקריאה אחת, והוא נמדד בטוקנים. הכול נספר בו: ההוראות הנסתרות של הכלי, הפרומפט שלכם, קבצים מצורפים, השיחה עד עכשיו והתשובה שנכתבת. למודל אין זיכרון בין קריאה לקריאה, ולכן האפליקציה שולחת את השיחה מחדש עם כל הודעה. כששיחה גדלה מעבר לחלון, האפליקציה מחליטה מה להשאיר בחוץ: יש שמשמיטות את ההודעות הישנות ביותר, יש שמסכמות אותן ויש שמסרבות. מה שלא נשלח, המודל לא רואה.

למה זה חשוב

הוא גם מסביר למה יותר זה לא תמיד טוב יותר. מחקר מ-2024 מצא שמודלים משתמשים במידע שבאמצע קלט ארוך פחות טוב מאשר במידע שבתחילתו או בסופו, ולכן קלט ממוקד מנצח לעיתים קרובות קלט מלא.

קשור ישירות: טוקן (Token), LLM (מודל שפה גדול), פרומפט (Prompt).

טיפים לשיפור

• נעצו את העובדות שחייבות לשרוד שיחה ארוכה, כמו המנוי והמגבלות של הלקוח, בפתק קצר שנשלח עם כל הודעה.
• כשהמסמכים לא נכנסים, שלחו רק את הקטעים שהשאלה צריכה, וזה מה ש-RAG עושה, במקום קבצים שלמים.
• שימו את השאלה ואת ההוראה החשובה ביותר בתחילת קלט ארוך או בסופו, לא באמצע.
• פתחו שיחה חדשה לנושא חדש, עם סיכום קצר של מה שעדיין חשוב.

טעויות נפוצות

• למלא את החלון בקבצים שלמים כשהשאלה צריכה קטע אחד, מה שהופך את התשובה לאיטית ומדויקת פחות.
• להאמין שחלון גדול יותר פירושו תשובות טובות יותר, כשהאמצע של קלט ארוך עדיין מנוצל פחות טוב.
• להדביק בכלי ציבורי חוזים שלמים או היסטוריית לקוחות עם פרטים אישיים רק כי הם נכנסים.