מה זה Context Window (חלון הקשר)

הגדרה

הכמות המרבית של טקסט, הנמדדת בטוקנים, שמודל AI יכול לקרוא ולעבד בבת אחת. חריגה ממנו גורמת למודל לשכוח את תחילת הטקסט ולנתח באופן חלקי בלבד.

המגבלה המשולבת של טוקני קלט ותפוקה שרשת עצבית יכולה לעבד בצעד תפעולי בודד.

למה זה חשוב

חלון ההקשר מגדיר את גבולות מה שמודל יכול לזכור במהלך שיחה. אם תדביק מסמך שחורג מחלון זה, המודל ישכח את תחילת הטקסט, מה שיוביל לניתוח חלקי או שגוי.

קשור ישירות: LLM (מודל שפה גדול), Token (טוקן), Prompt (פרומפט).

טיפים לשיפור

• השתמש ב-RAG (יצירה מועשרת באחזור) לחיפוש במסדי נתונים גדולים ושליחת קטעים רלוונטיים בלבד, כדי לשמור על חלון ההקשר נקי.
• סכם היסטוריות צ׳אט ארוכות מעת לעת כדי לשמר את ההקשר המרכזי מבלי לגמור טוקנים.
• בחר מודלים עם חלונות הקשר גדולים יותר בעת ניתוח ספרים שלמים, מאגרי קוד או מסמכים משפטיים מורכבים.

טעויות נפוצות

• לצפות שמודל יזכור פרטים משיחה ארוכה מאוד שחרגה מחלון ההקשר שלו.
• למלא את חלון ההקשר כולו במידע לא רלוונטי, מה שמוריד את איכות ודיוק תשובות המודל.
• להתעלם מהעובדה שקלטים גדולים יותר בחלון ההקשר מגדילים את זמן העיבוד והעלות.