מה זה טוקן (Token)

הגדרה

טוקן הוא היחידה שמודל שפה קורא וכותב: מילה קצרה, חלק ממילה ארוכה, מספר, רווח או סימן פיסוק. כלי שנקרא tokenizer מפרק את הטקסט לטוקנים לפני שהמודל רואה אותו, והמודל כותב את התשובה טוקן אחרי טוקן. טוקנים מודדים שני דברים: כמה נכנס לחלון ההקשר של המודל, וכמה בקשה צורכת בתוכנית שמחייבת לפי שימוש. אותו תוכן תופס מספר שונה של טוקנים בשפות שונות, והמספר תלוי ב-tokenizer.

למה זה חשוב

בדוגמה שנמדדה לעמוד הזה, שש שורות של נהלים תפסו 63 טוקנים באנגלית, 86 בעברית ו-82 ברוסית עם tokenizer עדכני, ו-205 ו-136 עם tokenizer ישן יותר. כתבה ישנה על עברית ו-AI עלולה לצטט פער שה-tokenizers החדשים צמצמו.

קשור ישירות: Context Window (חלון הקשר), LLM (מודל שפה גדול), Inference (הסקה).

טיפים לשיפור

• בדקו מסמך ארוך במונה טוקנים לפני שאתם מדביקים אותו, במיוחד בעברית או ברוסית.
• שמרו על הוראות קבועות קצרות, כי הן נקראות, ונספרות, עם כל שאלה.
• בקשו את אורך התשובה שאתם צריכים, כי גם הטוקנים של התשובה נספרים.
• עקבו אחרי השימוש בתהליכים אוטומטיים, שבהם הודעה אחת של לקוח יכולה להפעיל כמה קריאות למודל.

טעויות נפוצות

• להחיל על טקסט עברי כלל אצבע של אנגלית: בפסקה שנמדדה יצאו באנגלית בממוצע כ-4.2 תווים לטוקן, ובעברית כ-2.6.
• לבלבל בין שתי מגבלות: קלט ארוך מדי לחלון ההקשר לא נראה במלואו, ותשובה שמגיעה למגבלת הפלט נקטעת.
• לבלבל בין טוקן של AI לבין טוקן של קריפטו או מפתח גישה ל-API.