הזיה

הגדרה

תופעה שבה מודל AI מייצר מידע שגוי או בדוי אך מציג אותו בביטחון גבוה.

יצירת תוכן על ידי מודל למידת מכונה שאינו נכון עובדתית, חסר הגיון, או אינו מעוגן בנתוני האימון שלו או בהקשר הקלט.

למה זה חשוב

הזיות מהוות סיכון משמעותי לעסקים שפורסים AI פונה ללקוחות. הבנת הסיבות להן מסייעת לך לתכנן בדיקות בטיחות, כללי אימות ומערכות עיגון להגנה על מוניטין המותג שלך.

טיפים לשיפור

• השתמש ב-RAG (יצירה מועשרת באחזור) כדי לספק עובדות ברורות והורה למודל לומר 'אני לא יודע' אם התשובה אינה בטקסט.
• הגדר את פרמטר הטמפרטורה של המודל לאפס כדי להפוך את תשובותיו לעובדתיות ופחות יצירתיות.
• כתוב פרומפטים מערכת קשיחים האוסרים על המודל לעשות הנחות או לנחש פרטים.

טעויות נפוצות

• לסמוך על עובדות, ציטוטים או כתובות URL שנוצרו על ידי AI מבלי לאמת את תקינותם.
• להאמין שטון ביטחוני גבוה של הצ'אטבוט מצביע על כך שהתגובה מדויקת.
• לפרוס AI בתחומים בסיכון גבוה, כמו ייעוץ משפטי או רפואי, ללא מומחים אנושיים שבודקים כל תפוקה.