הַגדָרָה
בבינה מלאכותית, הזיות מתייחסות למקרים בהם מודל מייצר פלטים שוטפים אך שגויים עובדתית או חסרי משמעות. זה נפוץ במיוחד במודלים של שפות גדולות ובינה מלאכותית גנרטיבית.
מטרה
לימוד הזיות מסייע בשיפור אמינות ובטיחות המודל. זה מאפשר למפתחים לתכנן אמצעי הגנה כדי לזהות ולהפחית פלטים לא מדויקים.
חשיבות
- מפחית את האמון בבינה מלאכותית אם לא מטפלים בכך.
- עלול לגרום נזק ביישומים רגישים כמו שירותי בריאות או משפטים.
- מדגיש את המגבלות של מודלים גנרטיביים עכשוויים.
- מניעה מחקר בשיטות ביסוס ושליפה עובדתיות.
איך זה עובד
- המודל מקבל הנחיה או שאילתה.
- מייצר פלט המבוסס על דפוסים נלמדים, לא על אימות עובדות.
- עשוי להניב תוצאות שנשמעות סבירות אך שגויות.
- מיושמות טכניקות גילוי ותיקון (למשל, RAG).
דוגמאות (העולם האמיתי)
- ChatGPT מציג מדי פעם נתונים שגוי כאשר מתבקש לעשות זאת.
- ההדגמה הראשונית של גוגל בארד הראתה טעויות עובדתיות.
- ייעוץ רפואי שנוצר על ידי בינה מלאכותית מכיל לעיתים אי דיוקים.
מקורות / קריאה נוספת
- "הפחתת הזיות במודלים גדולים של שפה" - הדפסה מוקדמת של arXiv.
- מסגרת ניהול סיכונים של NIST לבינה מלאכותית.
- מיטשל ואחרים. "כרטיסי מודל לדיווח מודלים." ACM FAccT.
- גורמים להזיות בינה מלאכותית
