הַגדָרָה
הערכת מודל היא תהליך של הערכת ביצועי מודל למידת מכונה על נתונים בלתי נראים באמצעות מדדים כגון דיוק, רמת זכירה (recall) או ציון F1.
מטרה
המטרה היא לאמת את ביצועי המודל, לזהות התאמת יתר (overfitting) ולהבטיח אמינות לפני הפריסה. היא מספקת ראיות לכך שהמודלים עומדים ביעדים המיועדים.
חשיבות
- מבטיח שהמודלים יוכלו להכליל מעבר לנתוני האימון.
- מנחה שיפורים בתכנון ובהדרכה.
- מסייע בהשוואה בין אלגוריתמים מתחרים.
- תומך באחריות רגולטורית ואתית.
איך זה עובד
- פיצול נתונים לקבוצות אימון, אימות ובדיקה.
- מודל אימון על סמך נתוני אימון.
- הערכת תחזיות על נתוני בדיקה באמצעות מדדים.
- ניתוח שגיאות והטיות.
- חזר על הביצועים כדי לשפר אותם.
דוגמאות (העולם האמיתי)
- תחרויות קאגלה: מודלים שהוערכו באמצעות מערכי בדיקה מוחזקים.
- בינה מלאכותית בתחום הבריאות: מודלים שנבדקו מבחינת רגישות וספציפיות.
- בינה מלאכותית בנהיגה אוטונומית: הוערכה באמצעות תרחישי נהיגה מהעולם האמיתי.
מקורות / קריאה נוספת
- האן ואחרים. למידת מכונה: פרספקטיבה הסתברותית. הוצאת MIT.
- מסגרת ניהול סיכונים של NIST לבינה מלאכותית.
- עסקאות IEEE על ניתוח תבניות ובינת מכונה.
- מדריך למתחילים להערכת מודלים של שפה גדולה
