הַגדָרָה
כוונון עדין מבוקר (SFT) הוא תהליך של אימון מודל שאומן מראש על נתונים מתויגים עבור משימה ספציפית, תוך התאמת כל הפרמטרים שלו או חלקם.
מטרה
המטרה היא להתאים מודלים למטרות כלליות למשימות מיוחדות עם דיוק משופר.
חשיבות
- טכניקת ליבה ב-NLP ומשימות ראייה.
- דורש נתונים מתויגים באיכות גבוהה.
- סיכונים של התאמת יתר עם מערכי נתונים קטנים.
- לעתים קרובות מבשר ל-RLHF.
איך זה עובד
- בחר דגם מאומן מראש.
- איסוף נתונים מתויגים עבור משימת היעד.
- אימון המודל באמצעות למידה מונחית.
- אימות על סט בדיקות שהושהה.
- פריסה ומעקב אחר ביצועים.
דוגמאות (העולם האמיתי)
- GPT כיווננה את שיחות שירות הלקוחות.
- BERT עבר כוונון מדויק לזיהוי ישויות בעלות שם.
- שנאי ראייה כוונו בצורה עדינה את סיווג התמונה הרפואית.
מקורות / קריאה נוספת
- דבלין ואחרים. "BERT: אימון מקדים של שנאים דו-כיווניים עמוקים." NAACL 2019.
- תיעוד של רובוטריקים מחבקים.
- סטנפורד CS224N: NLP עם למידה עמוקה.
- מה זה SFT? למה זה חשוב?
