הַגדָרָה
כוונון עדין יעיל בפרמטרים (PEFT) היא טכניקה להתאמת מודלים גדולים שאומנו מראש למשימות חדשות על ידי עדכון תת-קבוצה קטנה בלבד של פרמטרים במקום המודל כולו.
מטרה
המטרה היא להפחית את עלויות החישוב ואת צורכי האחסון תוך שמירה על ביצועי משימות חזקים.
חשיבות
- מאפשר כוונון עדין עבור ארגונים ללא משאבים עצומים.
- מפחית את טביעת הרגל הפחמנית בהשוואה לאימון מודל מלא.
- מאפשר החלפת משימות יעילה בייצור.
- קשור לשיטות כמו LoRA ומתאמים.
איך זה עובד
- בחר מודל בסיס גדול ומאומן מראש.
- זהה תת-קבוצות של פרמטרים (למשל, מתאמים בעלי דרגה נמוכה).
- אימון תת-קבוצות אלו בלבד על נתוני משימת היעד.
- הקפיאו את שאר הפרמטרים.
- פריסה עם תקורת משאבים מינימלית.
דוגמאות (העולם האמיתי)
- LoRA (הסתגלות לדרגה נמוכה): בשימוש נרחב בכוונון עדין של תוכניות LLM.
- ספריית PEFT של Hugging Face: ארגז כלים יעיל לכוונון עדין.
- מחקר גוגל: מתאמים למשימות NLP רב-לשוניות.
מקורות / קריאה נוספת
- הו ואחרים. "LoRA: עיבוד בדרגה נמוכה של מודלים גדולים של שפה." arXiv.
- הולסבי ואחרים. "למידה יעילה בהעברה פרמטרית עבור NLP." ACL.
- תיעוד PEFT של Hugging Face.
