הַגדָרָה
אימון מקדים הוא האימון הראשוני של מודל למידת מכונה על מערכי נתונים גדולים למטרות כלליות לפני כוונון עדין של משימות ספציפיות.
מטרה
המטרה היא לספק מודלים עם ייצוגים רחבים המועברים למשימות מרובות, תוך צמצום דרישות הנתונים והמחשוב לצורך הסתגלות במורד הזרם.
חשיבות
- יסודות לתארים מודרניים במשפטים ומודלים של חזון.
- משפר ביצועים במגוון משימות.
- יקר מבחינת נתונים וחישוב.
- דורש איסוף מדוקדק של מערך הנתונים כדי למנוע הטיה.
איך זה עובד
- איסוף מערכי נתונים כלליים עצומים (טקסט, תמונות).
- הגדירו משימות למידה ללא פיקוח או בפיקוח עצמי.
- לאמן מודלים כדי ללמוד תכונות כלליות.
- שמור משקולות שאומנו מראש לשימוש חוזר.
- כוונון עדין של מערכי נתונים קטנים יותר ספציפיים למשימה.
דוגמאות (העולם האמיתי)
- BERT עברה הכשרה מוקדמת בוויקיפדיה וב-BooksCorpus.
- CLIP אומן על זוגות תמונה-טקסט.
- מודלי GPT אומנו מראש על טקסט אינטרנט בקנה מידה גדול.
מקורות / קריאה נוספת
- דבלין ואחרים. "BERT: אימון מקדים של שנאים דו-כיווניים עמוקים." NAACL 2019.
- רדפורד ואחרים. "מודלים של שפה הם לומדים בעלי מעט ניסיון." NeurIPS 2020.
- דוח טכני של OpenAI GPT-4.
