מודל למידת מכונה מוצלח מתחיל בנתוני אימון איכותיים. אבל אחת השאלות הנפוצות ביותר שצוותים שואלים בתחילת פרויקט בינה מלאכותית היא: כמה נתוני אימון מספיקים?
התשובה הכנה היא שאין מספר קבוע שמתאים לכל פרויקט. כמות הנתונים שאתם צריכים תלויה במשימה, במורכבות המודל, במספר המחלקות, באיכות הנתונים, בדיוק התוויות ובסטנדרט הביצועים שאתם רוצים להגיע אליו.
בפועל, הדרך הטובה ביותר להעריך את דרישות נתוני האימון היא להתחיל עם מדגם מייצג, להתאמן על תת-קבוצות הולכות וגדלות, ולמדוד מתי ביצועי המודל מתחילים להתייצב. זה עוזר לצוותים לקבל החלטות מושכלות לגבי עלות, לוח זמנים, מאמץ ביאור ותוצאות צפויות.
בבלוג זה, נפרט את הגורמים העיקריים המשפיעים על נפח נתוני האימון, נסביר כיצד להעריך דרישות בפועל, ונראה מה לעשות כשצריך נתונים נוספים מבלי לעכב את מפת הדרכים של הבינה המלאכותית.
למה נתוני אימון חשובים
נתוני אימון הם הבסיס של כל מערכת למידת מכונה. לא משנה כמה מתקדם האלגוריתם, הוא יכול ללמוד רק דפוסים הקיימים בנתונים המשמשים לאימון שלו. אם הנתונים אינם שלמים, מוטים, רועשים או מוגבלים מדי, המודל יתקשה להכליל בעולם האמיתי.
נתוני אימון חזקים עוזרים לצוותים:
- לשפר את דיוק המודל
- להפחית הטיה וכתמים עיוורים
- להעריך בצורה מדויקת יותר את עלות הפרויקט ואת היתכנותו
- צמצום עיבוד חוזר במהלך איטרציה של המודל
- בניית צינורות אימות ובדיקה אמינים יותר
זו הסיבה שאיסוף, ניקוי, תיוג ותיקוף נתונים תופסים לעתים קרובות את נתח המאמץ הגדול ביותר בפרויקטים של בינה מלאכותית. אם הנתונים חלשים, גם התחזיות יהיו חלשות.
אין מספר אוניברסלי - אבל יש דרך מעשית להעריך אותו
מאמרים רבים מנסים לענות על שאלה זו באמצעות מספר אחד. זה לעיתים רחוקות שימושי.
מודל לסיווג בינארי פשוט עשוי לתפקד היטב עם מערך נתונים קטן יחסית, בעוד שמודל שפה גדול לכוונון עדין של זרימת עבודה או מערכת ראייה ממוחשבת למקרי קצה עשויים לדרוש דוגמאות רבות יותר באופן משמעותי. השאלה הטובה יותר היא לא "מהו המספר הקסם?" אלא:
מהי הכמות המינימלית של נתוני אימון איכותיים ומייצגים הנדרשים כדי להגיע לביצועי היעד עבור מקרה שימוש זה?
דרך מעשית לענות על כך היא להשתמש בעקומות למידה: לאמן את המודל על כמויות הולכות וגדלות של נתונים ולצפות בכמה הביצועים משתפרים עם כל שלב. כאשר השיפור מתחיל להתייצב, יש לך איתות ברור הרבה יותר האם איסוף נתונים נוספים שווה את ההשקעה. גישה זו מומלצת בדרך כלל בזרימות עבודה מעשיות של למידה חשמלית.
7 גורמים שקובעים כמה נתוני אימון אתם צריכים
1. סוג מודל: למידה קלאסית לעומת למידה עמוקה
לסוג המודל יש השפעה רבה על דרישות הנתונים. מודלים קלאסיים של למידת מכונה כמו רגרסיה לוגיסטית, עצי החלטה או הגברת גרדיאנט יכולים לעתים קרובות לבצע ביצועים טובים על מערכי נתונים מובנים קטנים יותר, במיוחד כאשר התכונות מתוכננות היטב.
מודלים של למידה עמוקה דורשים בדרך כלל יותר נתונים מכיוון שהם לומדים תכונות באופן אוטומטי ומכילים פרמטרים רבים יותר. עבור משימות תמונה, אודיו ושפה, מודלים עמוקים בדרך כלל נהנים משמעותית מנפח נתונים נוסף וגיוון.
2. למידה מפוקחת לעומת למידה לא מפוקחת
למידה מונחית דורשת נתונים מתויגים, שלעתים קרובות קשים ויקרים יותר לאיסוף. אם המודל שלך זקוק לבני אדם כדי להוסיף הערות לתמונות, לתמלל אודיו, לתייג ישויות או לסווג מסמכים, דרישת הנתונים חייבת להתחשב הן בכמות והן במאמץ התיוג.
למידה בלתי מפוקחת אינה דורשת נתונים מתויגים, אך היא עדיין נהנית ממערכי נתונים גדולים ומייצגים. אפילו ללא תוויות, המודל זקוק לכיסוי מספיק כדי לזהות דפוסים ומבנים משמעותיים.
3. מורכבות המשימה ומספר הכיתות
משימת סיווג בינארי פשוטה שונה מאוד מבעיית הדמיה רפואית מרובת מחלקות או ממערכת זיהוי דיבור רב-לשונית.
ככל שמורכבות המשימה עולה, דרישות נתוני האימון בדרך כלל עולות מכיוון שהמודל חייב ללמוד:
- עוד שיעורים
- הבחנות עדינות יותר בין קטגוריות
- יותר מקרי קצה
- יותר שונות הקשרית
לדוגמה, הבחנה בין "חתול" ל"כלב" קלה בהרבה מאשר זיהוי עשרות פגמים חזותית דומים במוצר בתנאי תאורה, זוויות צילום ורקעים שונים.
4. איכות נתונים ודיוק תוויות
יותר נתונים לא תמיד טובים יותר אם האיכות ירודה.
מערך נתונים קטן יותר עם תוויות מדויקות, ייצוג מאוזן ועיצוב עקבי יכול להצליח יותר ממערך נתונים גדול יותר אך רועש. תוויות באיכות נמוכה, רשומות כפולות, הגדרות מחלקה חלשות, מטא-נתונים חסרים והנחיות ביאור לא עקביות - כל אלה מפחיתים את ביצועי המודל.
לפני איסוף נתונים נוספים, על הצוותים לשאול:
- האם התוויות עקביות?
- האם אנו מכסים את כל תרחישי המשתמש החשובים?
- האם הנתונים מייצגים את תנאי הייצור?
- האם מערכי אימון, אימות ובדיקה מופרדים כראוי?
עבור פרויקטים רבים, שיפור איכות הנתונים מניב רווחים מהירים יותר מאשר פשוט הגדלת נפח הנתונים.
5. גיוון, כיסוי ואיזון מעמדי
מודל צריך ללמוד מהשונות בעולם האמיתי שהוא יתמודד איתה לאחר הפריסה. משמעות הדבר היא שקבוצת הנתונים צריכה לשקף תרחישים שונים, קבוצות משתמשים, סוגי מכשירים, מאפיינים, סביבות, פורמטי מסמכים, תנאי תמונה ומקרי קצה.
אם מחלקה או פלח אחד אינם מיוצגים כראוי, המודל עשוי להיראות מדויק באופן כללי, אך להיכשל קשות בתת-קבוצות קריטיות. זו הסיבה שגיוון ואיזון מחלקתי חשובים בדיוק כמו גודל גולמי.
במקרים רבים, השאלה אינה "האם יש לנו מספיק נתונים?" אלא "האם יש לנו מספיק נתונים נכונים?"
6. העברת למידה ומודלים שאומנו מראש
אם אתם מתחילים ממודל שאומן מראש, ייתכן שתצטרכו הרבה פחות נתונים ספציפיים למשימה מאשר אם אתם מתאמנים מאפס.
זה נכון במיוחד עבור:
- סיווג תמונות באמצעות עמוד שדרה של הראייה
- משימות NLP באמצעות מודלים מבוססי טרנספורמטור
- מודלי דיבור המותאמים למבטא או תחום חדשים
- זרימות עבודה של התאמת דומיין
למידה באמצעות העברה מאפשרת לצוותים לעשות שימוש חוזר בידע שנלמד על מערכי נתונים גדולים קיימים, מה שיכול להפחית באופן דרמטי את עומס הביאורים. המאמר המקורי כבר כיסה זאת היטב; הוא צריך להישאר, אך עם דוגמאות ברורות יותר.
7. אסטרטגיית אימות וביצועי יעדים
כמות הנתונים הדרושה לך מושפעת גם מרמת האיכות של המודל.
אב טיפוס עשוי לעבוד עם כמויות צנועות של נתונים. מודל ייצור בסביבות שירותי בריאות, פיננסים, ביטוח, רכב או סביבות כבדות תאימות ידרוש כיסוי חזק יותר, תוויות נקיות יותר, אימות טוב יותר וביצועים אמינים יותר במקרי קצה. ככל ששיעור השגיאות המקובל גבוה יותר, כך מערך הנתונים שלך חייב להיות חזק יותר.
כיצד להעריך את דרישות נתוני ההדרכה בפועל
במקום לנחש, השתמשו בתהליך הערכה מובנה.
שלב 1: התחל עם מערך נתונים של פיילוט מייצג
אסוף מדגם קטן יותר אך מייצג של מרחב הבעיה. כלול מחלקות חשובות, פורמטים, סוגי משתמשים ווריאציות מהעולם האמיתי.
שלב 2: פצל את הנתונים בצורה נכונה
צור מערכי אימון, אימות ובדיקה נפרדים. ודא שמערך הבדיקה משקף את תנאי הייצור ולעולם לא נעשה בו שימוש במהלך האימון.
שלב 3: התאמן על דגימות גדולות יותר ויותר
אימן את המודל באמצעות חלקים הולכים וגדלים של מערך הנתונים, כגון 10%, 20%, 40%, 60%, 80% ו-100%.
שלב 4: שרטוט עקומת למידה
עקוב אחר מדדי ביצועים כגון דיוק, ציון F1, זכירה, דיוק או מדדי איכות ספציפיים למשימה ככל שגודל מערך הנתונים גדל.
שלב 5: חפשו את הרמה
אם ביצועי המודל משתפרים בצורה חדה עם יותר נתונים, כנראה שתזדקקו ליותר. אם השיפורים מתייצבים, ייתכן שצוואר הבקבוק שלכם כבר לא נובע מנפח - ייתכן שהוא איכות התווית, עיצוב התכונות, בחירת המודל או חוסר איזון בכיתה.
שלב 6: סקירת ביצועים ברמת פלח
בדקו את ביצועי המודל לא רק באופן כללי, אלא גם על פני מחלקות חשובות ומקרי קצה. מודל עשוי להתייצב באופן כללי ועדיין להציג ביצועים נמוכים במקטעי מיעוט. שיטה זו נותנת לבעלי העניין הערכה ריאליסטית יותר של כמות הנתונים הנוספים שכדאי לאסוף.
איך לדעת מתי יש לך מספיק נתוני אימון
סביר להניח שיש לך מספיק נתונים כאשר:
- ביצועי המודל משתפרים רק באופן שולי ככל שמוסיפים יותר נתונים
- תוצאות האימות יציבות לאורך מספר ריצות או קיפולים
- כיתות חשובות מציגות ביצועים מקובלים, לא רק כיתת הרוב
- הביצועים נשמרים על סט בדיקות נקי ולא נגע בו
- השגיאות הנותרות נגרמות יותר מרעש או עמימות בתוויות מאשר מחוסר דוגמאות
סביר להניח שתזדקק לנתונים נוספים כאשר:
- עקומת הלמידה עדיין מטפסת
- שיעורים נדירים מציגים ביצועים גרועים
- המודל נכשל בווריאציות נפוצות בעולם האמיתי
- התוצאות משתנות מאוד בין ריצות
- ביצועי הבדיקה יורדים בצורה חדה בהשוואה לביצועי האימות
כיצד להפחית את דרישות נתוני האימון
לפעמים האתגר אינו עיצוב מודל - אלא מחסור בנתונים, תקציב או זמן יציאה לשוק. במקרים אלה, צוותים יכולים להפחית את תלותם בכמויות נתונים עצומות בעזרת האסטרטגיות הנכונות.
הגדלת נתונים
אוגמנטציה של נתונים יוצרת דוגמאות אימון חדשות מנתונים קיימים. בראייה ממוחשבת, זה עשוי לכלול חיתוך, סיבוב, היפוך או התאמת בהירות. ב-NLP ובדיבור, אוגמנטציה חייבת להיות זהירה יותר, אך טרנספורמציות מבוקרות עדיין יכולות לעזור.
בשימוש נכון, אוגמנטציה משפרת את החוסן ועוזרת למודלים להכליל טוב יותר. בשימוש גרוע, היא עלולה להכניס רעש או דוגמאות לא מציאותיות.
העברת למידה
למידה באמצעות העברה מאפשרת לך להתאים מודל קיים למשימה חדשה במקום לאמן מאפס. זוהי לרוב אחת הדרכים היעילות ביותר להפחית את דרישות נתוני האימון.
דגמים מאומנים מראש
מודלים שאומנו מראש, כמו מודלי NLP דמויי BERT או עמודי שדרה מבוססים של חזון, יכולים לספק נקודות התחלה חזקות. במקום ללמוד הכל מאפס, המודל מתחיל עם ידע מוקדם ושימושי.
למידה פעילה
אם תיוג הוא יקר, למידה אקטיבית יכולה לעזור לתעדף את הדוגמאות האינפורמטיביות ביותר תחילה. זה משפר את יעילות הביאור ויכול להפחית את מספר התוויות הנדרשות כדי להגיע לביצועים שימושיים.
נתונים סינתטיים
נתונים סינתטיים יכולים להיות שימושיים כאשר נתונים מהעולם האמיתי הם נדירים, רגישים או קשים לאיסוף, במיוחד בתחומים כמו שירותי בריאות, פיננסים, מערכות אוטונומיות וסימולציות קצה. אך עליהם להשלים - ולא להחליף באופן עיוור - נתונים אמיתיים ומייצגים.
דוגמאות מהעולם האמיתי של פרויקטים של למידת מכונה עם מערכי נתונים מינימליים
למרות שזה אולי נשמע בלתי אפשרי שכמה פרויקטים שאפתניים של למידת מכונה יכולים להתבצע עם חומרי גלם מינימליים, חלק מהמקרים נכונים להפליא. תתכוננו להיות מופתעים.
| דוח קגל | בריאות | אונקולוגיה קלינית |
| סקר Kaggle מגלה כי למעלה מ-70% מהפרויקטים של למידת מכונה הושלמו עם פחות מ-10,000 דגימות. | עם 500 תמונות בלבד, צוות MIT הכשיר מודל לזיהוי נוירופתיה סוכרתית בתמונות רפואיות מסריקות עיניים. | בהמשך לדוגמא בתחום הבריאות, צוות מאוניברסיטת סטנפורד הצליח לפתח מודל לזיהוי סרטן עור עם 1000 תמונות בלבד. |
ניחושים מושכלים
אין מספר קסם לגבי כמות הנתונים המינימלית הנדרשת, אבל יש כמה כללי אצבע שבהם אתה יכול להשתמש כדי להגיע למספר רציונלי.
הכלל של 10
בְּתוֹר כלל אצבע, כדי לפתח מודל AI יעיל, מספר מערכי הנתונים הנדרשים לאימון צריך להיות פי עשרה מכל פרמטר של מודל, הנקרא גם דרגות חופש. כללי '10' פעמים מטרתם להגביל את השונות ולהגדיל את מגוון הנתונים. ככזה, כלל אצבע זה יכול לעזור לך להתחיל את הפרויקט שלך בכך שהוא נותן לך מושג בסיסי לגבי הכמות הנדרשת של מערכי נתונים.
למידה עמוקה
שיטות למידה עמוקה עוזרות לפתח מודלים באיכות גבוהה אם יותר נתונים מסופקים למערכת. מקובל בדרך כלל ש-5000 תמונות מתויגות לכל קטגוריה אמורות להספיק ליצירת אלגוריתם למידה עמוקה שיכול לעבוד בדומה לבני אדם. כדי לפתח מודלים מורכבים במיוחד, נדרשים לפחות 10 מיליון פריטים עם תווית.
ראייה ממוחשבת
אם אתה משתמש בלמידה עמוקה לסיווג תמונות, ישנה הסכמה כי מערך נתונים של 1000 תמונות מתויגות עבור כל מחלקה הוא מספר הוגן.
עקומות למידה
עקומות למידה משמשות להדגמת ביצועי אלגוריתם למידת מכונה מול כמות נתונים. על ידי מיומנות המודל על ציר ה-Y ומערך ההדרכה על ציר ה-X, ניתן להבין כיצד גודל הנתונים משפיע על תוצאת הפרויקט.
העלות של מעט מדי נתונים
כאשר צוותים מתאמנים על מערכי נתונים מוגבלים, צרים או מוטים, המודל עשוי להיראות מבטיח בפיתוח אך להיכשל בייצור.
מעט מדי נתונים עלול להוביל ל:
- יתר על המידה
- הכללה חלשה
- תחזיות לא יציבות
- ביצועים גרועים בקרב מעמדות מיעוט
- סיכון הטיה גבוה יותר
- זמן איטרציה נוסף בהמשך
במילים אחרות, המגבלות בנתוני האימון שלך הופכות לעתים קרובות למגבלות של המוצר שלך.
מה לעשות אם אתה צריך מערכי נתונים נוספים
כשמזהים פער בנתונים, הפתרון לא תמיד הוא "לאסוף הכל". הגישה החכמה יותר היא להרחיב את מערך הנתונים באופן אסטרטגי.
1. השתמשו במערכי נתונים פתוחים בזהירות
מערכי נתונים פתוחים יכולים לסייע בבניית אבות טיפוס או בביצועי ביצועים, אך הם לא תמיד מתאימים לשימוש בייצור. צוותים צריכים לבחון את מקור הנתונים, ההסכמה, האיכות, הרלוונטיות והכיסוי לפני שהם מסתמכים עליהם.
2. איסוף נתונים מותאמים אישית עבור מקרה השימוש שלך
אם סביבת היעד ספציפית מאוד, איסוף נתונים מותאם אישית הוא לרוב האפשרות הטובה ביותר. זה נכון במיוחד עבור זרימות עבודה כבדות תחומים כגון בינה מלאכותית בתחום הבריאות, בינה מלאכותית שיחתית, מקרי קצה של ראייה ממוחשבת ומערכות רב-לשוניות.
3. שיפור נתונים קיימים באמצעות ביאורים
לצוותים רבים כבר יש נתונים גולמיים אך חסר להם מבנה. ביאורים, תיוג מחדש, ניקוי טקסונומיה ובדיקת איכות יכולים לשחרר ערך מהר יותר מאשר איסוף מערכי נתונים חדשים לגמרי.
4. איזון מחדש של מעמדות שאינם מיוצגים כראוי
אם הביצועים חלשים בקטגוריות ספציפיות, יש למקד את האיסוף והתיוג בפערים בעלי ההשפעה הגבוהה במקום להרחיב את כל מערך הנתונים באופן שווה.
5. הוסיפו נתונים סינתטיים או מועשרים במידת הצורך
כאשר נתונים אמיתיים מוגבלים או רגישים, נתונים סינתטיים ומוגברים יכולים לסייע בשיפור הכיסוי - אך יש לאמת אותם בקפידה מול התפלגויות בעולם האמיתי.
6. עבודה עם שותף נתונים מתמחה
עבור צוותים הבונים בינה מלאכותית לייצור בקנה מידה גדול, שיתוף פעולה עם ספק שיכול לאסוף, להעניק רישיונות, להוסיף הערות, לאמת ולנהל נתוני הדרכה באיכות גבוהה יכול להפחית משמעותית את הסיכון בפרויקט ולהאיץ את הפריסה.
מחשבות סופיות
אין מספר קסם לנתוני אימון בלמידת מכונה. הכמות הנכונה תלויה במקרה השימוש, סוג המודל, איכות הנתונים, גיוון המחלקות, אסטרטגיית האימות וביצועי היעד.
הדרך היעילה ביותר להעריך את צורכי נתוני האימון היא להתחיל עם מדגם מייצג, למדוד ביצועים באמצעות עקומות למידה ולהרחיב את מערך הנתונים באופן אסטרטגי בהתבסס על היכן המודל עדיין נכשל.
עבור פרויקטים מסוימים, מערך נתונים צנוע ואיכותי עשוי להספיק. עבור אחרים, במיוחד בסביבות בעלות סיכון גבוה או משתנות מאוד, ההצלחה תלויה במערכי נתונים גדולים, שאורכו בקפידה ומבוארים היטב.
מה שחשוב ביותר הוא לא רק שיהיו יותר נתונים - אלא שיהיו נתונים נכונים.
האם יש לך פרויקט נהדר בראש אבל אתה מחכה למערכי נתונים מותאמים אישית כדי לאמן את המודלים שלך או נאבק להשיג את התוצאה הנכונה מהפרויקט שלך? אנו מציעים מערכי הדרכה נרחבים עבור מגוון צרכי פרויקט. למנף את הפוטנציאל של שייפ על ידי שיחה עם אחד מאיתנו מדעני נתונים היום והבנה כיצד סיפקנו מערכי נתונים בעלי ביצועים גבוהים ואיכותיים עבור לקוחות בעבר.
כמה נתוני אימון מספיקים ללמידת מכונה?
אין מספר קבוע. הכמות הנכונה תלויה במשימה, במורכבות המודל, באיכות התווית, באיזון המחלקות ובדיוק המטרה. הדרך האמינה ביותר להעריך זאת היא להתאמן על תת-קבוצות הולכות וגדלות ולמדוד שיפורי ביצועים.
איך אני יודע אם אני צריך עוד נתוני אימון?
סביר להניח שתזדקק לנתוני אימון נוספים אם ביצועי המודל ממשיכים להשתפר ככל שגודל הנתונים גדל, אם מחלקות נדירות מתפקדות בצורה גרועה, או אם התוצאות אינן יציבות לאורך כל הריצות.
האם למידה מועברת יכולה להפחית את דרישות נתוני ההדרכה?
כן. למידה באמצעות העברה מאפשרת למודלים לעשות שימוש חוזר בידע ממערכות שאומנו בעבר, מה שיכול להפחית משמעותית את כמות הנתונים המתויגים הספציפיים למשימה הנדרשים.
האם יותר נתונים תמיד עדיף ללמידת מכונה?
לא בהכרח. עוד נתונים באיכות נמוכה או עם תווית גרועה עלולים לפגוע בביצועים. במקרים רבים, שיפור איכות הנתונים, האיזון והייצוגיות הוא בעל ערך רב יותר מאשר פשוט הגדלת הנפח.
כמה נתונים אני צריך ללמידה עמוקה?
מודלים של למידה עמוקה דורשים בדרך כלל יותר נתונים מאשר מודלים קלאסיים של למידת מכונה, במיוחד עבור משימות תמונה, דיבור ושפה. עם זאת, מודלים שאומנו מראש ולמידה באמצעות העברה יכולים להפחית דרישה זו.
