המדריך האולטימטיבי להערות תמונה עבור ראייה ממוחשבת: יישומים, שיטות וקטגוריות

כעת, בואו נתייחס לכל שיטה בצורה מפורטת.

סיווג תמונות

סיווג תמונה הוא תהליך של הקצאת תווית או קטגוריה לתמונה שלמה על סמך התוכן שלה. לדוגמה, אם יש לך תמונה עם מיקוד עיקרי על כלב, התמונה תסומן כ"כלב".

בתהליך של הערת תמונה, סיווג תמונה משמש לעתים קרובות כשלב ראשון לפני הערות מפורטות יותר כמו זיהוי אובייקט או פילוח תמונה, מכיוון שהוא ממלא תפקיד מכריע בהבנת הנושא הכולל של תמונה.

לדוגמה, אם אתה רוצה להוסיף הערות לרכבים עבור יישומי נהיגה אוטונומית, אתה יכול לבחור תמונות המסווגות כ"רכבים" ולהתעלם מהשאר. זה חוסך הרבה זמן ומאמץ על ידי צמצום התמונות הרלוונטיות להערת תמונה מפורטת יותר.

חשבו על זה כעל תהליך מיון שבו אתם מכניסים תמונות לקופסאות מסווגות שונות בהתבסס על הנושא הראשי של תמונה, שבהן תשתמשו בהמשך להערה מפורטת יותר.

נקודות מפתח:

• הרעיון הוא לברר מה התמונה כולה מייצגת במקום לוקליזציה של כל אובייקט.
• שתי הגישות הנפוצות ביותר לסיווג תמונות כוללות סיווג בפיקוח (באמצעות נתוני הכשרה מתויגים מראש) וסיווג ללא פיקוח (גילוי אוטומטי של קטגוריות).
• משמש בסיס למשימות ראייה ממוחשבת רבות אחרות.

זיהוי אובייקט

בעוד שסיווג תמונה מקצה תווית לתמונה כולה, זיהוי אובייקט לוקח את זה צעד קדימה על ידי זיהוי אובייקטים ומתן מידע עליהם. מלבד זיהוי אובייקטים, הוא גם מקצה תווית מחלקה (למשל, "מכונית", "אדם", "תמרור עצור") לכל תיבה תוחמת, המציינת את סוג האובייקט שהתמונה מכילה.

נניח שיש לך תמונה של רחוב עם חפצים שונים, כגון מכוניות, הולכי רגל ותמרורים. אם היית משתמש בסיווג תמונה שם, זה היה מתייג את התמונה כ"סצנת רחוב" או משהו דומה.

עם זאת, זיהוי אובייקטים ילך צעד אחד קדימה ותצייר תיבות תוחמות סביב כל מכונית, הולכי רגל ותמרור, ובעצם מבודד כל אובייקט ומתייג כל אחד מהם בתיאור משמעותי.

נקודות מפתח:

• מצייר תיבות תוחמות סביב האובייקטים שזוהו ומקצה להם תווית מחלקה.
• זה אומר לך אילו חפצים נמצאים והיכן הם ממוקמים בתמונה.
• כמה דוגמאות פופולריות לזיהוי אובייקטים כוללות R-CNN, Fast R-CNN, YOLO (אתה מסתכל רק פעם אחת) ו-SSD (גלאי ירי בודד).

פילוח

פילוח תמונה הוא תהליך של חלוקת תמונה למספר מקטעים או קבוצות של פיקסלים (הידועים גם כסופר פיקסלים) כך שתוכל להשיג משהו משמעותי יותר וקל יותר לניתוח מאשר התמונה המקורית.

ישנם 3 סוגים עיקריים של פילוח תמונה, כל אחד מיועד לשימוש אחר.

1. פילוח סמנטי

   זוהי אחת המשימות הבסיסיות בראייה ממוחשבת שבה אתה מחלק תמונה למקטעים מרובים ומשייך כל מקטע לתווית או מחלקה סמנטית. שלא כמו סיווג תמונה, שבו אתה מקצה תווית אחת לתמונה כולה, פילוח סמנטי מאפשר לך להקצות תווית מחלקה לכל פיקסל בתמונה, כך שבסופו של דבר יש לך פלט מעודן בהשוואה לסיווג תמונה.

   המטרה של פילוח סמנטי היא להבין את התמונה ברמה גרעינית על ידי יצירת גבולות או קווי מתאר מדויקים של כל אובייקט, משטח או אזור ברמת הפיקסלים.

   נקודות מפתח:

   • מכיוון שכל הפיקסלים של מחלקה מקובצים יחד, היא לא יכולה להבחין בין מופעים שונים של אותה מחלקה.
   • נותן לך תצוגה "הוליסטית" על ידי תיוג כל הפיקסלים אך אינו מפריד בין אובייקטים בודדים.
   • ברוב המקרים, הוא משתמש ברשתות קונבולוציוניות מלאות (FCNs) המפלטות מפת סיווג עם אותה רזולוציה כמו הקלט.

2. פילוח מקרים

   פילוח מופעים עובר צעד מעבר לפילוח סמנטי על ידי זיהוי לא רק של האובייקטים אלא גם פילוח מדויק ומתאר את הגבולות של כל אובייקט בודד, אותם ניתן להבין בקלות על ידי מכונה.

   במקרה של פילוח, עם כל אובייקט מזוהה, האלגוריתם מספק תיבה תוחמת, תווית מחלקה (למשל, אדם, מכונית, כלב), ומסכה לפי פיקסלים המציגה את הגודל והצורה המדויקים של אותו אובייקט ספציפי.

   זה יותר מסובך בהשוואה לפילוח סמנטי, שם המטרה היא לתייג כל פיקסל בקטגוריה מבלי להפריד בין אובייקטים שונים מאותו סוג.

   נקודות מפתח:

   • מזהה ומפריד בין אובייקטים בודדים על ידי מתן תווית ייחודית לכל אחד.
   • הוא מתמקד יותר באובייקטים הניתנים לספירה עם צורות ברורות, כמו אנשים, בעלי חיים וכלי רכב.
   • הוא משתמש במסכה נפרדת לכל אובייקט במקום להשתמש במסכה אחת לכל קטגוריה.
   • משמש בעיקר להרחבת מודלים של זיהוי אובייקטים כמו Mask R-CNN דרך ענף פילוח נוסף.

3. פילוח פנופטי

   פילוח פנופטי משלב את היכולות של פילוח סמנטי ופילוח מופעים. החלק הטוב ביותר בשימוש בפילוח פאנופטי מקצה תווית סמנטית ומזהה מופע לכל פיקסל בתמונה, ומעניק לך ניתוח מלא של הסצנה כולה במכה אחת.

   הפלט של הפילוח הפנופטי נקרא מפת פילוח, כאשר כל פיקסל מסומן במחלקה סמנטית ומזהה מופע (אם הפיקסל שייך למופע אובייקט) או ריק (אם הפיקסל אינו שייך לאף מופע).

   אבל יש גם כמה אתגרים. זה דורש מהמודל לבצע את שתי המשימות בו זמנית ולפתור התנגשויות פוטנציאליות בין חיזויים סמנטיים למופעים, מה שדורש יותר משאבי מערכת ומשמש רק כאשר נדרשות הן סמנטיקה והן מופעים עם מגבלות זמן.

   נקודות מפתח:

   • הוא מקצה תווית סמנטית ומזהה מופע לכל פיקסל.
   • תערובת של הקשר סמנטי וזיהוי ברמת המופע.
   • בדרך כלל, זה כרוך בשימוש במודלים נפרדים של פילוח סמנטי ומופע עם עמוד שדרה משותף.

   להלן איור פשוט המציע את ההבדל בין פילוח סמנטי, פילוח מופע ופילוח פנופטי: