פילוח סמנטי מלא של סצנות
כיצד שייפ סיפק פילוח סמנטי ברמת פיקסל על פני סצנות רחוב מלאות - תיוג כל אובייקט ומשטח, מכבישים ושמיים ועד סימוני דרך ועמודים דקים - שנבנה כמערך נתונים ברמת ייצור עבור נהיגה אוטונומית, ערים חכמות ובינה מלאכותית סביבתית.
סקירת הפרויקט
ככל שהבנת הסצנות הופכת לבסיס של נהיגה אוטונומית, תכנון ערים חכמות ובינה מלאכותית לניטור סביבתי, הלקוח נזקק לצינור פילוח מקיף המסוגל לתייג כל פיקסל בתמונה - לא רק תיבות תוחמות או אובייקטים עיקריים.
שייפ בנה את צינור האנוטציות מקצה לקצה ברמת הפיקסלים, הכולל כלי פיתוח של פוליגונים ומסכות סמנטיות, כיסוי מקיף של מחלקות, טיפול בגבולות בדיוק קצה ואבטחת איכות דו-שכבתית - ויצר מערכי נתונים מוכנים למודל להבנה מלאה של הסצנה באמצעות בינה מלאכותית.
סטטיסטיקות מפתח
דיוק פיקסל
99%
רמות אבטחת איכות
2-Tier
סיקור
כל פיקסל
סט כיתה
מקיף
אתגרים
- תיוג כל פיקסל בתמונה - אין אזור ללא תווית מותר
- מעקב גבולות לא סדירים של חופות צמחייה, משטחי מים וסדקי כביש
- הבחנה סימוני דרך ממשטחי הדרך במצבים שחוקים או דהויים
- נפרדים שמיים מתוך ערפל או רקעים מעוננים בדיוק רב
- שמירה גבולות מעמדיים נקיים במעברים בין כביש למדרכה, בין צמחייה לקרקע, בין מים לקרקע
פתרון
סט שיעורים מקיף
ההערה כיסתה סט מלא של קטגוריות סצנה - משטחי כביש, שמיים, צמחייה, אדמה ושטח, גופי מים, עמודים ושילוט מבנים, סימוני דרך (קווי נתיבים, חצים, מעברי חציה), כלי רכב (מכוניות, משאיות, אוטובוסים, אופנועים, אופניים), ומבנים ומבנים מעשה ידי אדם. כל פיקסל הוקצה לאחת מהמחלקות שהוגדרו.
כלי פוליגונים ומסכות סמנטיות
עורכי הערות השתמשו בכלי פוליגונים ייעודיים ובמברשות מסיכה סמנטיות כדי לטפל בגבולות אובייקטים מעוקלים, לא סדירים ודחוסים בדיוק מושלם לפיקסלים. בחירת הכלים הותאמה למורכבות צורת האובייקט - מסכות לצורות אורגניות כמו צמחייה, פוליגונים לאובייקטים מובנים כמו כלי רכב.
הנחיות דיוק קצה
הגדרות מחלקות מחמירות והנחיות דיוק שוליים הופעלו כדי להבטיח גבולות נקיים בין מחלקות סמוכות, במיוחד באזורי מעבר כגון גבולות כביש למדרכה, צמחייה לאדמה, ומים לקרקע. דיוק זה הוא שהופך מודלים של שטחי נסיעה וזיהוי מכשולים במורד הזרם לאמינים.
טיפול במבנים עדינים
מבנים עדינים כמו עמודים, תמרורי תנועה ותמרורים תופסים רק כמה פיקסלים בתמונות זווית רחבה, אך הם קריטיים לבינה מלאכותית במהרה. עורכי הביאור עקבו אחר הנחיות ייעודיות כדי ללכוד את הפרטים העדינים הללו מבלי להתפשר על דיוק גבולות הסצנה הרחב יותר.
בקרת איכות דו-שכבתית ודיוק פיקסלים של 99%
כל תמונה מפולחת עברה תהליך אבטחת איכות קפדני דו-שלבי הכולל בדיקות עקביות בין-אנוטטוריות, ביקורות דיוק שוליים ואימות גבולות מחלקה. דיוק מינימלי ברמת הפיקסלים של 99% קבע כל מערך נתונים לפני המסירה.
היקף הפרויקט
| סוג מערך נתונים | סיקור | כלי ביאור | סט כיתה | QA | דיוק |
|---|---|---|---|---|---|
| פילוח סמנטי מלא של סצנות | כל פיקסל שסומן | פוליגונים + מסכות סמנטיות | שיעורי סצנה מקיפים | בקרת איכות דו-שכבתית | 99% ברמת פיקסל |
תוצאות
- הקימה א צינור הבנת סצנות ברמת הפיקסל עבור AV ובינה מלאכותית של עיר חכמה
- מתוקננת כיסוי מקיף בכיתה עם כל פיקסל המסומן
- נתן מעברי גבולות מחלקה נקיים באזורים מורכבים
- נשמר דיוק של 99% ברמת הפיקסלים באמצעות אבטחת איכות דו-שלבית
- הפעל את הלקוח אזור נהיגה, תכנון עירוני, ניטור סביבתי ומעקב אחר בנייה AI
בסך הכל, שייפ סייע בהפיכת דרישת הבנת סצנה ברמת הפיקסל לצינור פילוח מובנה ומוכן לייצור - כזה המסוגל לתמוך בנהיגה אוטונומית, ניתוח ערים חכמות, ניטור סביבתי ובינה מלאכותית של התקדמות באתרי בנייה בדיוק מלא של תיוג סצנות.
שייפ עזר לנו להפוך את איכות השמע הסובייקטיבית לתוכנית שיפור מדידה. מסגרת ההערכה שלהם נתנה לנו איתותים ברורים לגבי מה לתקן, היכן לשפר וכיצד להתקרב להפקה בביטחון.
