ביאור אובייקטים בסצנה פנימית עבור רובוטיקה לשירות ובינה מלאכותית מגולמת - מקרה בוחן
כיצד שייפ סיפק ביאור מקיף של סצנות פנים עבור חברת חדשנות רובוטית מובילה - זיהוי ותיוג של כל אובייקט בסביבות חדרים עם תיוג קשרים מרחביים - שנבנה כמערכת נתונים ברמת ייצור לתפיסה רובוטית וניווט בינה מלאכותית בבתים, משרדים, מחסנים ומתקני בריאות.
סקירת הפרויקט
ככל שרובוטיקה עוברת לפריסה בעולם האמיתי בבתים, משרדים, מחסנים ובתי חולים, הלקוח נזקק לצינור ביאור מקיף המסוגל לתייג כל אובייקט גלוי בסצנות פנים עמוסות בצפיפות - עם עושר תכונות מספיק למשימות אינטראקציה רובוטיות.
שייפ בנה את צינור ההערות מקצה לקצה, הכולל פילוח של תיבות גבולות ופוליגונים, הכללת אובייקטים צפופים, תיוג קשרים מרחביים וטיפול במשטחים מחזירי אור - ויצר מערכי נתונים מוכנים למודל עבור תפיסה רובוטית, ניווט ואינטראקציה בין אדם לסביבה.
סטטיסטיקות מפתח
אובייקטים / תמונה
100s
כל הקטגוריות
צפוף
שיטות
תיבה + מצולע
שכבות תכונות
4
אתגרים
- הערות כל עצם נראה לעין בתמונות חדר עמוסות בצפיפות - מאות לכל פריים
- בחירת השיטה הנכונה - פילוח תיבה תוחמת לעומת פילוח פוליגונים — מבוסס על מורכבות האובייקט
- כולל חפצים קטנים כמו מתגים, תקעים ופריטים דקורטיביים החיוניים לאינטראקציה רובוטית
- טיפול משטחים מחזירי אור (מראות, שולחנות זכוכית) ללא הערות רפאים
- תיוג מערכות יחסים מרחביות ומצבי אובייקט עבור בינה מלאכותית רובוטית מודעת להקשר
פתרון
הכללת אובייקטים מקיפה
כל אובייקט גלוי בכל תמונה בחדר סומן באופן אינדיבידואלי על פני מגוון רחב של קטגוריות - רהיטים (כיסאות, שולחנות, ספות, מיטות, מדפים), מכשירי חשמל (טלוויזיות, מקררים, מיקרוגלים, מנורות), פריטים אישיים (תיקים, ספרים, בקבוקים, בגדים), אלמנטים מבניים (דלתות, חלונות, קירות, רצפות) וחפצים קטנים (שלט רחוק, כוסות, צלחות, מקלדות, מתגים, תקעים).
בחירת שיטה לכל אובייקט
אובייקטים תויגו במדויק באמצעות תיבות תוחמות או פילוח פוליגונים בהתאם לצורת האובייקט ולמורכבותו. תיבות שימשו עבור אובייקטים מלבניים רגילים; פוליגונים לכדו צורות אורגניות ופריטים דחוסים במיוחד שבהם תיבות היו חופפות יתר על המידה. בחירה זו בשיטה לפי אובייקט הבטיחה גבולות נקיים גם בסצנות עמוסות.
תיוג קשר מרחבי
כל אובייקט עם הערות הועשר בתכונות המכסות את מצב האובייקט (פתוח או סגור עבור דלתות ומגירות), תגי קשר מרחבי המציינים קרבה ומיקום יחסית לאובייקטים אחרים, מצב חסימה ומצב האובייקט. שכבת בינה מרחבית זו מאפשרת למערכות רובוטיות של בינה מלאכותית להבין הקשר, לא רק לזהות אובייקטים.
כיסוי קריטי של אובייקטים קטנים ואינטראקציה
עורכי הערות פעלו לפי כללי הכללה מחמירים כדי לתייג כל אובייקט גלוי ללא קשר לגודלו - כולל פריטים קטנים כמו מתגים, תקעים וחפצים דקורטיביים שהם קריטיים למשימות אינטראקציה רובוטיות. פריטים אלה קובעים לעתים קרובות האם רובוט יכול להשלים את משימתו, כך שלא ניתן היה להוריד את סדר העדיפויות שלהם.
טיפול במשטחים מחזירי אור
משטחים מחזירי אור כמו מראות ושולחנות זכוכית דרשו טיפול מיוחד כדי למנוע הערות כפולות או תופעות של רפאים. הנחיות ספציפיות קבעו האם אובייקטים משתקפים תויגו בנפרד, התעלמו מהם או סומנו בדגל - תוך הבטחה שמודלים במורד הזרם לא ילמדו מתוויות עמוסות בחפצים.
היקף הפרויקט
| סוג מערך נתונים | סיקור | שיטות | כל הקטגוריות | תכונות | התעסקות מיוחדת |
|---|---|---|---|---|---|
| ביאור אובייקט סצנה פנימית | כל עצם נראה לעין | תיבה + מצולע | רהיטים, מכשירי חשמל, פריטים אישיים, מבנים, קטנים | 4 שכבות (מצב, מרחב, חסימה, תנאי) | כללי משטח מחזירי אור |
תוצאות
- הקים צינור ביאור צפוף-אובייקטים לתפיסה רובוטית בתוך מבנים
- מתוקננת בחירת שיטה לכל אובייקט בין תיבות גבולות לפלח פוליגונים
- נתן תיוג קשרים מרחביים מאפשרים בינה מלאכותית רובוטית מודעת להקשר
- מיושם טיפול במשטחים מחזירי אור כדי למנוע הערות רפאים
- הפעל את הלקוח בית, מחסן, קמעונאות ומתקן בריאות פריסת רובוטיקה בתחום הבינה המלאכותית
בסך הכל, שייפ סייע להפוך דרישת אנוטציה פנימית צפופה באובייקטים למערכת צינור מובנה ומוכנה לייצור - כזו המסוגלת לתמוך בניווט רובוטי, אוטומציה של pick-and-place, ניטור סביבה חכם ואינטראקציה בין אדם לרובוט בסביבות פריסה פנימיות מגוונות.
שייפ תיאר חדרים כפי שהרובוטים שלנו רואים אותם - כל חפץ, כל מערכת יחסים, כל פריט קטן שחשוב. תשומת הלב שלהם למתגים, תקעים ומשטחים מחזירי אור גרמה לכך שמודל התפיסה שלנו לא מעד על הדברים שרוב מערכי הנתונים מתעלמים מהם.
