רובוטים יכולים לראות. מערכי נתונים של תמונות בקנה מידה גדול באינטרנט ועשור של מודלים משופרים אפשרו זאת. אבל אם תבקשו מרובוט להרים קרטון חצי מרוסק, להשחיל כבל או למסור כלי למנתח, הגלגלים יתנתקו. לא בגלל שהמצלמות כשלו. כי שום דבר באימון של הרובוט מעולם לא לימד אותו איך אמור להרגיש מגע. מגע הוא התחושה שהבינה המלאכותית הפיזית שכחה, והסיבה לכך פשוטה יותר ממה שרוב הצוותים מצפים: אות האימון עדיין לא קיים. המאמר הזה עוסק באות עצמו - נתוני חישה טקטילייםמה הוא באמת מכיל, כיצד הוא מיוצר, ובמה הוא צריך להיות מתויג לפני שהוא הופך לשימושי. דלגו על כל אחת משלוש השאלות הללו והמודלים יישארו עיוורים במובן האחד שחשוב ביותר למניפולציה.
ארבעת מחלקות האותות בתוך נתוני חישה טקטיליים
הדבר הראשון שמשתבש הוא ש"מישוש" מתייחסים אליו כאל דלי יחיד. בפועל, מודל הלומד לתמרן זקוק לארבעה מחלקות אותות שונות, שכל אחת מהן נקלטת על ידי חומרה שונה וכל אחת מלמדת את המודל משהו שונה. חלוקת הלחץ אומרת לרובוט איפה ו כמה קשה מגע מתרחש על פני משטח המגע - מספיק כדי להעריך את איכות האחיזה ואת תנוחת האובייקט בתוך האחיזה. רטט לוכד זמני תנועה בתדר גבוה: המיקרו-אירועים המסמנים החלקה, התנגשות או חריקת משטח מחוספס המחליק כנגד משטח אחר. כוח ומומנט מתארים את החילוף המכני נטו בשורש כף היד או במפרק - ההבדל בין לחיצה על כפתור לכיפופו. פרופריוספציה היא תחושת הגוף של הרובוט: מיקומי אצבעות, פתח האחיזה, מצבי מפרק בדיוק ברגע המגע. מודל שאומן על כל אחד מאלה בנפרד הוא פונקציונלי יד אחת.
| מחלקת אותות | מה זה מודד | קצב לכידה טיפוסי | מה זה מלמד את המודל |
|---|---|---|---|
| לַחַץ | מיקום מגע, צורה, עוצמה | 100–500 הרץ | איכות אחיזה, תנוחת האובייקט בתפסן |
| רטט | טרנזיינטציות מגע בתדירות גבוהה | 1–5 קילוהרץ | תחילת החלקה, התנגשויות, מרקם פני השטח |
| כוח / מומנט | עומס מכני נטו במפרק | 500–1,500 הרץ | כוחות הכנסה, תאימות, גבולות מגע בטוח |
| פרופריוספציה | מצב אחיזה ומפרק | 100–1,000 הרץ | מודעות גוף, הסקת עיוותים |
כיצד נאספים בפועל נתוני חישה טקטילית
שלא כמו נתוני ראייה, אף אחד מאלה לא ניתן לגנוב. כל דגימה צריכה להיות מיוצרת על ידי חיישן אמיתי שנוגע באובייקט אמיתי. ישנם שלושה מצבי איסוף מעשיים, ותוכניות ברמת ייצור בדרך כלל פועלות שלושתן במקביל.
הדגמות אנושיות מרחוק
מפעיל מיומן מפעיל את הרובוט באמצעות משימה - איסוף, הכנסה, מסירה - בעוד שכל ערימת החיישנים מקליטה. מכיוון שאדם נמצא בלולאה, המסלולים הם מעצם הגדרתם מוצלחים ומגוונים, והם לוכדים את האסטרטגיות השקטות בהן בני אדם משתמשים כדי להתאושש מטעויות קטנות. זהו עמוד השדרה של צינורות חיקוי-למידה וחזון-שפה-פעולה.
מתקני אינטראקציה מתוסרטים
הרובוט מריץ תנועות מתוכנתות כנגד קבוצה מוגדרת של עצמים, לרוב במהירויות, זוויות ולחצים מגוונים. מצב זה הוא ללא תחרות לכיסוי משטרי מגע ספציפיים - לדוגמה, "חמישים כניסות של מחבר זה בעשר זוויות כניסה שונות ושלושה תנאי חיכוך". כך בונים מערכי נתונים המבודדים משתנה יחיד.
לכידת פריסה
ברגע שרובוט פועל בסביבה אמיתית, כל משמרת מייצרת נתונים חדשים - כולל אירועים נדירים שמעולם לא חשבתם לתעד. סגירת המעגל בין פריסה לאימון מחדש היא מקור השיפורים ארוכי הטווח ביכולות.
דמיינו יצרן מכשירי חשמל פורס תא בעל שני זרועות לניתוב צמת חיווט של מדיח כלים. הסימולציה הובילה את הצוות לאב טיפוס עובד. שישה שבועות של הדגמות מרחוק - טכנאי מנוסה שהנחה את הזרועות דרך מאות רתמות אמיתיות עם רישום מלא של הערימה המגעית - הם מה שהעביר את הצוות עד לרצפת הייצור. צוותים המריצים תוכניות בקנה מידה כזה בדרך כלל נשענים על מומחה. שותף לאיסוף נתונים פיזיים של בינה מלאכותית לאייש את המפעילים, לתאם את האסדות ולנהל את הסנכרון בין המודים שהופך את הנתונים המתקבלים לניתנים לאימון בפועל.
הערה אחת לגבי סימולציה: היא בעלת ערך, אך היא אינה יכולה לשאת מישוש בפני עצמה. פיזיקת מגע מדומה עדיין שונה באופן משמעותי מחיכוך, עיוות והחלקה בעולם האמיתי - במיוחד עבור חומרים גמישים או גמישים. נתונים מישושיים סינתטיים מרחיבים מערך נתונים מהעולם האמיתי. הם אינם מחליפים אחד כזה.
עם אילו נתונים טקטיליים יש לתייג
זרמי חיישנים גולמיים אינם נתוני אימון. הם הופכים לנתוני אימון רק לאחר שביאור סימנו מה קרה בפועל, מתי זה קרה, וכמה טוב זה הלך. חמש משפחות תוויות חשובות ביותר.
תוויות תוצאה של אחיזה: מוצלח, החליק, נתפס מחדש, נכשל - מיושם על כל פרק מניפולציה. אלה הם אות הפיקוח על כל דבר במורד הזרם.
גבולות משטר מגע וחותמות זמן של החלקה: הרגע שבו האחיזה נוגעת בחפץ. הרגע שבו החפץ מתחיל לנוע באחיזה. רגע השחרור. הדיוק כאן נמדד בעשרות מילישניות, כי שם נמצא הדפוס הניתן ללמידה.
סוגריים של גודל הכוח: קבוצות כוח דיסקרטיזציה בכל שלב של אינטראקציה - גישה, מגע, מושב, החזקה, שחרור. אלה מאפשרים למודל ללמוד כיצד נראה פרופיל כוח הכנסה "נורמלי", ולכן לזהות מתי משהו לא תקין.
תוויות זיווג ראייה-מישוש: כל אירוע מישושי מותאם למסגרת החזותית המלווה אותו ולמצב הפרופריוספטיבי באותו רגע. שיטות לא מתואמות מלמדות את המודל קורלציות שגויות ובטוחות, וזה גרוע יותר מאשר חוסר נתונים.
הערכות עיוות ותאימות: עבור עצמים הניתנים לעיוות, רכים או שבירים, מבארי הערות לוכדים כיצד האובייקט השתנה תחת האחיזה, וכמה נותר המגע שנוצר.
תיוג טוב של זה קרוב יותר ללימוד נגינה על ידי שמיעה מאשר לתיוג תמונות. המבאר אינו מצייר מסגרת סביב הולך רגל; הוא מזהה את הרגע המדויק שבו דפוס השתנה באות של 1,500 הרץ ומציין את משמעות השינוי. תוכניות הפקה מסתמכות על... זרימות עבודה של ביאור מגעיל ורב-מודאלי עם בקרת איכות מדורגת, כי פרשן רשלני אחד יכול להרעיל בשקט ריצת אימון שלם.
סיכום - מ"לא יכול להרגיש" ל"יודע למה להרגיש"
הקפיצה מרובוטים שיכולים לראות לרובוטים שיכולים להרגיש אינה קפיצה בחומרה. זוהי קפיצה בנתונים שמלמדת מודלים מה המשמעות האמיתית של מגע. לחץ, רטט, כוח, פרופריוספציה - נלכדים בסנכרון, נאספים באמצעות אינטראקציה אמיתית, ומבוארים בדיוק שהפיזיקה דורשת. בניית הצוותים מערכות בינה מלאכותית פיזיות שעובדים בכל משמרת, לא רק בהדגמות, הם אלה שמתייחסים לנתוני חישה מישושית כאל אות האימון שהוא: צר, יקר, שאין לו תחליף, והשכבה היחידה שהופכת רובוט ממשהו שצופה בעולם למשהו שיכול לפעול בו באופן אמין.
מה נחשב כנתוני חישה טקטילית?
כל אות חיישן הנקלט בנקודת המגע או בסמוך לה - מפות לחץ, עקבות רטט, קריאות כוח-מומנט ומצב הפרופריוספטיבי של הרובוט עצמו במהלך מגע. ההגדרה השימושית מכסה את כל ארבעת הקטגוריות מכיוון שכמעט תמיד יש צורך בהן יחד.
כיצד נאספים בפועל נתונים טקטיליים?
שלושה מצבים מעשיים: הדגמות אנושיות מרחוק, מתקני אינטראקציה מתוסרטים המבודדים תנאים ספציפיים, ולכידה במהלך פריסה מרובוטים מפעילים. תוכניות ייצור משתמשות בשלושתם.
האם ניתן לייצר נתונים טקטיליים בסימולציה?
חלקית. סימולציה מצוינת עבור תרחישים נדירים ונפחיים, אך פיזיקת מגע מדומה עדיין נסחפת מהמציאות - במיוחד עבור חומרים של חיכוך, החלקה ועיוות. נתונים סינתטיים של מגע משלימים נתונים מהעולם האמיתי; הם אינם מחליפים אותם.
אילו הערות נדרשות לנתונים טקטיליים?
תוצאות אחיזה, גבולות משטר מגע וחותמות זמן החלקה, סוגריים של גודל כוח בכל שלב, זיווג ראייה-מישוש, והערכות עיוות או תאימות. כל משפחת תוויות מלמדת את המודל היבט שונה של מניפולציה.
מדוע אין מערך נתונים ציבורי של מידע טקטילי בקנה מידה של ImageNet?
מכיוון שניתן לייצר נתונים טקטיליים רק באמצעות מגע פיזי - חיישן אחר חיישן, אובייקט אחר אובייקט, פרק אחר פרק. אין מקבילה לגירוד, וזו בדיוק הסיבה שתוכניות איסוף והערות ייעודיות הן שוברות צווארי בקבוק בבינה מלאכותית פיזית.
