ביאור על תנוחת היד

ביאור תנוחת יד למניפולציה זריזה של רובוטים

הערות על תנוחת כף היד הן תהליך של תיוג האופן שבו יד ואצבעותיה נעות על פני כל פריים בסרטון, כך שרובוטים יכולים ללמוד מניפולציה מיומנת, בדומה לבני אדם. הרובוטים של היום יכולים ללכת, לגלגל ולאחוז בקופסה. מה שהם עדיין מתקשים איתו הוא הדברים הקטנים - לכפתר חולצה, להשחיל כבל, להרים ענב בודד מבלי למעוך אותו. ב-Shaip, אנחנו רואים את זה כל יום: החלק הקשה של בינה מלאכותית פיזית אינו ללמד רובוט לזוז, אלא ללמד את ידיו להתנהג . וזה מסתכם באיכות נתוני תנוחת כף היד שמאחוריה.

פוסט זה מעמיק במיוחד בידיים. אם אתם רוצים קודם כל את התמונה הרחבה יותר, התחילו עם המדריך שלנו לנתוני אימון רובוטים ומערכי נתונים של מניפולציה - זהו פרק המיומנות בסיפור הזה.

מדוע זריזות היא צוואר הבקבוק האמיתי במניפולציה של רובוטים?

זריזות היא צוואר הבקבוק מכיוון שתנועה גסה נפתרת במידה רבה ושליטה עדינה באצבעות לא. ניתן ללמד רובוט להגיע ולסגור אחיזה. ללמד אותו לגלגל עט בין שתי אצבעות, או לאחוז מחדש מברג באמצע משימה, זה אתגר אחר - וזה תלוי לחלוטין בנתונים שלוכדים כיצד האצבעות נעות בפועל.

מדוע זריזות היא צוואר הבקבוק האמיתי במניפולציה של רובוטים?

הנה הדרך הפשוטה שבה נסביר זאת ללקוחות:

  • תנועה ואחיזה גסה — עובד בעיקר. קיימים שפע של נתונים.
  • מניפולציה עדינה, מרובת אצבעות — לרוב לא עובד. הנתונים בקושי קיימים.
  • הפער — דוגמאות אימון שמתעדות מה כל אצבע עשתה, באיזה סדר, ומתי היא נגעה בחפץ.

השורה האחרונה הזו היא בדיוק מה שמייצר ביאור תנוחת כף היד. בלעדיה, רובוט יכול לזהות שרוך נעל אבל אין לו מושג איך לקשור אותו.

מהי בדיוק ביאור תנוחת כף היד?

הערת תנוחת כף היד היא סוג של הערת נקודות מפתח שבה מפרקי כף היד - פרקי האצבעות, מקטעי האצבעות, קצות האצבעות ופרק כף היד - מסומנים ועוקבים אחריהם בכל פריים של סרטון. זה הופך סרטון רגיל של יד לתיעוד נקי ומובנה של תנועה שממנו מודל יכול ללמוד.

מהי בדיוק ביאור תנוחת כף היד?

בפועל, הצוותים שלנו מתייגים ארבעה דברים בכל יד:

  1. שלד היד — קבוצה עקבית של נקודות על פני האצבעות ופרק כף היד (בדרך כלל פריסה של 20 נקודות פלוס).
  2. תנועת מפרקים — כיצד נקודות אלה מתכופפות ומסתובבות ככל שהמשימה מתפתחת.
  3. התנועה לאורך זמן — המסלול החלק של כל נקודה מהפריים הראשון לאחרון, לא רק תמונות בזק בודדות.
  4. רגעי קשר — המסגרות המדויקות שבהן אצבע נוגעת, אוחזת או מרפה מחפץ.

הפריט הרביעי הוא המקום שבו שוכנת המיומנות. כל אחד יכול לסמן היכן נמצאת יד; הערך טמון בלכידת האיך והמתי.

במה שונה ביאור זריזות מבאור נקודות מפתח סטנדרטיות?

ביאור זריזות הוא ביאור נקודות מפתח שמוחזק בסטנדרט גבוה בהרבה. עבודה סטנדרטית של נקודות מפתח עונה על השאלה "איפה היד?" ביאור זריזות עונה על השאלה "מה עשתה כל אצבע, באיזה סדר, ומתי היא יצרה מגע?" - וזו הגרסה היחידה שעליה מודל מניפולציה יכול להתאמן בפועל.

ההבדל בולט ביותר זה לצד זה:

מה שאנחנו מסמנים ביאור נקודות מפתח סטנדרטי ביאור תנוחת יד ברמת זריזות
פרט מיקום הידיים, לכל פריים תנועת אצבעות מלאה, כל פריים
עומק שטוח, דו-ממדי תלת מימד - כיצד מפרקים נעים במרחב
זְמַן פריים אחר פריים, עצמאי תנועה אחת חלקה ורציפה
צרו קשר לעיתים רחוקות מתויג אחיזה, מגע ושחרור מסומנים
הסתה לעתים קרובות מדלגים הוסכם ומולא בקפידה
למה זה טוב מחוות, מעקב ידיים ללמד רובוטים לתמרן

העמודה הימנית היא מה שאנחנו בונים בשאיפ, כי זו העמודה היחידה שרובוט מיומן יכול ללמוד ממנה.

כיצד אנוטציות של תנוחת יד הופכות וידאו אנושי למיומנות רובוטית?

ביאור תנוחות ידיים הוא הגשר בין סרטונים אנושיים זולים להדגמות רובוטים יקרות. ריטרגטינג הוא השלב שממפה את תנועות היד המסומנות של אדם על ידו של רובוט, כך שהדגמה אנושית הופכת למשהו שרובוט יכול להעתיק. צילום אנשים הוא קל וניתן להרחבה; צילום הדגמות רובוטים אמיתיות הוא איטי ויקר - לכן הדרך החכמה היא ללמד רובוטים מאיתנו.

הזרימה שאנו מריצים עבור לקוחות נראית כך:

  1. שיא — צילום וידאו בגוף ראשון ("מה שהידיים שלי רואות") של אדם מבצע משימה.
  2. הוסף הערות — סמנו את תנוחת היד בכל פריים כדי לשחזר את תנועת האצבע המלאה.
  3. ריטרגטינג — למפות את התנועה הזו על יד הרובוט כדי שיוכל לשחזר את הפעולה.

דוגמה שימושית: כדי ללמד רובוט מטבח לפצח ביצה, לא צריך אלף רובוטים שמתאמנים. צריך סרטון נקי ומתויג היטב של אנשים מפצחים ביצים - ההערות הן מה שהופך את הצילומים לניתנים ללמידה.

היכן נעשה שימוש בפועל בנתוני מניפולציה מיומנים?

נתוני מיומנות חשובים בכל מקום שבו מכונה צריכה להתמודד עם העולם הפיזי בזהירות. זהו החלק שרוב הסקירות מדלגות עליו, לכן כדאי להיות קונקרטיים. הזנות של תנוחת יד וזריזות:

רובוטים דמויי אדם וביתיים - קיפול כביסה, טעינת מדיח כלים, טיפול בחפצים יומיומיים בכל צורה שהיא.

אוטומציה של מחסנים וקמעונאות - איסוף פריט שביר מהמדף מבלי לפגוע בו, או מיון מוצרים מעורבים לפי תחושה.

שירותי בריאות ורובוטיקה מסייעת - מכשירי שיקום וזרועות מסייעות שחייבות לנוע בעדינות סביב אנשים.

ייצור ותיקון - שימוש בכלים, ניתוב כבלים והרכבה של חלקים קטנים שבהם אחיזה גסה פשוט לא תספיק.

מציאות רבודה/מציאות מדומה ומוצרים לבישים - אינטראקציה טבעית עם הידיים, בקרת מחוות וממשקי מעקב ידיים.

הקו המשותף: כל אחד מהם נכשל ללא נתוני אימון שלוכדים תנועות אצבעות עדינות. זה הצורך שעבודת התנועה, התנוחה והמיומנות של שייפ בנויה לענות עליו.

מה גודל נתוני המיומנות הנדרשים - וכמה טובים?

קנה המידה חשוב, אבל האיכות חשובה יותר. כדי לשים את קנה המידה בפרספקטיבה, מערך נתונים מחקרי פורץ דרך שפורסם בשנת 2025 אסף 829 שעות של סרטוני מניפולציה בגוף ראשון עם מעקב ידיים מזווג על פני 194 משימות יומיומיות - שתוארו על ידי מחבריו כמערך הנתונים הגדול ביותר מסוגו של מניפולציה מיומנת ( Apple Machine Learning Research, 2025 ). זה הכיוון שאליו הולך התחום: גדול, עשיר בתוויות, ומגוון משימות.

אבל נפח לבדו לא מאמן רובוט טוב. מניסיוננו ב-Shaip, רוב כשלי המיומנות נובעים מאיכות התווית , ולא מגודל מערך הנתונים. הבעיות הקשות הן פרקטיות:

  • אצבעות נסתרות — ידיים מכסות את עצמן ואת החפצים שהן אוחזות ללא הרף.
  • אצבעות דומות — קל לתייג בטעות אצבע אחת כשכנתה.
  • תנועה מהירה — תנועות מהירות מטשטשות את המסגרות החשובות ביותר.
  • עקביות לאורך זמן — תווית מפרק רועד אחת יכולה להרוס רצף תנועה שלם.

זו הסיבה שכל פרויקט מיומנות ב-Shaip עובר דרך צוותים מיומנים, אנושיים ומעודכנים, ותהליך איכות רב-שלבי - אימות במעבר ראשון, כיול מול סט סטנדרטים גבוהים, וסקירת גרסה סופית - עם הסכמה בין-מביאים וספי קבלה ספציפיים למשימה שנקבעו לכל פרויקט. נתונים נקיים זולים יותר מרובוט שלמד את התנועה הלא נכונה.

איך שייפ עוזר

ב-Shaip, אנו מטפלים בכל המסע - מאיסוף וידאו מגוף ראשון והדגמה אנושית, דרך תנוחות ידיים מדויקות ותיוג מיומנות, ועד לנתונים מוכנים לריטרגטינג שהצוות שלכם יכול להתאמן עליהם. הכל מסופק תחת אבטחה ברמה ארגונית (ISO 27001 ו-SOC 2 Type II) על ידי כוח אדם מנוהל ומאומת.

גלו את פתרונות אימון נתוני הבינה המלאכותית הפיזית שלנו , ראו כיצד אנו מנהלים איסוף נתוני וידאו אגוצנטריים עבור נתוני מיומנות בצילום מגוף ראשון, או קראו את המדריך הנלווה שלנו על מהו מערך נתונים אגוצנטרי.

הערות על תנוחת כף היד הן תיוג של מפרקי כף היד - פרקי האצבעות, מקטעי האצבעות, קצות האצבעות ופרק כף היד - בכל פריים בסרטון. הן יוצרות נתונים מובנים שמלמדים רובוטים ומודלים של בינה מלאכותית כיצד יד נעה ומטפלת בעצמים לאורך זמן.

ביאור נקודות מפתח סטנדרטיות מסמן את מיקום היד, פריים אחר פריים, בדו-ממד. ביאור מיומנות מוסיף עומק, תנועה חלקה לאורך זמן ורגעי מגע מתויגים - ויוצר נתונים שרובוט יכול להשתמש בהם בפועל כדי ללמוד מניפולציה עדינה מרובת אצבעות.

ריטרגטינג ממפה את תנועות היד המסומנות של אדם על ידו של רובוט, כך שהדגמה אנושית הופכת לפעולה שהרובוט יכול לשחזר. כך הופכים סרטונים אנושיים רבים לנתוני אימון רובוטים נדירים ובעלי ערך.

זריזות מגבילה את רובוטים מכיוון שמשימות גסות כמו הליכה ואחיזה פשוטה נפתרות במידה רבה, בעוד ששליטה עדינה באצבעות - אחיזה חוזרת של כלי, טיפול בחפץ עדין - חסרה את נתוני האימון שלוכדים את תנועת האצבעות. ביאור תנוחת כף היד מספק את האות החסר.

רובוטיקה הומנואידית וביתית, אוטומציה של מחסנים וקמעונאות, רובוטים רפואיים ומסייעים, ייצור ותיקון, ואינטראקציה ידנית של מציאות רבודה/מציאות מדומה, כולם מסתמכים על נתוני מיומנות כדי לטפל באובייקטים מהעולם האמיתי בבטחה ובדייקנות.

שניהם חשובים, אבל איכות התווית בדרך כלל קובעת את התוצאה. מערכי נתונים גדולים עוזרים, אך רוב כשלים בזריזות נובעים מתוויות יד לא עקביות או לא מדויקות - ולכן Shaip משלבת קנה מידה עם בקרת איכות קפדנית המבוססת על אדם.

כן. שייפ אוסף ומוסיף הערות לסרטוני הדגמה בגוף ראשון ובבני אדם, ומייצר נתוני פוזות יד מדויקים ומוכנים למיקוד מחדש תחת בקרות ISO 27001 ו-SOC 2 Type II.

נהניתם מהמאמר? עקבו אחר שייפ בלינקדאין לעדכונים נוספים.

שתף חברתי