הַגדָרָה
טוקניזציה היא תהליך של פיצול טקסט ליחידות קטנות יותר (טוקנים) כגון מילים, מילות משנה או תווים, המשמשים כקלט למודלי שפה.
מטרה
המטרה היא לתקנן טקסט לרכיבים ניתנים לניהול לצורך אימון והסקה בתואר ראשון במשפטים.
חשיבות
- שלב עיבוד מקדים בסיסי ב-NLP.
- משפיע על גודל אוצר המילים ויעילותו.
- בחירות טוקניזציה משפיעות על הדיוק והביצועים.
- קשור להטמעות ואימון מודלים.
איך זה עובד
- הגדר סכימת טוקניזציה (מילה, מילת משנה, תו).
- החל טוקנייזר על טקסט קלט.
- מיפוי אסימונים למזהים מספריים.
- הזנת אסימונים למודל לצורך עיבוד.
- המר אסימוני פלט בחזרה לטקסט.
דוגמאות (העולם האמיתי)
- קידוד זוגות בתים (BPE) המשמש במודלי GPT.
- WordPiece המשמש ב-BERT.
- SentencePiece משמש ב-NLP רב-לשוני.
מקורות / קריאה נוספת
- סנריך ואחרים. "תרגום מכונה עצבי של מילים נדירות עם יחידות תת-מילתיות." ACL.
- תיעוד של גוגל SentencePiece.
- יוראפסקי ומרטין. עיבוד דיבור ושפה.
