הַגדָרָה
סיווג מסמכים הוא תהליך של סיווג מסמכי טקסט לקטגוריות מוגדרות מראש באמצעות למידת מכונה או שיטות מבוססות כללים. קטגוריות עשויות לכלול נושאים, זיהוי ספאם או סנטימנט.
מטרה
המטרה היא לארגן ולסנן כמויות גדולות של טקסט ביעילות. הוא תומך בחיפוש, ניהול תוכן ותהליכי עבודה אוטומטיים.
חשיבות
- חוסך זמן על ידי אוטומציה של סיווג.
- מפתח לסינון דואר זבל בדוא"ל, גילוי משפטי וניהול ידע.
- שגיאות עלולות להוביל להחמצת מסמכים או סיווגם שגוי.
- קשור למשימות NLP כמו ניתוח סנטימנטים.
איך זה עובד
- איסוף ועיבוד מקדים של מסמכי טקסט.
- ייצוג טקסט באמצעות מאפיינים (למשל, TF-IDF, הטמעות).
- מודלים של סיווג רכבות (SVMs, רשתות נוירונים).
- אימות דיוק המודל על קבוצות בדיקה מתויגות.
- פריסת מסווג כדי לסווג מסמכים חדשים.
דוגמאות (העולם האמיתי)
- מסנן דואר זבל של ג'ימייל: מסווג הודעות דואר זבל והודעות דואר זבל שאינן דואר זבל.
- צוברי חדשות: סיווג מאמרים לפי נושא.
- טכנולוגיית משפט: מסווגת מסמכים לצורך גילוי ותאימות.
מקורות / קריאה נוספת
- מאנינג ואחרים. מבוא לאחזור מידע. הוצאת אוניברסיטת קיימברידג'.
- יוראפסקי ומרטין. עיבוד דיבור ושפה. סטנפורד.
- עסקאות IEEE על הנדסת ידע ונתונים.
