<aside> ℹ️ מידע על העמוד

הגדרת המשימה

המשימה היא לזהות ולסווג שמות בטקסט, לדוגמא:

Untitled

שימושים אפשריים לפתרון שכזה יכולים להיות מעקב אחר אזכורים של ישויות מסוימות במסמך, או לשימוש עבור מענה על שאלות (תשובות הן לעתים קרובות ישויות בעלות שם). לעתים קרובות פתרון הבעיה הזו מוביל לבעית ההמשך של Named Entity Linking. דרך פשוטה לפתור את הבעיה הזו באמצעות רשת נוירונים – סיווג לפי חלונות תוך שימוש בקלסיפיקציה בינארית לוגיסטית. הראיון הוא לסווג כל מילה בתוך חלוק ההקשר שלה (שמורכב ממילות הקשר). לאחר מכן, נאמן קלסיפייר לוגיסטי על דאטא שתויג ידנית כדי לסווג עבור כל מילה באופן בינארי האם היא מילת הקשר, תוך התבססות על ה-word vector של כל אחת ממילות ההקשר (כאשר כל הוקטורים האלו "מודבקים" concatenated לכדי וקטור אחד מאוד ארוך). לדוגמא:

Untitled

הקלסיפייר שנשתמש בו נראה כך – וקטור הקלט יהיה ממימד מספר המילים בחלון כפול מימד הוקטור של מילה בודדת. וקטור הקלט מוכפל במטריצת המשקולות W ומתווסף לו פרמטר הביאס b, ולאחר מכן הוא מועבר דרך שכבר לא לינארית (למשל softmax). כלומר, יש לנו שכבה חבויה אחת, שמיוצגת ע"י hidden vector ממימד קטן יותר מהמימד המקורי של הקלט (השכבה האמצעית בציור משמאל). הוקטור החבוי מוכפל במכפלה פנימית בוקטור נוסף u כך שמתקבל סקלר בודד. המספר הזה מוכנס לפונקצית טרנספורמציה לוגיסטית כדי "להתאים" אותו לטווח בין 0 ל-1, ובכך לייצג את ההסתברות של מילת הקלט להיות שם של ישות.

Untitled