<aside> ℹ️ מידע על העמוד

• מקורות מידע - קורס CS224n של סטנפורד
• עדכניות - חורף 2021 + עדכון בחורף 2023
• להרחבה - סיכום המאמר המקורי Attention is all you need (2017) - לינק. </aside>

https://www.youtube.com/watch?v=LWMzyfvuehA&ab_channel=StanfordOnline

הסתכלנו על מודל Seq2Seq שמשתמשים בו בין היתר לתרגום מכונה. הבעיה הברורה שלו היא בעיית צוואר הבקבוק – המצב החבוי האחרון של האנקודר צריך להכיל מידע על משפט הקלט כולו, ולכן מהווה צוואר בקבוק.

הרעיון של Attention הוא למצוא פתרון לבעיית צוואר הבקבוק. הרעיון הוא בכל שלב בדיקודר, ליצור קישור ישיר direct connection לאנקודר כדי למקד אותו בחלק מסוים של משפט הקלט. זאת שיטה שמאפשרת להפיק מידע יותר איכותי ויותר גמיש ממשפט הקלט כדי להשיג תרגום איכותי. הוכח כי Attention משפר משמעותית את הביצועים של מודלי NMT. השיטה גורמת למודל להיות יותר human-like – אפשר להסתכל על משפט הקלט תוך כדי התרגום, במקום להצטרך לזכור את כולו. בנוסף לפתרון בעיית צוואר הבקבוק, attention עוזרת גם עם בעיית הגרדיאנטים הנעלמים, ומספקת מעין קיצור דרך למצבים חבויים רחוקים. כמו כן, השיטה מספקת מובן מסוים של interpretability בכך שהיא מספקת התפלגות שמאפשרת לנו לראות באילו מילים הדיקודר מתמקד בתהליך התרגום, מה שמאפשר לנו ממש לקבל alignment שהרשת לומדת בעצמה, מבלי שהיינו צריכים לאמן alignment system (כמו שהיינו עושים אם היינו בונים מודל SMT).

הרעיון הכללי הוא כזה – מתחילים עם אנקודר באותו אופן כמו ברשת RNN רגילה, ונייצר באמצעות המצב החבוי שלה את טוקן ההתחלה של המשפט המתורגם (המצב החבוי הראשון של הדיקודר, בטורקיז בתמונה). בנוסף, משתמשים בייצוג החבוי הזה כדי להסתכל ישירות על השורש ולקבל ממנו מידע. כלומר, משווים בין המצב החבוי הראשון של הדיקודר עם המצב החבוי של האנקודר בכל נקודה בזמן, ונשתמש במכפלה פנימית ביניהם כדי ליצור attention score (שהוא למעשה סוג של similarity score). משתמשים ב-softmax על ה-attention scores שחישבנו כדי להפוך אותן לוקטור התפלגות. משתמשים בהסתברות של כל אחת מהנקודות בזמן (השלבים של האנקודר, או מילים במשפט המקור) כדי לקבל וקטור attention output שמייצג ממוצע משוקלל של כמה קשב אנחנו רוצים לתת לכל אחת מהמילים במשפט הקלט. לאחר מכן, אנחנו לוקחים  את הוקטור שקיבלנו ולוקחים סכום ממושקל שלו עם המצבים החבויים של האנקודר. זה ישמש אותנו באמצעות softmax כדי לחזות את כל אחת מהמילים במשפט המתורגם. לפעמים ניקח את ה-attention output מהצעד הקודם ובנוסף נזין אותו לדיקודר (ביחד עם הקלט הרגיל שלו).

הגדרה פורמלית

• מצבים חבויים של האנקודר $h_1, \ldots, h_N \in \mathbb{R}^h$
• לכל נקודה בזמן t, יש מצב חבוי של הדיקודר $s_t \in \mathbb{R}^h$
• לכל נקודה בזמן t, יש attention score המוגדר באופן הבא - $\boldsymbol{e}^t=\left[\boldsymbol{s}_t^T \boldsymbol{h}_1, \ldots, \boldsymbol{s}_t^T \boldsymbol{h}_N\right] \in \mathbb{R}^N$ (מכפלה פנימית בין המצב החבוי של הדיקודר והמצב החבוי של האנקודר).
• מעבירים את ה-attention score להיות וקטור התפלגות באמצעות softmax, ומקבלים את ה-attention distribution המסומנת $α^t$ לכל נקודה בזמן t, כלומר - $\alpha^t=\operatorname{softmax}\left(\boldsymbol{e}^t\right) \in \mathbb{R}^N$.
• משתמשים ב- כדי לקחת סכום ממושקל של המצבים של החבויים של האנקודר, ונקבל את ה-attention output המוגדר באופן הבא לכל נקודה בזמן t - .
• לבסוף, אנחנו מחברים את כל ה-attention outputs עם המצבים החבויים של הדיקודר ומשתמשים בזה ב-non-attention seq2sqe model - $\left[a_t ; s_t\right] \in \mathbb{R}^{2 h}$.

וריאציות נוספות של attention

מה שמשותף לכל הוריאציות של attention הוא שישנם מספר ערכים values המסומנים $h_1, \ldots, h_N \in \mathbb{R}^{d_1}$ וכמו כן שאילתא query המסומנת $s \in \mathbb{R}^{d_2}$. כמו כן, בכל הגרסאות מה שנעשה זה:

• לחשב את ה-attention scores המסומנות $e \in \mathbb{R}^N$
• לקחת softmax כדי לקבל את ה-attention distribution המסומנת $\alpha=\operatorname{softmax}(e) \in \mathbb{R}^N$
• להשתמש ב-attention distribution כדי לקחת סכום ממושקל של הערכים - $\boldsymbol{a}=\sum_{i=1}^N \alpha_i \boldsymbol{h}_i \in \mathbb{R}^{d_1}$ ובכך לקבל את ה-attention output המסומן a (לעתים מכונה context vector).