<aside> ℹ️ מידע על העמוד

• מקורות מידע - קורס CS224n של סטנפורד
• עדכניות - חורף 2021 </aside>

https://www.youtube.com/watch?v=-Ldg4qFL6bU

התפיסה השגויה הרווחית היא ששפה נוגעת למילים למשמעות שלהן – אך המרצה (Yulia Tsvetkov) חושבת שזה לא נכון, וששפה נוגעת לאנשים ולמה שהם מתכוונים. זה גורם לכך שמערכות AI שמשתמשות בשפה מקודדות בתוכן את האופן שבני אדם מתקשרים, ובתוך כך גם הטיות וסטראוטיפים. ההחלטות שאנחנו מקבלים בנוגע לדאטא, השיטות והכלים שאנחנו בוחרים להשתמש בהם יוצרים השפעה ישירה על אנשים וקהילות שמשתמשים או מושפעים מהמערכות שאנחנו מפתחים. לאורך הפרק יסומנו בורוד שאלות שהמרצה סבורה כל חוקר או מדען נתונים העוסקים בפיתוח מערכות AI צריכים לשאול את עצמם בנוגע למערכות שהם מפתחים.

אתיקה הוא תחום פילוסופי בו נידונות שאלות כמו "מהו המעשה הראוי שחובה לעשותו" ו"מהי המידה הטובה", ובאופן כללי דנים בו בהבחנה בין טוב ורע. אתיקה משתנה לאורך הזמן ביחד עם הערכים והאמונות של אנשים בחברה. חוקי ≠ אתי – כלומר, יכולים להיות מעשים אתיים שאינם חוקיים, או מעשים חוקיים שאינם אתיים.

דוגמאות לשימושים לא אתיים בדאטא

• דוגמא – מסווג IQ: נניח שאנחנו מסוגלים לבנות מערכת לסיווג IQ, שמקבלת מידע על בן אדם (למשל תמונות וטקסט) ומזהה מהו ה-IQ שלו בדיוק גבוה מאוד. מי יכול להרוויח מקיום של מערכת כזו? יש גורמים רבים שעשויים להרוויח מקיומו של מסווג שכזה (למשל אוניברסיטאות, שיוכלו לקבל רק סטודנטים בעלי IQ גבוה). נניח שהמסווג מצליח להשיג דיוק של 100%, ונשאל את עצמנו – מי יכול להפגע מקיום של מערכת כזו? איך אפשר לנצל לרעה את קיומה של מערכת כזו? אפשר לחשוב בקלות על הרבה דוגמאות (למשל אוניברסיטאות יפסלו מועמדים מתאימים שיכלו להצליח מאוד אקדמית רק בגלל שיש להם IQ לא גבוה מספיק – כיוון ש-IQ הוא רק biased proxy ל-label האמיתי אותו האוניברסיטאות באמת רוצות לחזות, שהוא הצלחה אקדמית). כעת במקרה בו הדיוק של המסווג אינו מושלם – למשל משיג דיוק של 90%. האם יש תתי קבוצות באוכלוסיה (הדאטא שעליו רץ המודל) שעבורן הדיוק אפילו יותר נמוך (למשל כתוצאה מתת ייצוג או ייצוג מוטה בדאטא האימון)? האם דיוק (accuracy) היא מטריקה מתאימה לבחינת הצלחת המודל? מה המחיר של סיווג שגוי (misclassification) – מי הקבוצות שיפגעו כתוצאה מתיוג שגוי? שאלה קשה נוספת היא – מי נושא/ת באחריות להטיה של המודל? (החוקר/ת שפיתח/ה אותה / מי שפיקח או ליווה אותם / מי שביצע ביקורת עמיתים למאמר / האוניברסיטה / מי שמשתמש במערכת / החברה כולה).
• דוגמא נוספת – AI Gaydar: נביט במחקר (אמיתי) בו פיתחו מערכת AI שמסווגת את הנטיה המינית של בני אדם באמצעות מאפיינים של תווי הפנים שלהם מתוך תמונות. התמונות לקוחות מתוך מאגר תמונות של אתר דייטינג, כאשר יש בערך 35 אלף תמונות המייצגות בערך 15 אלף אנשים שכולם לבנים, כאשר האוכלוסיות של גברים/נשים ושל סטרייטים/להטב"קים מיוצגות באופן שווה בדאטא. השיטה בה השתמשו לפיתוח המודל תהיה מודל למידה עמוקה שמחלץ את מאפייני תווי הפנים והטיפוח של המצולמים בתמונות, שייצר פיצ'רים שיוכנסו לקלסיפייר שיתייג את הנטיה המינית. המודל משיג דיוק (accuracy) של 81% עבור גברים ושל 71% עבור נשים. מה הבעיה עם מחקר שכזה? מעבר לבעייתיות המוסרית בנושא המחקר עצמו, גם כאן כדאי לשאול את עצמנו מי יכול להרוויח מקיומו של מודל שכזה ומי יכול לנצל אותו לרעה (למשל ישנן מדינות שבהן הומוסקסואליות היא עברה שמוציאים עליה להורג, אפשר להשתמש בנתונים האלו כדי להפלות לרעה בקבלה לעבודה ושלל תרחישים מדאיגים נוספים). הבעיה היא "dual framing" של מודלי פרדיקציה – לרובם יכולים להיות שימושים אתיים וחיוביים ובמקביל אפשרות לניצול לרעה שלהם למטרות מזיקות (כמו סכין, שיכול לשמש להכנת מזון או לאלימות). עולה שוב השאלה – האם האחריות לעצם האפשרות לשימוש לרעה במודל נמצאת על המפתחים שלו או על המשתמשים בו? עולות גם שאלות הנוגעות לדאטא בו השתמשו – אמנם זה חוקי, אך האם זה אתי להשתמש במידע אישי (שלא הובעה הסכמה מפורשת לשימוש בו) אם הוא מפורסם בפלטפורמה פומבית? האם לגיטימי להשתמש בדאטא שאינו מייצג את האוכלוסיה הכללית נאמנה או שעשוי להיות מוטה מהותית (למשל דאטא שמכיל רק אנשים לבנים / קבוצת גיל מסוימת / לבוש שתואם אופנה מתקופה מסוימת וכו')? החשש במקרה כזה היא שאמנם החוקרים יכולים לציין את מגבלות המודל וההטיות שלו, אבל המשתמשים במודל עשוים להתעלם מהן, מה שיכול ליצור הרבה נזק (למשל, אם ישתמשו במודל הנ"ל על אנשים שאינם לבנים, התוצאות יהיו חסרות משמעות כיוון שהמודל לא אומן על דאטא רלוונטי בכלל, אבל המשתמשים בו עשויים להתייחס לתוצאות המודל כאמיתיות).

מודלי למידה עמוקה הם סוג של "קופסא שחורה" ולרוב אינם אינטרפטביליים. האם מודלים שאינם אינטרפטביליים אינם מתאימים לביצוע פרדיקציות הנוגעות לעניינים רגישים, או בניסויים שהתנאים בהם דורשים הבנה רחבה יותר לגבי העולם? איך נוכל לנתח טעויות והטיות מוגברות שהמודלים מכילים?

שאלות לבחינת מידת האתיות של מחקר בתחום ה-AI

חשוב לזכור שהעלות של תיוג שגויה (מיסקלסיפיקציה) אינה שקולה לרווח מתיוג נכון. סוגים שונים של טעויות עשויים להיות בעלי מחיר שונה (למשל תיוג אישה שחורה בתור גורילה עשוי להחשב חמור יותר מאשר לתייג סלע בתור גורילה). המרצה ממליצה לשאול את עצמנו את השאלות הבאות –

• מהם השיקולים האתיים בשאלת המחקר עצמה?
• מה ההשפעה הצפויה של המודל וכיצד אפשר לנצל אותו לרעה? מי יכול להרוויח מהמודל? מי יכול להפגע ממנו? האם שיתוף הדאטא והמודל עשוי לגרום להשפעה על חיים של אנשים?
• למי יש בעלות על הדאטא שאנחנו משתמשים בו לאימון המודל? האם הדאטא מפורסם published או רק פומבי publicized? האם יש הסכמה של הישויות עליהן נאסף הדאטא לשימוש בו או הנחה לא-מפורשת כלשהי לגבי איך יתבצע השימוש בדאטא?
• מה ההטיות שקיימות בדאטא – ארטיפקטים שקיימים בדאטא, התפלגויות שספציפיות לאוכלוסיות מסוימות, ייצוגיות בדאטא.
• מה ההטיות שקיימות במודל – איך לשלוט ב-confounding variables ובמקרי קצה? האם המודל מאפטם את ה-objective ה"נכון"? האם ואיך המודל מעצים הטיות שקיימות בדאטא עליו הוא מאומן?
• מה המטריקה שבאמצעותה אנחנו בוחנים את המודל – חשוב להסתכל גם על אחוזי FP ו-FN, על העלות של מיסקלסיפיקציה, ועל ה-fault tolerance.

נושאים במפגש בין אתיקה ו-NLP

המרצה מסמנת מספר נושאים שהיא סבורה שמעניינים במפגש בין NLP לבין אתיקה:

• הטיה אלגוריתמית – הטיות חברתיות בדאטא ובמודלי NLP.
• אי-תרבותיות Incivility – תגובות נאצה, תגוובת רעילות, חוסר נימוס ומיקרואגרסיות.