עליי ועל האתר

אני ניצן ברזילי, מסטרנטית למדעי המחשב וחוקרת NLP במעבדה של ד”ר תום הופ באוניברסיטה העברית. המחקר שלי כרגע מתמקד במשימות NLP בדומיין המדעי (כלומר על טקסט של מאמרים מדעיים), בדגש על מניעת הזיות (hallucinations) במשימות גנרטיביות.

אני מאוד אוהבת שימור ידע (לזכור $\to$ לכתוב). לאורך השנתיים האחרונות נצבר אצלי מאגר מידע גדול ועדכני של סיכומים בתחום ה-NLP, והחלטתי להנגיש אותו לכל מי שמתעניינ/ת. במקור פרסמתי את הסיכום שלי לקורס CS224N של סטנפורד שהתקבל בהמון אהבה - מאז הסיכום עבר שדרוגים ותיקונים וגם לקחתי קורסים נוספים בתחום, והחלטתי להנגיש הכל בתור אתר נגיש ומסומך, מחולק לפי נושאים, שמכיל את כל הידע שסיכמתי בעברית בתחום ה-NLP לטובת הקהילה.

<aside> 📌 אם האתר לא מיושר לימין, נסו להכנס אליו דרך הלינק הזה. אם זה לא עוזר, אפשר להתקין את התוסף notion enhancer ולהפעיל בהגדרות שלו right-to left.

</aside>

סיכומים על NLP לפי נושאים

טכני וארכיטקטורות

Word Vectors

NN & RNN for NLP

Attention

Transformers

כללי

Data Storytelling

Multiligual NLP

Ethical considerations in AI & NLP

Writing good NLP papers

משימות NLP

Named Entity Recognition (NER)

Natural Language Inference (NLI)

Machine Translation

Question Answering

Natural Language Generation

Coreference Resolution

Syntactic Structure and Dependency Parsing

Sentiment Analysis

Information Extraction

Summarization

מודלי שפה

Language Modeling

LM Pretraining, Finetuning and ICL

LM Evaluation

Famous LLMs

Prompting best practices

LM Analysis & Interpretability

Social Biases in LMs

Adding knowledge to LMs

עדכונים

<aside> ✅ עדכונים אחרונים

• 26/09/23 - נוסף סיכום חדש על על כתיבת מאמרי NLP לפי סדרת הרצאות מהקורס XCS224U של סטנפורד.
• 23/09/23 - העמודים על Attention, Transformers, Pretraining, NLG, LM Evaluation עודכנו לפי הגרסה העדכנית (2023) שסטנפורד העלו לקורס CS224N. </aside>

<aside> 🥠 עדכונים מתוכננים (stay tuned!)

• הוספה הדרגתית של סיכומים על 4 הרצאות חדשות מגרסת 2023 של קורס CS224N של סטנפורד, בנושאים multi-modality, משימות גנרציה של קוד, אינטרפטביליות של מודלי שפה, ואימון באמצעות RLHF.
• הוספה הדרגתית של ההרצאות מקורס XCS224U של סטנפורד (בנושא NLU), בעיקר בנושאי Retrieval, ICL ושיטות לאווליואציה של מודלים. </aside>

יצירת קשר

✉️ לדיווח על טעויות בסיכומים, לשאלות ויצירת קשר בנוגע לסיכומים או לשיתופי פעולה, שלחו לי מייל - [email protected].

<aside> ❗ בקשה אחת - אמנם אני מעדכנת פה מה הדברים הבאים שאני מתכננת להוסיף לסיכום, אבל אזכיר שאני עושה את זה בהתנדבות מלאה בזמני הפנוי, ולכן אעריך את זה אם לא תשלחו לי הודעות כדי לשאול מתי העדכונים יתפרסמו - אגיע לזה כשאגיע לזה. ב-08/10 גויסתי למילואים לשלושה חודשים ומאז אני ממוקדת בלחזור לשגרה ובאופן טבעי פרויקטי צד תופסים עדיפות נמוכה יותר בזמנים כאלה.

</aside>

💓 בואו לעקוב אחרי ברשתות החברתיות! אני כותבת על NLP גם שם. אני בעיקר בטוויטר ובלינקדאין, וגם בגיטהאב.

📝 יש עוד שלל סיכומים ממגוון קורסים שלקחתי בתואר הראשון (מדמ”ח + קוגניציה) בגיטהאב שלי.

☕ אם הסיכומים עזרו לך ובא לך לפרגן, אפשר לקנות לי קפה.