Episode 11: Curriculum Learning - תכניות אימון למודלים

Episode 11 January 05, 2021 00:14:42
Episode 11: Curriculum Learning - תכניות אימון למודלים
Amlek.AI: ML & AI Podcast
Episode 11: Curriculum Learning - תכניות אימון למודלים
/

Hosted By

Ariel Munafo

Show Notes

בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.

קישורים רלוונטיים:

 

Other Episodes

Episode 12

January 19, 2021 00:15:13
Episode Cover

Episode 12: Gaussian process regression/ Kriging

בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים: https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf Pydata nyc workshop on GPR Conjugate prior ...

Listen

Episode 3

September 16, 2020 00:20:22
Episode Cover

Episode 03: Active Learning

בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies):  Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות:Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling. לסיום נדון ב-Active Learning כבעיית Reinforcement Learning. קישורים רלוונטים\שהזכרנו: modAL Snorkel  Prodigy Active Learning Tutorial REINFORCED ACTIVE LEARNING FOR IMAGE SEGMENTATION ...

Listen

Episode 1

August 19, 2020 00:21:00
Episode Cover

Episode 01: The Lottery Ticket Hypothesis

בפרק זה, נעסוק ב-Neural Network Pruning, כאשר נתקמד בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT. במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק: THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask  ...

Listen