Hosted By
בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.
קישורים רלוונטיים:
בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים: https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf Pydata nyc workshop on GPR Conjugate prior ...
בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies): Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות:Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling. לסיום נדון ב-Active Learning כבעיית Reinforcement Learning. קישורים רלוונטים\שהזכרנו: modAL Snorkel Prodigy Active Learning Tutorial REINFORCED ACTIVE LEARNING FOR IMAGE SEGMENTATION ...
בפרק זה, נעסוק ב-Neural Network Pruning, כאשר נתקמד בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT. במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק: THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask ...
