האם יש הבדל בין אצווה למיני אצווה בלמידה מעמיקה?


תשובה 1:

עיבוד אצווה משמש באלגוריתם של Gradient Descent.

שלושת הטעמים העיקריים של ירידת שיפוע הם אצווה, סטוכסטית ומיני אצווה.

ירידת שיפוע אצווה מחשבת את השגיאה עבור כל דוגמה במערך האימונים, אך מעדכנת את המודל רק לאחר הערכת כל דוגמאות האימונים. התוצאה היא השגיאה הקטנה ביותר, אך היא חישובית מאוד יקרה.

ירידת שיפוע סטוכסטית מחשבת את השגיאה ומעדכנת את המודל עבור כל דוגמה במערך האימונים. זה נותן שגיאה גדולה יותר, אבל זה חישובי קל מאוד. SGD משמש לעיתים במערכות שיש לעדכן בזמן אמת.

הטרייד-אפ בין שני האלגוריתמים הללו הוא Mini-Batch, שם אתה משתמש בחלק קטן מהנתונים כאצווה, אופיינית לעוצמה של שתי דוגמאות למשל 256, 512. ירידת שיפוע מיני-אצווה היא המומלצת עבור רוב היישומים, במיוחד בלימוד מעמיק.

יש מאמר נחמד באינטרנט, המתאר בפירוט את השיטות הללו: מבוא עדין לירידה במעברי מיני אצווה וכיצד להגדיר גודל אצווה - שליטת למידת מכונה