כיצד אוכל לדעת מה ההבדל בין אלגוריתם EM ל- MLE?


תשובה 1:

אלגוריתם הציפייה למקסום הציפיות (EM) מנסה למצוא אומדן סבירות מקסימאלי (MLE) לפרמטרים של מודל עם משתנים סמויים. הפרמטרים אינם המשתנים הגלויים, אלה שוליים בתהליך. אמנם EM לא מובטח להתכנס למקסימום הגלובלי, אך הוא מובטח להתכנס למקסימום ולשפר את הסבירות של הדגם בכל שלב. דוגמא טיפוסית היא האלגוריתם Baum-Welch, המשמש להתאמה למודלים של חלל המדינה.


תשובה 2:

אני בוחן מושג זה עכשיו ואני מקווה שהתשובה שלי נכונה אבל הייתי שמח גם למשוב.

אז כפי שאני רואה את זה, MLE היא דרך להעריך את תפקוד הסבירות מבלי לקחת בחשבון את ההסתברות האפריורית. במילים אחרות, אם אנו מגלגלים מת כדי לקבל 5, MLE ייחס את הניקוד הגבוה ביותר לחלוקה (בוא נקרא לזה התפלגות באטמן) שיש לה הסתברות של 1 על הפלט 3 ו -0 לאחרים (שהיא נגדית -אינטואיטיבי)

עם זאת, אלגוריתם EM יקח בחשבון את הידיעה האפרית כי ההסתברות של 5 על גוון הוגן היא 1/6. מכאן שהדבר יעבור בחשבון תוך יצירת שלב ה- E של האלגוריתם EM. במציאות, ישנן דרכים שונות להשיג זאת, כלומר באמצעות קודמים של בייסיאן, דגמי מרקוב וכו '.

אם מישהו מוצא פגם בהבנתי, אנא הצע עריכה.


תשובה 3:

MLE מספק את פונקציית המטרה הדורשת לבצע אופטימיזציה עבור הנתונים הנתונים.

האופטימיזציה עצמה יכולה להיעשות במספר דרכים שונות. EM (מקסימום ציפייה) היא אחת הדרכים לייעל, ניתן להשתמש בכל סוגי האופטימיזציות האחרות.

בקיצור MLE מגדיר את יעד האופטימיזציה בעוד EM פותר אותה בצורה איטרטיבית.