איך אני מסביר את ההבדל בין RPCA ו- PCA?


תשובה 1:

עריכה: דוה, בדיוק הבנתי שאולי אתה שואל על PCA חזק ולא על רגרסיה של רכיב עיקרי (aka regression-PCA). למה שווה, הנה תשובה על האחרונה.

לעיתים במהלך הרגרסיה, קבוצות של משתני קלט (קוואריטים) יהיו קולניים (ראו שאלה נוספת בנושא ריבוי-קולינריות). המשמעות היא שתשומות החזויות מאוד זו לזו מרמזות על סוג של יתירות מבחינת הפלט: אם אתה יכול לחזות

yy

טוב עם

xx

, אינך זקוק לעותק קרוב נוסף של

xx

.

לרוע המזל, רגרסיית OLS רואה זאת ומנסה לפצות על ידי הקצאת אחריות דומה לתשומות הקוליניות. בדוגמה שלמעלה, חשוב על כמה מטוסים שונים שקיימים כמעט מיטביים (במובן הכי פחות ריבועי) ...

אינסופי, נכון? כל מטוס שעובר בנקודות, ללא קשר לסיבוב סביב הנקודות הירוקות: דמיין סוג של ציר המעוגן באמצע האוויר שעובר בנקודות הירוקות ואז המטוס האדום מסתובב עליו.

כדי להחמיר את העניינים, על ידי הפרעה של הנתונים מעט, משקולות הרגרסיה הסופיות, למעשה שליטה על שיפוע המטוס, יכולות להיות שונות מאוד. זה מצביע על כך שהדגם אינו יציב.

אז מהי דרך עקרונית למזג משתני קלט שמתאמים זה לזה? ובכן, הנה מה ש- Regression-PCA יעשה:

ראשית, היא תעשה PCA בכניסות (הנקודות הכחולות), כלומר תמצא קו כחול במישור ה- XZ בכדי להקרין את הנקודות הכחולות (כך שמרחק ההקרנה הכולל יהיה ממוזער). קו זה פועל כעת כציר חדש - קראו לו

bb

,

ובעיית הרגרסיה המקורית נפתרת כעת במסגרת ההתייחסות של

byb-y

, רגרסיה לינארית אחת משתנה.

אז בדרך, אנו מאפשרים ל- PCA למצוא את הקבוצות הללו עם משתנים דומים, במקום להשאיר אותה ל OLS עם הסכנה הגלומה באי-יציבות המוצגת לעיל.

לבסוף, לרענן את הרגרסיה למקור

xzyx-z-y

מרחב, כל מקדם רגרסיה שניתן לו המשתנה הנגזר (הנה 0.5), יחולק באופן שווה בהתאם למשקולות הציר הנגזרות PCA (כך שמשקלי ה- RPCA הסופיים יהיו

(0.25,0.25)(0.25, 0.25)

).