מה ההבדל בין אדריכל נתונים, מפתח מסדי נתונים, מהנדס נתונים ומפתח ETL?


תשובה 1:

כולם ייעודים ותפקידים המוגדרים על ידי ארגון אינדיבידואלי ובאופן מסורתי. תן לי לענות על התפקיד והאחריות המסורתית של התפקידים האלה ועל הנעשה כעת:

מפתח ETL - שכותב מיפוי ושינוי נתונים, זרימת עבודה וזרימת תהליכים של עבודות ETL התחילו בעיקר בכלי כמו Informatica, PL / SQL, Datastage, ODI, Ab Initio

מפתח מסדי נתונים - מי כותב את SQL, PL / SQL, נהלים מאוחסנים, מפעילים לביצוע עבודה ספציפית בתוך סקריפט מסדי נתונים ומעטפות ולבצע עבודות מתזמן או CRON.

אדריכל נתונים - אשר מעצב את מודל הנתונים, האדריכלות, אסטרטגיית ניהול הנתונים עבור ארגון; בדרך כלל לכל כלי לניהול נתונים בכל הענף

המונח הנוכחי הוא מהנדס הנתונים - המומחה ברכישת נתונים ממקורות שונים (מובנים או לא מובנים), סוגים שונים של פורמט נתונים, נפחים ומהירות ואחסון הנתונים לפלטפורמת ביג דאטה / פלטפורמת Data Lake (פלטפורמת יחסי או Hadoop) או בכל דרך אחרת), בצע אינטגרציה של נתונים באמצעות ETL / מקורות פתוחים, להבטיח איכות נתונים ותזמון ניהול נתונים ושיתוף בזמן אמת. זה 60-70% מהמאמץ בפלטפורמה אנליטית ארגונית.

מקווה שזה יתבהר


תשובה 2:

אדריכל הנתונים מעצב את זרימת הקצה לקצה של ההודעות ממקור ליעד. באיזה פרוטוקול להשתמש, באילו תכונות אבטחה יש לקחת בחשבון, כל ה- NFR כמו זמינות גבוהה, DR וכו '- האדריכל מחליט.

מפתח מסדי נתונים עוסק ביצירת בסיס הנתונים, טבלאות, סכמות וכו 'יחד עם מגבלות גישה, תחזוקה וכו'.

מהנדס נתונים מנהל את זרימת הנתונים ממקור ליעד, כאשר הנתונים גדולים. הם עוזרים בפונקציונליות מחשוב מבוזרת (למשל ניצוץ בחידוד) כדי לטפל בזרימת נתונים גדולים יחד עם ניקוי, שינוי ואחסון ב- hdfs, מסדי נתונים.

מפתחי ETL משתמשים בכלים סטנדרטיים בתעשייה (לרוב מגיעים בעלות רישיון גבוהה) כמו abinitio, שלב נתונים כדי לחלץ נתונים ממקור-> להפוך את הנתונים למבנה הרצוי-> עומס ליעד ספציפי.