מחסן נתונים

מחסן נתונים (באנגלית: Data Warehouse) הוא מסד נתונים המשמש מערכות תומכות החלטה. הנתונים לרוב מיוצאים ממערכת אחת או מספר מערכות תפעוליות לשם הסקירה.

מחסן הנתונים לרוב משמר את היכולות שלו בעזרת שלוש שכבות: הצגה, היתוך וגישה. כל יכולות מחסן הנתונים נבנות כדי לשרת את משתמש הקצה.

• שכבת המראה (מכונה באנגלית MRR, קיצור של Mirror, הכוונה למראה למערכות מקור) נועדה כדי לשמור את הנתונים הגולמיים לשימוש מאוחר יותר על ידי מפתחים (מנתחים ותומכים).
• שכבת ההיתוך/ההצגה (מכונה באנגלית STG, קיצור של Staging) נועדה כדי לחבר, להשוות ולהצליב בין מידע ממקומות ומסוגים שונים וכדי שתהיה שכבת אבסטרקציה מהמשתמש.
• שכבת הגישה/המחסן (באנגלית DWH, קיצור של Data WareHouse) נועדה לייצא או להציג מידע למשתמש.

הגדרה זאת של מחסן נתונים מתמקדת בצד האחסוני. מקורות המידע מטוהרים, עוברים עיבוד, קיטלוג ומובאים לשימוש על ידי מנהלים ובעלי מקצוע אחרים לשם בינה עסקית, כריית מידע ועיבוד אנליטי מקוון. אולם האמצעים הטכניים אותם משמישים כדי להביא את הנתונים למצב הזה (בפרט תהליך Extract, Transform, Load וניהול ה-Metadata) נחשבים גם חלקים מרכזיים במושג מחסן נתונים. הפניות רבות למושג מחסן הנתונים מדברות על הגדרה זאת.

הצורך במחסן נתונים

הצורך במחסן נתונים עולה כאשר ארגון זקוק לניתוח ודיווח אמין, משולב ואחיד של כלל הנתונים שלו ברמות צבירה שונות.

המציאות הפרקטית של ארגונים רבים היא שתשתיות המידע שלהם מנוהלות על ידי מספר מערכות מידע הטרוגניות. כך למשל לארגון מסוים עשויה להיות מערכת שמנהלת את קשרי הלקוחות, מערכת אחרת המנהלת את משאבי האנוש, מערכת שלישית שמנהלת את ניהול המכירות ומערכת רביעית המנהלת את הכספים בארגון. לעיתים קרובות מערכות מתממשקות אחת עם השנייה בצורה לא מספקת אם בכלל ושאלות פשוטות כגון: "כמה זמן לקח לנציג לקוחות א' לעבוד מול לקוח ג'? כמה מוצרים מכרנו ללקוח ג'? האם לקוח ג' היה מרוצה מהשירות שסיפקנו לו? האם לקוח ג' שילם על מוצריו בזמן?" ונתינת תשובה לשאלות אלה עשויה להיות משימה קשה מאוד על אף שהמידע נמצא "אי שם" בין המערכות השונות.

בעיה נוספת היא שמערכות לתכנון משאבי ארגון (ERP) מתוכננות כדי לענות על צרכים ספציפיים בתוך הארגון. לדוגמה מערכת כלכלית עשויה לעזור להבין מידע על מוצר מסוים; מתי הוא נקנה, מתי הועבר ללקוח, מתי שילמו עבורו ולעיתים המערכת עשויה לספק שירותי חשבונאות נוספים כגון מניעה של תיעוד כפול. מידע כזה הוא שימושי מאוד עבור רואה החשבון של הארגון או עבור האחראי על הרכש אך מנכ"ל הארגון בהחלט לא מעוניין במידע ממוקד כל כך. המנכ"ל לרוב מתעניין בשאלות כגון "מה היא העלות?" או "האם היוזמה האחרונה שלנו הורידה את ההוצאות שלנו?".

על אף שהנתונים אולי נשמרים במערכות המקור בצורה שאינה מאפשרת אינטגרציה, בתפיסת מחסן הנתונים המטרה היא לייצר רצף של מידע. שיטת מחסן הנתונים מקדמת מטרה זאת במספר שיטות, בין השאר על ידי הקמת מאגרי נתונים חדשים התומכים בשאילתות רלוונטיות.

ארכיטקטורה

המילה ארכיטקטורה במובן של מחסן נתונים ארגוני משמעותה היא התפיסה שעל בסיסה בונים את מחסן הנתונים. אין ארכיטקטורה אחת נכונה, רק מספר גישות המתאימות לצרכים ארגוניים וסביבות עבודה שונות. מידת ההתאמה של ארכיטקטורה מסוימת ניתן לבחינה בכמה היא מסייעת בבניית, תחזוקת ושימוש במחסן הנתונים.

דוגמה אחת לארכיטקטורה של מחסן נתונים יכולה להיות כדלקמן:

שכבת מבני נתונים תפעוליים

נתוני המקור של מחסן הנתונים – מערכת לתכנון משאבי ארגון נופלת תחת הגדרה זאת.

שכבת גישה לנתונים

ממשק העברת המידע בין השכבה התפעולית לשכבת גישה למידע - כלים לייצוא, שינוי והעלאה של נתונים הם דוגמה לדברים שיופיעו בשכבה זאת.

שכבת נתוני מעטפת

מילון נתונים - מילון זה לרוב גדול יותר ממילונים הקיימים במערכות תפעוליות. לעיתים קיימים מילונים גם עבור המחסן כולו וגם עבור נתונים מסוימים אליהם ניתן לגשת בעזרת כלים או דו"חות מסוימים.

שכבת גישה למידע

הנתונים אליהם ניגשים או הכלים בהם משתמשים כדי לקבל דיווחים או ניתוחים של נתוני המקור - כלי בינה עסקית כלולים בשכבה הזאת.

עיבודי מחסן הנתונים ועיבודי מסדי נתונים תפעוליים

המערכות האנליטיות והדיווחיות ממחסן הנתונים שונות באופן מהותי ממערכות עיבוד תנועות. ההבדלים הם:

• זמני תגובה – מערכת עיבוד תנועות מבצעת, במקרים רבים עיבוד תנועות מקוון המכתיב זמני תגובה קצרים ויציבים. במערכות אנליטיות העובדות מול מחסן נתונים מתבצעים עיבודים מורכבים העשויים לארוך זמן רב ולכן אינן מחייבות זמן תגובה קצר.
• כמות המידע – מערכת עיבוד תנועות במקרים רבים מבצעת טרנסקציות על מידע מועט. מערכות מחסן נתונים מתבצעות על כמויות גדולות של מידע.
• יחס קריאה/כתיבה – במערכות עיבוד תנועות יחס זה הוא נמוך יותר – במערכות עיבוד תנועות מתבצעת כתיבה למסד הנתונים ועדכון מסד הנתונים כחלק מהעבודה. במערכות מחסן נתונים נדיר מאוד ביצוע פעולות כתיבה והן בעיקרן מערכות של קריאה בלבד. פעולות הכתיבה נעשות במרוכז כאשר נעשית טעינת נתונים תקופתית למחסן הנתונים.

הבדלים אלה גורמים שמבחינה טכנית אופן העבודה בשתי הסביבות שונה. כך נוצרות סכימות נתונים שונות במסד הנתונים התפעולי ובמחסן הנתונים. כמו כן במסדי נתונים של מחסן הנתונים לעיתים לא נשמרים חוקי הנירמול של מסדי הנתונים היחסיים. כמו כן, היות שבמערכות מחסן מידע אין Locality of Reference הן אינן יכולות להפיק תועלת מזיכרון מטמון ומדיסקים אלקטרוניים.

מוצרי תוכנה

מסדי הנתונים המשמשים מחסן נתונים הם מסדי נתונים יחסיים. גם בסביבות מחסן הנתונים נפוץ השימוש בשלושת מסד הנתונים היחסיים הנפוצים: אורקל, DB2, Microsoft SQL Server ובנוסף להם Teradata. מסד הנתונים האחרון שצוין הוא מסד נתונים ייעודי למחסני נתונים והוא משולב עם חומרה ייעודית. Teradata משמש בעיקר ארגונים גדולים עם מחסני נתונים גדולים במיוחד.

החל משנת 2009 מציעה גם חברת אורקל מוצר המשלב חומרה ומסד נתונים עבור מחסן נתונים. המוצר נקרא Exadata. המהדורה הראשונה מבוססת על חומרה של חברת HP והמהדורה השנייה על חומרה של חברת סאן.

קשיים ובעיות

• פרויקטים של הקמת מחסני נתונים הם פרויקטים מורכבים האורכים זמן רב (בדרך כלל מספר שנים) ועלותם יקרה. זו הסיבה לכך שחלק מהארגונים אימצו גישה חלופית של הקמה הדרגתית של מאגרי נתונים חלקיים וקטנים יותר הנקראים Data Marts.
• בנייה נכונה של היישומים. אחד הגורמים לאי-הצלחה ביישומים הוא שהם מכווני יחידת המחשוב במקום לאפשר למשתמש העסקי להיות הגורם המוביל בנושא זה.
• עלויות תחזוקה גבוהות הנובעות מהצורך בטעינות תקופתיות של נתונים ומענה על שינויים עסקיים המחייבים שינויים בתכני ומבני הנתונים.
• הצורך בסינכרון מתמשך בין המערכות התפעוליות לבין מערכות מחסן הנתונים. הקושי הולך וגדל כתוצאה מהדינאמיות העסקית הגדלה הגורמת להגדלת תדירות שינויי מבני ותכני הנתונים במערכות התפעוליות וכתוצאה מקצב הגידול הגבוה בכמות הנתונים והמערכות התפעוליות ובסוגי הנתונים הנדרשים,
• איכות נתונים – איכות נתונים נמוכה מהווה גורם שכיח לכישלון פרויקטי מחסן נתונים.
• אבטחת מידע ובעלות על הנתונים – המידע שעשוי להיות מוגן במערכות התפעוליות, עלול להיות חשוף לגישה לא מורשית. הדבר נכון במיוחד לקובצי הביניים (Staging).

ראו גם

• Data Mart
• ETL
• בינה עסקית
• מערכת תומכת החלטה
• כריית מידע
• עיבוד אנליטי מקוון

לקריאה נוספת

• Kimball, Ralph and Ross, Margy, The Data Warehouse Toolkit, Wiley, Second Edition, 2002.
• Friedman, Ted and Strange, Kevin, Architecture: The Foundation of Business Intelligence, Gartner Group, 2004.

קישורים חיצוניים

• הפורטל הישראלי למחסן נתונים ותובנה עסקית
• אורט ישראל - "ממידע לידע ומודיעין עסקי - חלק ב'"
• Kimball Ralph, "Kimball University: Eight Guidelines for Low-Risk Enterprise Data Warehousing Business Intelligence: Operational BI", 2009, intelligent-enterprise.informationweek.com