מהו בסיס הנתונים המושלם עבור ה-DATAWAREHOUSE שלכם?
הגידול העצום בנפחי המידע ומקורותיו הופך את מחסני הנתונים המסורתיים ללא רלוונטיים ● מתברר כי כבר היום ישנם בסיסי נתונים המסוגלים לספק ביצועים גבוהים פי כמה ולאפשר למערכות ה-BI בארגון למלא באמת את ייעודן
מאת גולן נחום, מנכ"ל טווינגו
עולם ה-BI עבר מהפכות גדולות בשנים האחרונות, ממערכת שסיפקה דוחות אנליטיים להנהלת החברה למערכות של מיקרו-מרקטינג, מערכות GIS, דוחות ניתוח סלים ולקוחות, דוחות חיזוי של מכירות וצריכה ועד DATA MINING, SELF SERVICE BI ו-REAL TIME BI. מערכות BI אופייניות מורכבות ממקורות המידע (אתרי אינטרנט, מערכות קופות, CRM, BILLING, מערכות ERP, מערכות בנקאיות וכו…), תהליכי ETL, מחסן הנתונים DWH וקוביות OLAP. מעליהם מגיעים כלי דוחות ותחקור אנליטי.
טכנולוגיה של שנות ה-70 לבעיות של שנות האלפיים
ניתן לראות כי ברוב המקרים ה-DWH הארגוני מבוסס על בסיס נתונים רלציוני "רגיל" כגון SQL SERVER,ORACLE ,MYSQL,SYBASE או 2DB. יש לשים לב כי בסיסי הנתונים הנ"ל נוצרו בשנות ה-70 לטובת עבודה טרנזקציונית (OLTP). בחלק מבסיסי הנתונים הללו יצרו תשתיות תומכות, כגון PARTITION TABLES, MATERIALIZE VIEW ,CALCULATED INDEX וזאת על מנת לנסות לשפר את יכולת הטיפול בכמות רשומות גדולה (מאות מיליונים עד מיליארדי רשומות).
אי לכך, ארגונים רבים מוצאים את עצמם עם DWH בנפחים גדולים ,שרתים עצומים ,טעינות ליליות שלוקחות שעות רבות, תהליכי STAGING, עדכון נתונים, עדכון של MATERIALIZED VIEW ועדכון של שדות מחושבים שלוקח זמן רב מאוד.
אז מה קרה כאן בעצם? מה עם יכולת הרצה של דוחות הד-הוק? מה עם טעינות ב-ONLINE? איך קרה שמערכות ה-BI עולות יותר ממערכות הייצור שלנו והופכות לנטל במקום למשהו שאמור להפוך מידע לידע ולייצר ערך לחברה?
דמיינו לעצמכם ….
דמיינו לעצמכם עולם מושלם שבו יש לכם מחסן נתונים המאפשר טעינה של עשרות מיליוני רשומות בדקה, שזקוק למכונה עם 2-4 מעבדים בלבד, שמסתפק במספר דיסקים בודדים ללא בעיות IO. תארו לעצמכם מחסן נתונים שמאפשר טעינה של מאות מיליארדי רשומות לטבלאות בודדות ללא צורך ב-PARTITIONS ועם יכולת לבנות טבלאות עם מאות ואלפי עמודות. דמיינו שכל דוח או שאילתא חוזרים תוך שניות בודדות עד דקה, שאגרגציות חוזרות כל כך מהר שאין צורך לבנות קוביות ושדות מחושבים מראש, שקיים לכם אינדקס על כל שדה ושדה ואין בעיות ביצועים, שהמידע שטענתם מתכווץ לחצי כולל אינדקסים ושאין צורך בתהליכי תחזוקה ו-DBA צמוד. חלום? אוקי, עכשיו תפסיקו לדמיין ולחלום! יש מחסני נתונים כאלו!
הם נקראים COLUMN BASED DB והם הדור החדש של בסיסי הנתונים ,הם נבנו ב-10 השנים האחרונות בטכנולוגיות מתקדמת ובאים לטפל בכל בעיות הביצועים והטעינות של מחסני הנתונים מבוססי ה-OLTP "הרגילים" – הם אידיאלים ל-DWH. כל היופי בטכנולוגיה החדשה והמדהימה הזו הוא שעבורנו, כמשתמשים, זה שקוף לחלוטין. אנחנו עדיין עובדים מול טבלאות רלציוניות, כותבים TSQL סטנדרטי ומקבלים תמיכה מלאה של כלי הדוחות.
מחסן הנתונים הנפוץ והוותיק ביותר בתחום זה הינו SYBASE IQ עם למעלה מ-3,000 לקוחות גדולים ברחבי העולם. מתברר כי לקוחות שעברו ל-DWH מבוסס עמודות מספקים לארגון שלהם יתרון תחרותי גדול על פני המתחרים ויכולות BI מתקדמות לאין ערוך מאלו הקיימות בארגון וזאת תוך חסכון של מאות אלפי דולרים בעלות השנתית.
הכותב הנו מומחה בתחום בסיסי הנתונים ותבונה עסקית בעל ניסיון של 10 שנים בתחום, משמש כמנכ"ל ובעלים של חברת טווינגו המתמחה בעולם בסיסי הנתונים ותבונה עסקית.
פרטים נוספים באתר טווינגו, בכתובת הבאה.
פניות לגולן נחום, מנכ"ל טווינגו, יתקבלו בכתובת הדוא"ל הבאה.
