כיצד מתמודדים עם המידע הרב שנצבר?

כתב: איתי בנימין, ארכיטקט פתרונות ענן ובסיסי נתונים, מיקרוסופט ישראל.

עם השנים, ארגונים הבינו שבסיס הנתונים שנצבר במערכות השונות בארגון הוא מכרה זהב שניתן להפיק ממנו ערך רב. עם הנתונים הללו, שנאספו לאורך השנים, ניתן להפיק תובנות וידע רב על דפוסי התנהגות, פעילות עסקית, מידע עכשווי, תחזיות, התראות ועוד. כך ניתן להגדיל את תפוקת הארגון, שביעות רצון הלקוחות ולשפר את ביצועי הארגון.

מצורך עסקי זה התפתחו כלי בינה עסקית לכריית, עיבוד ושיקוף המידע בתוך הארגון ומחוצה לו ללקוחות. במקביל, בשנים האחרונות השימוש בפתרונות מסוג Machine Learning שלוקחים את עולם ה-"ממידע לידע" והשימוש במידע לצורך מינוף העסק, הפכו פופולריים ביותר.

בכדי ללמוד כיצד מערכות מתקדמות יכולות למנף את העסק שלך לחץ כאן.

החלטה זו, שהתפתחה בשנים האחרונות, הניעה ארגונים רבים לשמור את המידע הרב שנצבר לאורך השנים בבסיסי הנתונים לצורך הפקת הידע, דבר שהציב אתגר רב לאנשי הטכנולוגיה, התשתיות ומנהלי בסיסי הנתונים בארגון.

מצד אחד, קיים צורך לחסוך בעלויות חומרה ולשמור על ביצועי המערכת. מאידך, ישנו צורך לאגור ולהגדיל את כמויות המידע בבסיסי הנתונים לטובת יצירת תובנות וידע תוך כדי שמירה על הביצועים, שרידות, אבטחת מידע ועוד.

בעבר, עקב מגבלות בשטח האחסון, התחזוקה והביצועים, ארגונים החליטו לא פעם להעביר את המידע הישן שנצבר מבסיס הנתונים אל מקורות אחסון חיצוניים ולכספות. בסיטואציה זו המידע הישן בעצם לא זמין כל הזמן ונוצר מצב שבו תהליך השחזור של המידע גרר פעולות מורכבות ולעיתים אף ידניות שלקחו זמן רב, אולם רק באמצעותן ניתן היה לשחזר את המידע הישן ולהשתמש בו בעת הצורך.

ארגונים שהחליטו לשמור את המידע הרב שנצבר זמין בבסיס הנתונים, נאלצו להתמודד עם המידע הרב שנצבר במספר דרכים: הגדלת שטחי האחסון בשרתים, הקמת מנגנוני ארכוב על ידי פתרונות מובנים בבסיס הנתונים (בגרסאות בסיס נתונים מתקדמות) ושימוש בכלי צד שלישי לארכוב המידע.

מאחר והמטרה היא שכל תהליך הארכוב יהיה כמה שיותר שקוף לאפליקציות השונות, ושלא נצטרך לבצע שינויים באפליקציות על מנת לשלוף את המידע מהארכיון, להלן מספר טיפים:
● במידה ויש צורך לארכב את המידע תוך כדי שמירת המידע כזמין כל הזמן ובצורה שקופה לאפליקציה – מומלץ להשתמש בפתרון מובנה לניהול וארכוב מידע ישן בטבלאות לענן על ידי ביצוע Stretch Table.
● חשוב לתת את הדעת על נושא הביצועים בטבלאות ענק. מומלץ להשתמש בפתרונות מובנים כגון חלוקה ל-Partitioning. פתרון מובנה זה ייתן מענה גם לאתגרי תחזוקה וגיבויים שהינם צוואר בקבוק ואתגרים משמעותיים בטבלאות גדולות.
● לטובת חיסכון בעלויות חומרה וניצול נכון יותר של המשאבים מומלץ לארכב את הקר של הטבלאות למערך חומרה פשוט וזול יותר בארגון.

כמובן שבכל אחת מהפעולות יש לתת את הדעת והפתרונות להיבטי אבטחת מידע, ביצועים וגיבויים.

בגרסת SQL Server 2016 שולב פתרון מובנה להתמודדות עם כמויות המידע הרבות שנצברות – Stretch Table.

בעזרת טכנולוגיה זו יכול מנהל בסיס הנתונים בארגון לארכב נתוני טבלאות בצורה שקופה לענן Azure, בין אם ברמת הטבלה הבודדת בבסיס הנתונים או רק חלק מהמידע בטבלה. חשוב לדעת כי:
● הפתרון שקוף לאפליקציות השונות בעבודה מול הטבלה, וניתן לגשת אל הטבלה בדיוק באותה צורה.
● הטבלה נשארת זמינה לקריאה ולכתיבה.
● כחלק מהשירות בענן – כל המידע שמאורכב מגובה ושריד, זאת כחלק מהיכולות המובנות בענן.
● העברת המידע מתבצעת בצורה מוצפנת, המבוססת על פתרון אבטחת המידע החדש Always Encrypted.
● ניתן לארכב את כל הנתונים של הטבלה – קלאסי לטבלאות לוגים לדוגמה, אשר מאופיינות בכמויות אדירות של רשומות. ניתן אף לארכב חלק מהנתונים בטבלאות.
● הקמה, ניהול ה-Stretch Table, תחזוקה וניטור המידע, מלווה במסכים ובדו"חות מובנים בכלי ה-SSMS, ובטבלאות מערכות.

להלן צילום מסך של דו"ח הניטור והניהול המובנה:

בכדי ללמוד כיצד להתמודד ביעילות עם כמויות המידע בארגון שלך, לחץ כאן.