מי מפחד מ-Big Data?

למה מתכוונים כשאומרים Big Data?
Big Data היא היכולת של בסיס נתונים מסוים לשמור ולשלוף כמויות ענקיות של מידע בצורה קלה, נוחה ומהירה, יחד עם היכולת לגדול (Scale) לפי הצורך. לא מדובר על טכנולוגיה ספציפית, אלא על מונח שיווקי שמטרתו להגדיר בעיה בה נתקלים ארגונים רבים בעידן הנוכחי, בו קיים פיצוץ במידע ועולה הצורך לשמור ולשלוף אותו בצורה קלה, גמישה, מהירה ושרידה.

כאשר מציינים שבסיס נתונים מסוים "מתאים לעידן ה-Big Data", הכוונה היא שבסיס נתונים רלציוני (Relational) רגיל, שפועל על גבי חומרה סטנדרטית, אינו יכול לספק את הגמישות והביצועים הנדרשים למערכות מידע בעולמות ה-Big Data – ולכן נדרש פתרון מיוחד.

מי הם השחקנים המובילים בעולמות ה-Big Data כיום?
השחקנים המרכזיים מתחלקים למוצרים מתחום ה-Commercial ומוצרים מעולם ה-Open Source. לכל אחד מהם יתרונות שונים. ישנם לקוחות המעדיפים פתרון Open Source עקב הגמישות וישנם לקוחות המחפשים את ה-"גב" של ה-Vendor, הנוחות והקלות בעבודה מול פתרון "מדף" וכמובן את הזמן הקצר ביותר להקמת התשתית.

אז מה היא בעצם טכנולוגית ה-NoSQL ואיך היא קשורה ל-Big Data?
NoSQL הינה טכנולוגיה המנסה לחשוב מחדש על הדרך בה בסיס הנתונים שומר ומארגן את הנתונים, אל מול השיטה הנפוצה והמוכרת ביותר כיום בשוק – בסיס הנתונים הרלציוני (Relational Database). בעולם בסיסי הנתונים הרלציוניים קיימת סכמה מובנית המסדרת את המידע. טבלאות, עמודות, קישורים ושליפת המידע, נעשים כולם באמצעות שימוש בשפת השאילתות הנצחית, SQL, שכולנו מכירים. מבנה בסיס הנתונים הרלציוני נועד לקיים פתרון מעולה לשמירה ואחזור של נתונים עבור מגוון רב של מערכות תפעוליות שונות. כלומר, בסיס הנתונים הרלציוני הוא אינו Mission Specific ומסוגל לשרת מספר רב של מערכות מסוגים שונים.

קונספט ה-NoSQL מנסה, כאמור, לחשוב מחדש על הדרך שבה נשמרים הנתונים בבסיס הנתונים, על מנת לאפשר מקסימום גמישות וביצועים – בדרך כלל תוך שימוש בנפחים גדולים או מידע מורכב, שברוב המקרים הוא גם Schema less, כלומר כאשר מדובר בנתונים שהם באופן טבעי ללא סכמה או עם סכמה משתנה בין "רשומה" ל-"רשומה".

חשוב לציין ש-NoSQL אינה טכנולוגיה יחידנית לשמירת נתונים ב-DB. בעוד שאחסון נתונים בצורה רלציונית מגדיר באופן כללי איך הנתונים נשמרים בדיסק (טבלאות, עמודות וכו'), בבסיס נתונים NoSQL מדובר במספר שיטות שונות לאחסון הנתונים, כאשר לכל שיטה היתרונות שלה לפי סוג המידע שאנחנו בוחרים לשמור. למודל הנתונים הלא רלציוני (Non Relational) יש יתרון אל מול מודל נתונים רלציוני במקרים רבים, אך לא בכולם. זה תלוי מאוד בסוג המידע שנשמר וסוג השאילתות שנריץ מעל המידע.

האם פתרון Big Data חייב להיות מבוסס NoSQL?
ממש לא. Big Data ו-NoSQL הן טכנולוגיות שונות, שבמקרים רבים הולכות יד ביד. עם זאת, לא מדובר בשילוב הכרחי תמיד. במקרים רבים נמצא שפתרון של ספק מסוים לעולמות ה-Big Data, הוא בסיס נתונים לא-רלציוני שאינו משתמש בשפת SQL לאחזור המידע.

ההמלצה שלנו לרוב הפרויקטים בתחום ה-Big Data היא לשלב בסיסי נתונים מסוג NoSQL עם בסיסי נתונים רלציוניים לפתרון המקיף ביותר. ככה נוכל ליהנות משני העולמות. בסיס הנתונים ה-NoSQL מאפשר עבודה עם Raw Data מובנה או לא מובנה על בסיס פלטפורמת NoSQL חזקה, יחד עם טעינה של הנתונים הרלוונטיים ביותר לבסיס נתונים רלציוני מוביל, מעליו ניתן להפעיל את מערכות ה-OLTP וה-BI הרגילות.

האם יש חסרונות לבסיסי נתונים מבוססי NoSQL?
כמובן. הרי אין טכנולוגיה שטומנת בחובה רק יתרונות. בדרך כלל קל יותר ופשוט יותר לעבוד מול בסיסי נתונים רלציוניים, בעיקר בעולמות ה-BI "הקלאסיים", ובוודאי שהם המתאימים ביותר למערכות OLTP (מערכות מבוססות Transactions). זו הסיבה שארגונים רבים משלבים בסיסי נתונים מסוג NoSQL יחד עם בסיסי נתונים רלציוניים כחלק ממערך שלם של אחסון, ניתוח ושליפה של המידע. כמו כן, חלק מבסיסי הנתונים בטכנולוגית ה-NoSQL הפופולאריים ביותר ל-Scale גדולים, מתאימים פחות לשאילתות הדורשות זמני תגובה ב-Realtime או Near Realtime עקב Latency גבוה יותר.

אז מהי הארכיטקטורה המומלצת לארגון שרוצה להטמיע פתרון Big Data?
חשוב להבין שאין טכנולוגיה "נכונה" או "לא נכונה" ליישום פתרון Big Data. על כל ארגון לבחור את הטכנולוגיה או סט הטכנולוגיות הנכונים ביותר עבורו. בפרויקטים שלנו, אנחנו בדרך כלל ממליצים על ארכיטקטורה המשלבת פתרונות NoSQL עם פתרונות SQL, ומחולקת לרוב לשלבים במתן המענה הטכנולוגי לאתגר העסקי שהלקוח מציג.

נאיה טכנולוגיות היא חברת ייעוץ והטמעה המתמחה בעולמות בסיסי הנתונים וה-BI על גבי פלטפורמות מיקרוסופט (Microsoft), אורקל (Oracle) וטכנולוגיות Open Source כגון Hadoop, PostgreSQL, MySQL ועוד