הדשבורד מת, יחי הסוכן: המהפכה השקטה בארכיטקטורת הדאטה הארגונית

במשך שנים רבות, דשבורד היה הכלי המרכזי שבאמצעותו ארגונים צרכו מידע עסקי, והצליחו בעיקר בדבר אחד: להציב תשובות חזותיות ומעובדות לשאלות שנצפו מראש. אבל נשאר אתגר מהותי: לענות במהירות על שאלות שלא תוכננו מראש, מבלי לנתב אותן דרך אנליסט. בשנים האחרונות צמחה קטגוריה חדשה של מערכות המכונות "לדבר עם הנתונים" (Talk-To-Your-Data), שבנויות על מודלי שפה, ומאפשרות לאדם לשאול שאלה בשפה יומיומית ולקבל תשובה שנשאבת ישירות מהנתונים ה-"חיים" של הארגון. מה שהשתנה לאחרונה הוא שהארכיטקטורה שסביבן הבשילה מספיק כדי להפוך את ההטמעה בסביבת הייצור לאמינה, ולא רק לשאיפה.

מה מערכת "לדבר עם הנתונים" עושה בפועל?

מאחורי תיבת הצ'ט הפשוטה, מערכת מתקדמת ל-"דיבור עם הנתונים" יכולה לפרש את השאלה, לאחזר את ההסכמה וההקשר העסקי, לייצר שאילתה, לרוב SQL, להריץ ולאמת אותה, ולהחזיר תשובה בשפה פשוטה, יחד עם תרשים ומקורות הנתונים ששימשו אותה. מימושים מתקדמים יותר עשויים להיות מבוססי סוכנים: הם מפרקים שאלה מורכבת לשלבים, קוראים לכלים לפי הצורך, בודקים את עבודתם ומנסים שוב כאשר התוצאה נראית שגויה.

יתרון בולט נוסף הוא שהמערכות לא מוגבלות לנתונים מובנים. אותו סוכן יכול לאחזר גם תוכן לא מובנה כגון חוזים, מסמכי מדיניות או פניות תמיכה, ובאמצעות טכניקות אחזור מוגבר (RAG) לצרף אותו למספרים שבמחסן הנתונים. חיבור כזה בתשובה אחת הוא דבר שהבינה העסקית המסורתית מעולם לא תוכננה לספק.

עוז נבו, שותף ומוביל תחום דאטה ו-AI בדלויט ישראל. צילום: עצמי

חשוב לזכור שהגישה הסוכנית מוסיפה זמן תגובה, עלות ומצבי כשל ולכן, לשאלות פשוטות וחוזרות, לעיתים נעדיף Text-to-SQL מגודר, בעוד שהסוכן שמור לשאלות מורכבות או חוצות מקורות.

איחוד מערכי דאטה מבוזרים

המכשול ההיסטורי העומד בפני "מקום אחד לשאול בו שאלות" מעולם לא היה רק הממשק, אלא גם מערך הנתונים עצמו. ארגונים מפעילים מערכות מקומיות לצד יישומים בענן והרים של מסמכים, לעתים קרובות עם הגדרות או מוסכמות שמות לא עקביות וללא נתיב גישה מאוחד. במקרים רבים אין צורך להחליף את כל תשתיות הדאטה, אם כי בקנה מידה גדול יש לבחון היטב ביצועים, עלות וממשל.

שני עקרונות עשויים לסייע באיחוד: פדרציה ו-וירטואליזציה של נתונים, שמאפשרת לסוכן הסקה על פני מחסנים ומערכות מקומיות דרך מודל זהות ומדיניות אחיד ו-"פרוטוקול ההקשר של המודל" (MCP). פרוטוקול זה מאפשר לחשוף מערכות כמוצרי נתונים מנוהלים שסוכן יכול לקרוא להם. עבור ארגונים עם פיקוח הדוק, היכולת להשאיר את הנתונים במקומם, תוך פתיחת גישה בשפה טבעית, עשויה להיות שיקול משמעותי.

השכבה הסמנטית היא ציר המפתח

מהניסיון הנצבר עולה שלעתים קרובות, הבעיות אינן נובעות מהזיות של המודל, אלא הן סמנטיות. המודל בוחר בטבלה הלא נכונה, מבצע צירוף (Join) ברמת פירוט שגויה או מבצע אגריגציה באופן לא נכון. שכבה סמנטית מנוהלת שמגדירה מדדים, ממדים, צירופים, רמת פירוט (Grain) והרשאות מעל הטבלאות הגולמיות מונעת את רוב השגיאות הללו עוד לפני שהשאילתה רצה, וגם הופכת כל תשובה לניתנת להסבר. זה מה שמאפשר לתשובה שיחתית להסכים עם הדשבורד במקום לסתור אותו.

ארגונים שמפיקים ערך אמיתי מתייחסים לשכבה הסמנטית כאל תנאי מוקדם. בנייתה היא לעיתים מאמץ ארגוני של יישוב הגדרות מתחרות בין פיננסים, מוצר ותפעול לדוגמא, ולא רק התקנה טכנית.

המשמעות היא שמרכז ארכיטקטורת הדאטה הוא כבר לא הדשבורד, ואף לא מחסן הנתונים, אלא שכבת הגישה והסמנטיקה המנוהלת, שאותה מתשאלים בני אדם ומכונות כאחד. להשלמת המענה לשאילתות שאינן מכוסות בשכבה הסמנטית נדרש לרוב שילוב עם Text-to-SQL מגודר.

מה חשוב לעשות נכון?

שלושה נושאים חייבים לקבל תשומת לב. ראשית, הממשל והאבטחה חייבים לחול על הסוכן בדיוק כפי שהם חלים על האדם: הרשאות ברמת הטבלה, השורה והעמודה, כך שסוכן לעולם לא יחשוף נתונים שהמשתמש לא זכאי להם, וכן מעקב ביקורת מלא אחרי כל שאילתה. מערכת שמתרגמת שפה לשאילתות הניתנות להרצה גם מרחיבה את משטח התקיפה, ולכן בקרות נגד הזרקה (injection) והרשאות יתר חשובות. שנית, את הדיוק יש למדוד באמצעות מנגנוני הערכה, אימות אוטומטי של השאילתות, ואדם-בתוך-הלולאה (Human-in-the-Loop) עבור פעולות בעלות השלכות. ושלישית, העלות, הביצועים והתשתית הסמנטית הם מציאויות הנדסיות שיש לתכנן מראש.

עלויות

מערכות מבוססות AI אינן דטרמיניסטיות בחיזוי עלויות, וזה נושא מהותי, שמעסיק את כלל הארגונים. בהנחה שבונים ממשקים בשפה טבעית מול הדאטה הארגונית, נשאלות השאלות: כמה אנחנו מוכנים לשלם על שאלה בממשק ואיך מודדים החזר על ההשקעה? אלה הן שאלות לא פשוטות, שדורשות ניתוח עסקי – כזה שאנחנו, בדלויט, נדרשים לבצע לעתים קרובות. מדידת העלות עצמה היא צעד ראשון והנדסי באופיו, אך האתגר הגדול יותר הוא הערכת תועלת רציפה כנגד KPIs שלעתים הם סובייקטיביים וייחודיים לכל ארגון. מסגרת הפעלה מגודרת והדרגתית, שמאפשרת ללמוד את פרופיל העלות-תועלת בקנה מידה מבוקר לפני התחייבות רחבה, היא גישה מעשית שארגונים רבים בוחרים בה.

הכותב הינו שותף ומוביל תחום דאטה ו-AI בדלויט ישראל.