על חשיבות השימוש בבינה מלאכותית מוסברת

התקדמות טכנולוגיות הבינה המלאכותית (AI) בשנים האחרונות משנה את כללי המשחק. כלים מבוססי AI, דוגמת ChatGPT, קלוד וג'מיני הפכו נפוצים לא רק לשימוש אישי, אלא גם ככלי בקבלת החלטות ארגוניות, מהמלצה על אישור הלוואה דרך תפעול רכבים אוטונומיים ועד החלטות קליניות רגישות.

הבעיה המרכזית היא, שהחלטות AI מתקבלות לעיתים באופן שאינו מובן למשתמשים. הפער בין שיקול הדעת האנושי לזה של המערכת יוצר חוסר אמון. לכן, החלטות AI חייבות להיות מוסברות למקבלי החלטות, לרגולטורים וללקוחות.

בסקר עדכני של מק'ינזי (2024) בקרב מנהלים בארגונים, 40% מהמשיבים זיהו את אי יכולת ההסבר כאחד הסיכונים המרכזיים באימוץ AI, אך רק 17% פועלים להקטנתו. במקביל, מעבדות AI מובילות דוגמת אנת'רופיק מעריכות שהשקעות בבינה מלאכותית מוסברת (XAI) ישמשו מנוף תחרותי בשוק של מפתחי מודלים, במיוחד לאור חוקים כמו AI Act של האיחוד האירופי, המאלצים ארגונים לספק מידע על אופן קבלת ההחלטות של מערכות AI.

מעבדות AI מובילות דוגמת אנת'רופיק מעריכות שהשקעות בבינה מלאכותית מוסברת (XAI) ישמשו מנוף תחרותי בשוק של מפתחי מודלים

אז מהו XAI?

מדובר בתחום מתודולוגי, המאגד כלים וגישות/טכניקות שנועדו לספק הסברים ברורים, עקביים ושקופים לפעולת מערכות AI. יישום נכון של כלי XAI תורם להגברת האמון במודלים, לשיפור איכות קבלת ההחלטות ולעמידות הארגון בפני סיכונים תפעוליים ואתיים, ומסייע לעמידה בדרישות רגולציה מחמירות.

סיווגי XAI

כיום נהוג לסווג את כלי ה-XAI לפי סוג הטכניקה או עקרון ההסבר:

מודלים לוקליים וגלובליים:

• מודלים לוקליים (Local Explainability): מספקים הסבר להחלטה על מופע קלט בודד. לדוגמה: למה בקשת הלוואה של אדם מסוים נדחתה.
• מודלים גלובליים (Global Explainability): מסבירים את אופן קבלת ההחלטות של המודל כולו. לדוגמה: משקל של כל פרמטר במודל החלטות אישור הלוואה.

טכניקות Ante-hoc ו-Post-hoc

• Ante-hoc Explainability: מודלים שפותחו מראש באופן שניתן להסביר את החלטותיהם. לדוגמה: מודל רגרסיה לינארית אוLogistic Regression .
• Post-hoc Explainability: טכניקות שמסבירות בדיעבד את החלטות מודל ה-AI הקיים. (למשל, רשת נוירונים). למה המערכת קיבלה את בקשת ההלוואה.

טכניקות Perturbation-based ו–Gradient-based:

• Perturbation-based היא טכניקה המבוססת על שינוי/שיבוש נתוני קלט ובדיקת ההשפעה על הפלט. לדוגמה: בודקים איך משתנה אישור הלוואה אם מעלים או מורידים את דירוג האשראי. שני אלגוריתמים ידועים פועלים בשיטה זו:

LIME – משנה ערך אחד בכל פעם ובודק את השפעתו.

SHAP – בוחן התרומה של כל משתנה על ידי הוצאתו מהמודל.

• Gradient-based: בוחן את רגישות הפלט לשינוי קטן בנתוני הקלט באמצעות נגזרות.

קיימות שיטות נוספות שלא פורטו כאן. חשוב לזכור — אין מודל שיספק ודאות של 100%, וכל טכניקה מתאימה לסיטואציה אחרת, בהתאם לסוג המודל, המידע והרגולציה.

למה חשוב הסיווג?

הסיווג מספק מידע על הכלי המתאים ביותר לשימוש בהתאם לאופי המודל, משאבי הארגון ורמת האמון הרצויה בתוצאות (ראו טבלה). אין טכניקת XAI אחת שמתאימה לכל מצב.

שיטות הערכה של XAI

כדי לוודא שכלי XAI אכן מספקים הסברים איכותיים, אמינים ושימושיים נדרשות שיטות הערכה מסודרות. M. Mersha et al. (2024) הציעו לבחון כלי XAI בשני אופנים:

הערכה אנושית – מדידת שביעות רצון ואמון של המשתמשים בהסבר שניתן.

הערכה ממוחשבת – מדידת איכות ההסבר לפי חמישה מדדים אובייקטיביים:

• Fidelity – עד כמה ההסבר תואם את המודל המקורי.
• Consistency – האם אותו הסבר נשאר יציב גם בשינויים קטנים במודל.
• Robustness – עמידות ההסבר להפרעות בנתונים.
• Efficiency – יעילות חישובית.
• Sufficiency – האם ההסבר מספק להבנת ההחלטה.

מדידה זו נעשית באמצעות נוסחאות מתמטיות שבודקות את הסתברות ההתאמה בין מודל ההסבר לבין המודל המקורי, לכל אחד מהמדדים.

לסיכום, כדי לסמוך על AI, צריך לבדוק לא רק מה היא מחליטה, אלא גם עד כמה אפשר להבין למה.

הכותבת היא דוקטור עם התמחות בתחום הטכנולוגיה בארגונים, ומשמשת יועצת לארגונים בתחום המחשוב.