הבעיה של ה-AI מתחילה הרבה לפני שהמודל מקבל את השאלה

יש משפט ישן מעולם המחשבים: Garbage In, Garbage Out. זבל נכנס, זבל יוצא. במשך שנים הוא שימש כדי להסביר רעיון פשוט: מחשב אינו יכול להפוך נתון שגוי לנתון נכון. 

ה-AI הופכת את הסיפור למורכב יותר. מערכת מסורתית עשויה לעצור כשחסר לה מידע. מודל שפה בדרך כלל ינסה לעבוד עם מה שקיבל. ה-AI מנתחת, מחברת פרטים, מזהה הקשר ומנסחת תשובה. לפעמים היא גם משלימה פערים בדרך. ופה מתחילה הבעיה העסקית. 

לפני שבוחרים מודל, צריך להסתכל על חומר הגלם 

כשמדברים היום על הטמעת AI בארגון, השיחה מגיעה מהר מאוד למודל. איזה מודל לבחור, איזה ספק מתאים, כמה עולה השימוש ואילו תהליכים אפשר להפוך לאוטומטיים. 

כל אלה נושאים חשובים. ועדיין, לפני שמגיעים אליהם צריך להבין על איזה מידע המערכת תעבוד. 

בתחום האשראי הדבר מקבל משמעות מיידית – מערכת יכולה לקבל נתוני הכנסה, התחייבויות, היסטוריית אשראי, נתוני נכס ומסמכים שהלקוח העביר. לכאורה יש כאן תמונה רחבה מאוד. 

אבל במהלך השנים נתקלתי לא פעם במצב שבו נתון שנראה תקין במערכת אחת כבר לא היה מעודכן; מסמך נקלט בצורה חלקית; או שמידע הופיע בשתי מערכות בגרסאות שונות. אדם שמכיר את התהליך יכול לזהות את הפער. מערכת AI שרואה מאות פרטים בבת אחת עלולה להתייחס אליהם כחלק מאותה תמונה. 

כמות גדולה של מידע אינה מבטיחה תמונה טובה יותר. לפעמים היא רק מקשה יותר למצוא את הנתון הבעייתי. 

הטעות המסוכנת היא זו שנשמעת הגיונית 

AI אינה חייבת להיכשל בצורה ברורה. להפך. אחת התכונות שמקשות להתמודד איתה היא היכולת להפיק תשובה שנראית סבירה, גם כאשר משהו בבסיס שלה אינו תקין.

תוצאה שגויה יכולה להיות כתובה היטב, לכלול הסבר משכנע ולהישען על נתונים אמיתיים. הבעיה יכולה להיות דווקא בפרשנות שלהם, בתאריך שבו נאספו או בפרט אחד שחסר מהתמונה.

במערכות מידע מסורתיות, נתון חסר היה עשוי לעצור תהליך. מסך היה מציג שגיאה, חישוב היה נכשל, או שהמשתמש היה נדרש להשלים שדה. 

מודל שפה יכול להמשיך ולעבד את החומר שקיבל. הוא יכול לקבל מסמך חלקי ולנסח ממנו סיכום, או לראות נתונים ממקורות שונים ולחבר אותם לתשובה אחת. היכולת הזאת היא חלק גדול מהערך של ה-AI, אבל היא גם מחייבת אותנו להיזהר מהאופן שבו אנחנו מפרשים את הפלט – תשובה משכנעת אינה מעידה בהכרח על קלט איכותי. 

ככל שהמודלים משתפרים, אנחנו עלולים להקדיש פחות תשומת לב לאיכות הקלט, דווקא משום שהתוצאה נראית כל כך טובה. זו אחת המלכודות של הטכנולוגיה: היכולת לייצר פלט משכנע יכולה לטשטש את השאלה מה היה מונח בבסיסו 

לפעמים כל הסיפור משתנה בגלל נתון אחד 

בעבודה על מערכות בתחום האשראי למדתי להסתכל אחרת על נתונים שנראים שוליים. נניח שתהליך דיגיטלי אוסף מידע מהלקוח, ממערכות האשראי, ממסמכים וממקורות נוספים. כל רכיב יכול להיראות תקין בפני עצמו. כאשר מחברים את הכל יחד, עלול להתגלות פער: מזהה שלא תואם, הכנסה שאינה מעודכנת, התחייבות שלא הופיעה, או מסמך שהמערכת קראה באופן שונה ממה שהתכוונו.

מי שמכיר את התיק יכול להבין שהפער הזה דורש בדיקה נוספת. בתוך מערכת שמנתחת את כלל הנתונים, אותו פרט הופך לעוד רכיב בתוך תמונה רחבה הרבה יותר. 

מכאן מגיעה בעיניי אחת התובנות החשובות לגבי AI במערכות פיננסיות: איכות הנתונים צריכה להיות חלק מניהול הסיכון עצמו. היא אינה עניין ששייך רק לאנשי מערכות מידע, דאטה או תפעול. 

האחריות מתחילה לפני ה- Prompt 

ארגון שרוצה להשתמש ב-AI בצורה רצינית צריך להכיר את שרשרת המידע שמגיעה אל המודל. חשוב לדעת מה מקור הנתון, מתי הוא עודכן ומה קורה כאשר שתי מערכות מציגות מידע שונה. לא פחות חשוב להחליט מראש כיצד המערכת מתמודדת עם מידע חסר. 

במקרים מסוימים אפשר להמשיך בתהליך. במקרים אחרים נכון יותר להעביר את המקרה לבדיקה אנושית. היכולת לזהות שאין מספיק מידע לקבלת החלטה, היא חלק חשוב ממערכת שאמורה לעבוד בסביבה אמיתית. 

גם שאלת האחריות מקבלת כאן משמעות חדשה. כאשר AI טועה, קל להפנות את האצבע אל המודל. בפועל, ההחלטות המשמעותיות התקבלו הרבה לפני שהשאלה הגיעה אליו כיוון שנקבעו מקורות המידע, הוגדר מבנה הנתונים, נבחרו הרשאות הגישה ונקבע האופן שבו ישתמשו בתוצאה.

אם מקור הנתונים בעייתי, המודל לא יוכל לתקן את הבחירה הזאת באמצעות ניסוח טוב יותר.

איזה שינוי חל בעקרון הזה מאז עידן הבינה המלאוכתית? Garbage In, Garbage Out. צילום: אילוסטרציה. ג'מיני

היתרון יכול להיבנות הרחק מהמודל 

אם ניקח חברה שהשקיעה במשך שנים בחיבור נכון בין המערכות שלה – הנתונים עוברים בין המערכות בצורה מסודרת, מקורות המידע מוגדרים, כפילויות מטופלות ויש הבנה לגבי מידת העדכניות של כל נתון. 

כאשר AI נכנסת לסביבה כזאת, היא מתחילה מנקודת פתיחה טובה. היא מקבלת חומר שקל יותר לפרש, לקשר ולבדוק. עדיין יהיו טעויות, כמובן, אבל חלק גדול מהבלגן שהיה עלול להיכנס לתהליך כבר טופל קודם. 

זה יכול להפוך ליתרון משמעותי ככל שה-AI תהפוך למוצר מדף. אם כולם יקבלו גישה למודלים חזקים ומהירים, הערך יעבור במידה רבה לתשתיות שמסביבם: איכות הדאטה, החיבורים בין המערכות, הבקרה וההבנה העסקית. 

ככל שהמודלים משתפרים, אנחנו עלולים להקדיש פחות תשומת לב לאיכות הקלט, דווקא משום שהתוצאה נראית כל כך טובה. זו אחת המלכודות של הטכנולוגיה: היכולת לייצר פלט משכנע יכולה לטשטש את השאלה מה היה מונח בבסיסו. 

המודל לא השתנה, אבל איכות המידע שסביבו יכולה לשנות לחלוטין את הערך שנקבל ממנה. 

וזה מחזיר אותנו למשפט שנולד הרבה לפני עידן הבינה המלאכותית: Garbage In, Garbage Out – רק שהיום יש לו טוויסט משמעותי. הזבל כבר לא חייב לצאת כזבל. הוא יכול לצאת כדו"ח מסודר, כהמלצה עסקית, כסיכום משכנע או כהחלטה שנראית כאילו עברו עליה כמה אנשים. 

לכן, ארגון שמכניס AI צריך להתחיל בתשתית המידע שמזינה אותה. זה אולי פחות מרשים מהדגמה של מודל שמקבל שאלה ומחזיר תשובה בתוך שתי שניות, אבל שם נמצא חלק גדול מההבדל בין AI שמייצרת טקסט לבין AI שמייצרת ערך. 

בסופו של דבר, איכות הבינה שהארגון מקבל תלויה במידה רבה באיכות המידע שהוא מוכן לתת לה. 

הכותב הוא יועץ טכנולוגי לארגונים בעיקר בתחום האשראי החוץ בנקאי ובעברו מנמ"ר