כשגשר קורס יש מהנדס – כשה-AI יוצאת משליטה, מי האחראי?

כשגשר קורס, מתחילים לבדוק את התוכניות, החומרים והחישובים. יש מהנדסים, קבלנים, תקני בטיחות ובדיקות. אפשר להתווכח מי אחראי, אבל לפחות יש נקודת מוצא: אפשר לנסות לשחזר את שרשרת ההחלטות שהובילה לאסון.

אבל מה קורה כשאנחנו מפתחים מערכות בינה מלאכותית שמסוגלות לקבל החלטות ולפעול בעצמן? ומה אם לא רק שאיננו יודעים מי אחראי לנזק, אלא גם מתקשים להסביר כיצד המערכת הגיעה להחלטה שגרמה לו?

סוכני AI כבר לא מסתפקים במענה על שאלות או בניסוח מיילים. הם כותבים קוד, מפעילים כלים חיצוניים ומנהלים תהליכים באופן עצמאי. אנחנו רוצים להגדיר להם מטרה ולא לנהל כל צעד בדרך. אבל ככל שאנחנו מעניקים להם יותר עצמאות, אנחנו עלולים לאבד את היכולת להבין ולשלוט בכל מה שהם עושים בדרך להשגתה.

אחריות בלי יכולת לשחזר את שרשרת ההחלטות היא אחריות שקשה לממש. גם כאשר אפשר לתעד בדיוק אילו פעולות ביצע הסוכן, לא תמיד אפשר להסביר מדוע בחר דווקא בהן. תיעוד מאפשר לשחזר מה קרה, אבל לא בהכרח להבין מדוע

המשימה הייתה לגיטימית. הדרך אליה – לא

נניח שמשתמש מבקש מסוכן AI לבצע מחקר עסקי על חברה מתחרה. במהלך העבודה, הסוכן מזהה חולשת אבטחה שמאפשרת גישה למידע שאינו ציבורי, ומנצל אותה כדי להשלים את המשימה. המשתמש לא ביקש לפרוץ, והמפתחים לא תכננו שהסוכן יעשה זאת. אבל הנזק כבר נעשה.

מי אחראי? המשתמש שהגדיר את המשימה, החברה שפיתחה את המודל; או החברה שבנתה את הפלטפורמה והעניקה לסוכן גישה לכלים?

הבעיה היא שלא תמיד מדובר בטעות אחת שאפשר להצביע עליה. ייתכן שהמודל הציע פעולה מסוכנת, שההרשאות אפשרו אותה ושמנגנוני הניטור לא זיהו אותה בזמן. ייתכן שאף רכיב בפני עצמו לא נראה מסוכן, אבל החיבור בין יכולות המודל, ההרשאות והכלים יצר אפשרות לפעולה שאיש לא התכוון לאפשר.

אחריות בלי יכולת לשחזר את שרשרת ההחלטות היא אחריות שקשה לממש. גם כאשר אפשר לתעד בדיוק אילו פעולות ביצע הסוכן, לא תמיד אפשר להסביר מדוע בחר דווקא בהן. תיעוד מאפשר לשחזר מה קרה, אבל לא בהכרח להבין מדוע.

צריך להגדיר מראש מי אחראי לגבולות הפעולה שלהם. סוכני ה-AI. צילום: עיבוד ממוחשב - ChatGPT. מקור: Shutterstock AI, bixstock, Shuttertock

"אבל אמרנו לו שאסור" זו לא אסטרטגיית בטיחות

אפשר להנחות סוכן לכבד פרטיות, לא לגשת למידע חסוי ולא לבצע פעולות לא חוקיות. אבל הוראות אינן תחליף למנגנוני הגנה שמגבילים בפועל את יכולתו לפעול.

חברת הסעות לא יכולה להסתפק בהנחיה לנהוג בזהירות. היא צריכה לדאוג גם לתקינות הרכבים ולנהלי בטיחות. באותו אופן, מערכות AI זקוקות להרשאות מוגבלות, לתיעוד פעולות, לניטור חריגות ולאפשרות לדרוש אישור אנושי, או לעצור תהליך.

חשוב גם לבדוק לא רק כל רכיב בנפרד, אלא את המערכת השלמה. הסיכון עלול להיווצר דווקא בחיבור בין מודל, כלים והרשאות, כשפעולות תמימות לכאורה מצטברות לתוצאה מסוכנת.

אלה לא רק החלטות טכנולוגיות, אלא החלטות מוצריות וניהוליות שקובעות כמה עצמאות אנחנו מוכנים לאפשר ובאילו תנאים.

לא צריך לחכות לאסון כדי להחליט מי אחראי

לא כל פעולה בלתי צפויה מעידה על רשלנות, ולא כל נזק ניתן למניעה. האחריות יכולה להתחלק בין כמה גורמים. דווקא משום כך, צריך להגדיר מראש מי אחראי לגבולות הפעולה של הסוכן, מי מפקח עליו ומי מסוגל לשחזר את פעולותיו לאחר אירוע חריג.

אנחנו רוצים סוכנים שיודעים לחשוב, לתכנן ולפעול בעצמם. אבל עצמאות אינה יכולה להיות תחליף לאחריות.

כשאנחנו נותנים למערכת יכולת להשפיע על העולם האמיתי, עלינו לתכנן לא רק מה היא מסוגלת לעשות, אלא גם מה לא נאפשר לה לעשות, וכיצד נוכל להבין את פעולותיה בדיעבד.

כי ביום שבו סוכן AI יגרום לנזק משמעותי, התשובה "אבל לא ביקשנו ממנו לעשות את זה" לא תספיק. השאלה תהיה גם מי בנה מערכת שאפשרה להחלטה הזאת להפוך למעשה.

האחריות על מערכות AI לא מתחילה ברגע שמשהו משתבש. היא מתחילה הרבה קודם, בהחלטות שאנחנו מקבלים בזמן התכנון: אילו פעולות נאפשר למערכת לבצע, היכן נציב גבולות, ומה נוכל לדעת אם משהו ישתבש. ככל שהמערכות הופכות עצמאיות יותר, כך חשוב יותר שלא נסתפק בשאלה אם הן מסוגלות לבצע את המשימה. אנחנו צריכים לשאול גם אם אנחנו מסוגלים להבין, לבקר ולעצור את הדרך שבה הן מבצעות אותה.

כי אם אנחנו מעניקים למערכת את הסמכות לפעול, אנחנו לא יכולים לוותר על האחריות להבין מה היא עושה.

כותבת המאמר היא ה-CTO של ליבי טכנולוגיות מקבוצת וואן טכנולוגיות