כשהעובד החדש הוא סוכן AI, מי אחראי לטעויות שלו?

סוכני AI מקבלים הרשאות לגיטימיות ופועלים בלי אישור אנושי בכל שלב ● כך הם הופכים לסוג חדש של סיכון פנימי, ופיקוח של סוכן על סוכן אחר לא יפתור את שאלת האחריות

אביב נחום, מנכ"ל ומייסד שותף של Above Security

בחודש שעבר הציגה מיקרוסופט את Guardian Agents, סוכני אבטחה שנועדו לפקח על פעילותם של סוכני AI אחרים, לזהות התנהגות מסוכנת ולהתערב בעת הצורך. החברה הציגה תפיסה שלפיה גם סוכנים שפועלים בתוך הארגון באמצעות הרשאות לגיטימיות עלולים להפוך למקור סיכון, ואף טבעה עבורם מונח חדש, Agentic Insiders. עצם הצורך להצמיד לסוכן AI סוכן נוסף שישגיח עליו ממחיש את האתגר שניצב בפני ארגונים: הם מעניקים למערכות אוטונומיות סמכות לבצע עבודה, אך לא תמיד מסוגלים לפקח על הדרך שבה היא מתבצעת.

דמיינו עובד במחלקת המכירות שמבקש מסוכן AI להכין סקירה לקראת חידוש חוזה עם לקוח. הסוכן ניגש למערכת ניהול הלקוחות, מאתר מסמכי תמחור פנימיים, מנתח את הנתונים ושולח את הסיכום לסביבת שיתוף חיצונית. המשימה הושלמה בהצלחה, אלא שבדרך נחשף מידע מסחרי רגיש שלא היה אמור לצאת מהארגון.

כשההרשאה לגיטימית

איש לא פרץ למערכת. לא נגנבה סיסמה ולא בוצעה פעולה ללא הרשאה. הסוכן פשוט השתמש בגישה שניתנה לו והגיע לתוצאה שאיש לא התכוון אליה. עד לאחרונה, רוב כלי ה-AI הארגוניים התמקדו במענה לשאלות, בכתיבת תוכן ובניתוח מידע. סוכני AI כבר מסוגלים להתחבר למערכות עסקיות, להריץ קוד, לשנות רשומות, לשלוח הודעות ולהפעיל סוכנים נוספים. הם אינם זקוקים בהכרח לאישור אנושי בכל שלב, וזה בדיוק היתרון העסקי שלהם.

אלא שאותן יכולות יוצרות גם סיכון מסוג אחר. מערכות האבטחה המסורתיות בנויות במידה רבה סביב זהויות, הרשאות וזיהוי חריגות. הן יודעות לבדוק אם משתמש רשאי לגשת למסמך או להפעיל מערכת, אבל מתקשות יותר לקבוע אם רצף של פעולות מורשות משרת את המטרה שלשמה ניתנה הגישה.

הבעיה מסתבכת כאשר כמה סוכנים משתפים פעולה. סוכן אחד אוסף מידע, השני מנתח אותו והשלישי מעביר את התוצאה למערכת חיצונית. כל פעולה עשויה להיות תקינה בפני עצמה, אך התוצאה הכוללת עלולה לחשוף מידע רגיש או לשנות נתונים באופן בלתי רצוי.

סיכון פנימי מסוג חדש

כאן נדרשת תפיסה רחבה יותר של תחום ה-Insider Risk, ניהול הסיכונים הפנימיים. במשך שנים התמקד התחום בעובדים, בקבלנים ובשותפים שעלולים לנצל לרעה הרשאות, במכוון או בטעות. כעת מצטרפים אליהם סוכני AI, שמסוגלים לפעול בשם עובדים ולבצע פעולות בעלות השלכות עסקיות.

המשמעות אינה שיש להתייחס לסוכן כאל עובד אנושי, אלא שצריך לחקור את פעילותו כחלק מהתהליך הארגוני. מי הפעיל אותו? מה הייתה המשימה? לאילו נתונים ניגש? אילו פעולות ביצע ולאן הועבר המידע? תשובות לשאלות האלה מחייבות חיבור בין מערכות, זהויות והקשר עסקי, ולא רק איסוף של התראות נוספות.

גם הפתרון אינו יכול להסתכם בסוכן AI שמפקח על סוכן אחר. נדרשים גבולות הרשאה ברורים, יכולת לעצור פעולות מסוכנות, תיעוד שמאפשר לשחזר החלטות ופיקוח אנושי במקרים המתאימים. אבל מעבר לטכנולוגיה, ארגונים יצטרכו להתמודד עם שאלת האחריות. אם סוכן AI חושף מידע מסחרי, מי נושא באחריות? העובד שהפעיל אותו, המנהל שאישר את השימוש או מי שהגדיר את הרשאותיו?

ארגונים לא יוכלו ליהנות מהיתרונות של סוכני AI אם ידרשו אישור אנושי לכל פעולה. מנגד, הם אינם יכולים להעניק למערכות אוטונומיות סמכות לפעול בלי להבין כיצד היא מנוצלת. האחריות על התוצאה נשארת בידי הארגון, גם כשהפעולה עצמה כבר אינה מבוצעת בידי אדם.

אביב נחום, הוא מנכ"ל Above Security ואחד ממייסדי החברה.

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים