"יש למנוע מסוכן ה-AI לקבוע לעצמו את הכללים לפיהם הוא פועל"

"סוכן AI יכול להיות אוטונומי בדרך שבה הוא מבצע משימה. הוא לא יכול להיות אוטונומי בקביעת הכללים לפיהם הוא פועל – את אלה קובע הארגון. בעולם בו אלפי סוכנים יפעלו במקביל, הארגון נדרש למערכת אחת שיודעת לאכוף אותם כללים", כך אמר עודד טהורי, מנכ"ל ג'ין טכנולוגיות (Gene Technologies).

בראיון לאנשים ומחשבים ציין טהורי כי "יש להסיט את הזרקור בדיון על סוכני AI מהשאלה מה הם מסוגלים לעשות – לשאלה חשובה יותר: מי שולט בכל הסוכנים האלה, ומוודא שכולם פועלים לפי מדיניות הארגון?".

"השאלה איננה תיאורטית", הדגיש טהורי. "האירועים האחרונים סביב הסוכנים הסוררים של OpenAI המחישו עד כמה הבעיה ממשית. אבל הסיפור הגדול יותר אינו מה קרה במעבדות OpenAI – אלא מה יקרה בארגון".

יותר ויותר מהם יפעלו בארגון ועל החברה לדאוג לממשל ותיאום ביניהם. סוכני AI. צילום: ImageFlow, ShutterStock

"לא בעיית אבטחה, אלא צורך בשליטה ארגונית"

"בשנים הקרובות", אמר טהורי, "בארגונים יהיו מאות ואלפי סוכנים, חלקם מיצרני תוכנה, חלקם יפותחו בארגון וחלקם ייבנו על פלטפורמות AI. לכל אחד מהם יהיו מטרות, הרשאות וכלים שונים. כך נוצרת כאן בעיית ממשל, ריבונות AI חדשה, והארגון עלול למצוא את עצמו עם עשרות מערכות שמיישמות עשרות גרסאות שונות של אותה מדיניות. לדוגמה: סוכן אחד יודע שאסור לאשר הוצאה מעל סכום מסוים; סוכן אחר לא קיבל את הכלל הזה; סוכן שלישי משתמש במודל אחר; סוכן רביעי נבנה על ידי ספק חיצוני; וחמישי עודכן לפני חודש, אבל המדיניות שלו לא עודכנה. זו כבר אינה בעיה של אבטחת מידע, אלא בעיית שליטה ארגונית".

"חל שינוי מעולם התוכנה המסורתי. בעולם סוכני ה-AI, הרשאה היא רק השלב הראשון ולאחריו יש לטפל בשאלה החשובה יותר: מה מותר לסוכן לעשות עם ההרשאה שקיבל? יש לוודא שכאשר הוא השיג את המטרה שהוגדרה לו, צריך לדעת איך היא הושלמה, באילו מערכות נעשה שימוש, לאיזה מידע הייתה גישה, ואילו פעולות בוצעו בדרך. נדרשת שכבה חדשה של ממשל ובקרה בארכיטקטורה הארגונית, מעל הסוכנים, ולא בתוכם".

לקבוע מדיניות אחידה לסוכני AI

"ב-ג'ין טכנולוגיות", ציין העומד בראשה, "אנו מפתחים שכבת שליטה מרכזית, המאפשרת לארגון להגדיר מדיניות אחידה לסוכני AI, גם כשהם מבוססים על מודלים שונים, נבנו על ידי צוותים שונים, או פועלים במערכות שונות. הארגון מגדיר פעם אחת את מדיניות הארגון בשכבת השליטה. שכבה זו תקבע לאילו מערכות ומידע הסוכן רשאי לגשת, אילו פעולות הוא רשאי לבצע, באילו תנאים, עד איזה סכום, מול אילו סוגי מידע ומתי נדרש אישור אנושי". 

"החלק החשוב ביותר", אמר טהורי, "הוא אכיפה בזמן אמת. כשסוכן מבקש לבצע פעולה, זו נבחנת מול עמידה בכללי המדיניות הארגונית. המדיניות אינה תלויה בכך שהמודל 'יזכור' את ההוראות, או יפרש נכון את השאילתה. הגבול נאכף מחוץ למודל. הבחנה זו הופכת קריטית, ככל שהסוכנים נעשים אוטונומיים יותר". 

"האירועים האחרונים בתעשייה", סיכם טהורי, "ממחישים שגם המפתחים של המודלים המתקדמים בעולם משקיעים יותר ויותר בניטור, הכלה ובקרה חיצונית על פעולות של סוכנים. האתגר הגדול הבא הוא ריבונות וממשל על הסוכנים – Agent Governance. הפתרון אינו לעצור את השימוש בסוכנים, אלא ההפך: כדי שארגונים יוכלו לתת לסוכני AI יותר עצמאות, הם יצטרכו לבנות סביבם מנגנוני שליטה חזקים יותר".