כשה-Agent לוחץ על "שלח" לבד

כולנו קראנו את הכותרות – אנתרופיק (Anthropic) פרסמה לאחרונה System cards למודלים המתקדמים שלה, ובמסגרת תהליכי Red teaming מבוקרים תיעדה התנהגויות שמושכות תשומת לב: במצבים מסוימים, מודלים פעלו בדרכים לא צפויות כדי להשיג את מטרתם, כולל עקיפת מגבלות שהוגדרו להם.

חשוב להדגיש: זה לא קרה בפריסה ייצורית אמיתית. אף לקוח לא קיבל מייל שלא ביקש, ואף מערכת לא נפרצה. מדובר בניסויים שנועדו בדיוק על מנת לחשוף כשלים לפני שהם מגיעים לשטח. ובכל זאת, מי שמסתכל על הממצאים ואומר "זה רק מחקר" מפספס את הנקודה. מחקר שמראה שמודל פועל מחוץ לגבולות שהוגדרו לו, גם בסביבה מבוקרת, הוא מידע שצריך לשנות החלטות תכנון.

המעבר ממודלים שעונים לשאלות למודלים שפועלים בשמנו משנה את כללי המשחק. ברגע שמודל יכול לכתוב למסד נתונים, לשלוח הודעה או לעדכן רשומת לקוח, הוא אינו עוד כלי ייעוץ. הוא שחקן ביצוע

כשהמודל מחליט לבד

אבל השאלה המעניינת אינה מה קרה בניסוי. השאלה היא מה הניסוי הזה אומר לנו על הדרך שבה אנחנו מתכננים מערכות, ועל הפער בין הציפייה הניהולית לבין ההתנהגות בפועל. כשמסתכלים על הממצאים מזווית תשתית, הדבר הראשון שנראה אינו "מרד של מכונה". זו תוצאה עקבית של אופטימיזציה למשימה. מודלים מהדור הנוכחי מאומנים להעדיף הצלחה במשימה כפי שהיא מוגדרת להם. כאשר המטרה היא "לסיים תהליך", חסמים עלולים להיתפש כרעש ולא כגבול. טוקן חסר אינו בהכרח איתות של Governance. הרשאה חסרה אינה בהכרח "עצור". זו נקודת התורפה האמיתית, והיא לא תיפתר בניסוח חכם יותר של פרומפט. בני אדם פועלים בתוך הקשר: נהלים, היררכיה, אחריות. המודל פועל בתוך מסגרת אופטימיזציה. ההבדל הזה אינו פרט טכני, הוא ההבדל בין כלי לבין שחקן.

מי אחראי על הנתונים שהוא נוגע בהם?

מכאן מגיעה שאלה שמעסיקה ארגונים מהכיוון האחר לגמרי: מה המשמעות של כל זה עבור הנתונים שהמודל נוגע בהם? כש-Agent פועל עם הרשאות שירות, הוא לעיתים מחזיק בגישה רחבה יותר ממשתמש אנושי בודד. אם אין הפרדה חדה בין "הצעה לפעולה" לבין "ביצוע בפועל", הארגון עלול למצוא את עצמו במצב שבו פעולה אוטומטית נתפשת כפעולה רשמית לכל דבר. לא בהכרח כי מישהו טעה, אלא כי אף אחד לא הגדיר במפורש היכן עובר קו הגבול. בארגון מסורתי, עובד חדש שמסתפק בהוראות "תסיים את המשימה" ומתחיל לשלוח מיילים ללקוחות ביוזמתו – יקבל שיחה. ל-Agent אין מנגנון שיחה. יש רק ארכיטקטורה.

ולמה זה חשוב במיוחד לגופים פיננסיים, ביטוחיים או בריאותיים? כי GDPR, SOC 2 והנחיות רגולטוריות דומות אינם מכירים בהסבר "ה-Agent פעל באופן עצמאי". האחריות תישאר אצל הארגון, תמיד. ולכן לא מספיק לשאול אם המודל עובד טוב. צריך לשאול מה קורה כשהוא עובד טוב מדי ומשלים משימה בדרך שאיש לא אישר.

עלולים "לתפוס עצמאות" מסוכנת. סוכני ה-AI. צילום: ShutterStock

פרומפט הוא לא מדיניות

על כן הנקודה הקריטית היא זו: פרומפט הוא שכבת הדרכה, לא מנגנון אכיפה. הוא דומה לנוהל כתוב ללא מערכת בקרת כניסה. ארגון שלא היה מוכן להסתפק בשלט "נא לא להיכנס ללא הרשאה" בדלת חדר שרתים, לא אמור להסתפק בהנחיה טקסטואלית למודל שמחובר ל-API רגיש. הסתמכות על ניסוח טוב היא אסטרטגיה שנשברת בדיוק ברגעים הכי לא נוחים. Governance של AI מחייב ארכיטקטורה שמגבילה יכולות בפועל: הפרדת הרשאות, Sandbox אמיתי, ניטור בזמן אמת ולוגים ברמת Audit.

וצד הנתונים מוסיף שכבה נוספת שלעיתים מתעלמים ממנה: Explainability תפעולי. כלומר, לא רק למה המודל ענה תשובה מסוימת, אלא למה בחר לבצע פעולה ומה היו החלופות שדחה. ההבדל בין השניים הוא לא טכני בלבד, הוא משפטי ורגולטורי, ובארגונים מסוימים הוא ההבדל בין אירוע מנוהל לבין כותרת בעיתון.

מכלי ייעוץ לשחקן ביצוע

המעבר ממודלים שעונים לשאלות למודלים שפועלים בשמנו משנה את כללי המשחק. ברגע שמודל יכול לכתוב למסד נתונים, לשלוח הודעה או לעדכן רשומת לקוח, הוא אינו עוד כלי ייעוץ. הוא שחקן ביצוע. והדור הבא של MLOps חייב לשקף זאת: Capability Scoping מדויק, מנגנוני Approval מובנים בתהליך, וחלוקה ברורה בין סביבת ניסוי לסביבת ייצור.

ארגונים שמטמיעים Agents מתוך הנחה שהם "עוזרים חכמים" בלבד עלולים לגלות, מאוחר מדי, שהפכו למבצעים בפועל.

הדבר שמרתק בממצאי המחקר של אנת'רופיק אינו מקרה כזה או אחר, אלא העיקרון שהם מדגימים: כשמגדירים מטרה לסוכן צריך להניח שהוא יפעל להשגתה באופן מלא. לא כמו עובד שקורא בין השורות ומבין שיש גבולות שלא נאמרו אלא כמו שהוא – מנוע שמחפש את המסלול הקצר ביותר לנקודת הסיום, ואינו יודע שאסור לעבור דרך חדר מסוים.

הדור הבא של הטמעת AI לא ימדד רק בדיוק ופרודוקטיביות. הוא ימדד ביכולת לשלב אוטונומיה עם אחריות, מהירות עם שליטה, וחדשנות עם ביטחון תפעולי. מי שיבין את זה מוקדם, ייהנה מהיעילות מבלי לשלם את המחיר. מי שלא, עלול לגלות שה-Agent כבר לחץ על "שלח".

הכותב אמיר עוז משמש כיועץ טכנולוגי לארגונים ובעברו מנמ"ר והכותב טל מצרי הוא סמנכ"ל טכנולוגיות ומנמ"ר בחברת לואן ווייז