AI סוכנית – משטח התקיפה שעדיין לא מנוטר

מי שגדל בעולם הסייבר ההתקפי יודע לא לחפש את הנקודות המוגנות ביותר, אלא את הנקודות שאף אחד לא חשב לשמור עליהן. שירותים שנפרסו ונשכחו, הרשאות שניתנו בלחץ ולא נשללו, ממשקים שנוספו בשקט ולא תועדו – בהם טמונה ההזדמנות.

כשמסתכלים על הטרנד של פריסת AI סוכנית בארגונים, ניתן לזהות דפוס מוכר: טכנולוגיה שנפרסת מהר, ופיקוח שמגיע אחריה לאט. הסוכנים שארגונים מטמיעים היום – אוטומציות שפותחות מיילים, מריצות קוד, שואלות מאגרי נתונים ומפעילות כלים חיצוניים – הם בדיוק משטח התקיפה שמעסיק אנשי Red Team – ההרשאות רחבות, הנראות נמוכה, ואף אחד לא הגדיר מה הם בעצם מורשים לעשות.

ה-AI היוצרת מהדור הראשון פעלה בתוך מסגרת ברורה: אדם שואל, מכונה עונה, אדם מחליט מה לעשות עם התשובה. הסוכן שובר את המסגרת הזאת, כי הוא לא עונה, הוא פועל –  מקבל מטרה ומשיג אותה בעצמו, כלומר פותח קבצים, שולח הודעות, מריץ סקריפטים, מחבר מערכות.

"השאלה שצריך לשאול בבואנו לבחון כל פריסת סוכן חדשה היא  – אם מישהו ישלח לסוכן הזה מסמך עם הוראה נסתרת, מה הוא יוכל לעשות? מי יידע? כמה מהר?"

הבדל קריטי

מנקודת המבט של אבטחה, ההבדל הוא קריטי. כלי הוא אובייקט – מנטרים אותו, מגבילים אותו, עוצרים אותו. שחקן, לעומת זאת, הוא ישות עם זהות, הרשאות ויכולת פעולה, ולישות עם זהות והרשאות ארגוניות יש שם מוכר מאוד בעולם שלנו: Service Account  – מזה שנים מהווקטורים הנוחים ביותר למתקפות, בדיוק משום שהם קיימים, פעילים, לרוב בעלי הרשאות גבוהות, ולרוב לא מנוטרים כמו משתמשים אנושיים. הסוכנים של היום הם גרסה מתקדמת ומסוכנת יותר של אותה בעיה ישנה.

מבין האיומים הנלווים ל-AI סוכנית, ה-Indirect Prompt Injection הוא זה שמעסיק אותנו ביותר – ולא בגלל שהוא המורכב יותר טכנית, אלא בגלל שהוא אלגנטי מבחינה התקפית וקשה לזיהוי מבחינה הגנתית. הרעיון פשוט: תוקף שמבין את תהליך העבודה של סוכן ארגוני , כלומר אילו מסמכים הוא קורא, אילו מיילים הוא מעבד, לאילו כלים הוא מחובר, יכול להטמין בתוך תוכן לגיטימי לכאורה, הוראות שהסוכן יבצע כאילו הן פקודה של המשתמש. הסוכן לא חושד, אין לו מנגנון ספקנות, הוא לא שואל "מי נתן לי את ההוראה הזו ולמה". חמור יותר, מרבית כלי האבטחה הקיימים לא מחפשים את זה. מערכות ההגנה תוכננו לזהות חריגות בהתנהגות, דפוסים שנוצרו בעולם שבו מחשב לא שולח בעצמו מייל ולא פותח בעצמו קבצים. סוכן שמריץ סדרה של פעולות לגיטימיות בתגובה להוראה זדונית נראה להן כמו עבודה תקינה לחלוטין, והפער הזה בין מה שהכלים רואים לבין מה שבאמת קורה, הוא לב הבעיה.

השאלה שצריך לשאול בבואנו לבחון כל פריסת סוכן חדשה היא  – אם מישהו ישלח לסוכן הזה מסמך עם הוראה נסתרת, מה הוא יוכל לעשות? מי יידע? כמה מהר? ברוב הארגונים אין תשובה ברורה דיה לשאלות האלה – לא בגלל רשלנות, אלא בגלל הקצב. ארגונים פורסים סוכנים במהירות, כי הלחץ התחרותי הוא אמיתי, והם פורסים אותם לתוך מבנה שנבנה לעולם שבו בני אדם מקבלים החלטות ומפעילים מערכות. התוצאה היא סוכן עם גישה לתיבות דואר, מאגרי נתונים וכלי קוד, כאשר לרוב לא מנסחים במפורש מה הוא מורשה לעשות ומה לא. לא מגדירים מה קורה אם הוא מקבל הוראה שנראית לגיטימית אבל מקורה אינו מאומת. לרוב לא בודקים אם ה-logging מספיק מעמיק כדי לשחזר מה עשה הסוכן שעה אחורה.

בעיות כאלו לא נפתרות בצ'קליסט, אבל יש שינוי תפיסתי אחד שדחוף מכל היתר: הפסיקו לשאול "האם ה-AI שלנו מאובטחת?" והתחילו לשאול "מה תוקף יכול לעשות עם ההרשאות שנתנו לסוכן שלנו?"

השאלה הראשונה מפנה לבדיקת הכלי, השאלה השנייה מפנה לבדיקת הארכיטקטורה ולדרך שבה הארגון יגיב כשדברים ישתבשו.

ארגון שמריץ סוכן עם גישה רחבה ללא מדיניות Least Privilege ברורה, ללא logging מעמיק, ולא הגדיר גבולות שנוגעות למה שהסוכן לעולם לא יוכל לעשות גם יתבקש, לא יעזור לו שהמודל עצמו "מאובטח". הסיכון לא נמצא במודל, הוא נמצא בקשר שבין המודל לשאר הארגון.

מבחינה מעשית, זה אומר להתחיל לנהל סוכנים כמו שמנהלים זהויות בעלות הרשאות: מיפוי מלא של כל מה שהסוכן יכול לגשת אליו, הגבלה על בסיס עיקרון ההרשאה המינימלית, ניטור שמותאם להתנהגות סוכנית ולא רק אנושית, ותוכנית תגובה לתרחיש שבו סוכן נפגע, כי זה לא תרחיש תיאורטי.

הלחץ לפרוס AI סוכנית הוא אמיתי ולגיטימי, אך הארגונים שיפרסו חכם, לא רק מהר, הם אלה שיהפכו את האוטומציה ליתרון בר-קיימא. המרוץ האמיתי אינו מי יפרוס סוכנים מהר יותר, אלא  מי יבנה את מערכת הפיקוח שמאפשרת לפרוס אותם בלי לייצר סיכון שלא מוצג בשום לוח בקרה.

הכותבת היא מנהלת הטכנולוגיות בארמורי דיפנס.