שלא במפתיע, סוכני AI מביאים איתם איומי סייבר חדשים

האימוץ ההולך וגדל על ידי ארגונים של סוכני AI – הכוללים מודלי שפה גדולים (LLMs) וביצוע משימות אוטומטיות – מביא עימו "חבילת" סיכוני אבטחת סייבר חדשים, כך לפי פרוטקט AI.

החברה נרכשה באחרונה על ידי פאלו אלטו נטוורקס (Palo Alto Networks), ואנשיה הציגו סיכונים אלה בכנס בלאק האט (Black Hat) שהסתיים בסוף השבוע בלאס וגאס. על המשקיעים ב-פרוטקט AI, שאינה ישראלית, נמנה היזם הסדרתי הישראלי שלמה קרמר, מנכ"ל קאטו נטוורקס (Cato Networks).

החוקרים חילקו את הסיכונים לשלוש קטגוריות עיקריות: הקשר (קונטקסט) פגום שבהוראות לסוכן הבינה המלאכותית; שימוש דינמי בכלים וסיכונים בשרשרת האספקה; טעויות אימות והרשאה לאורך עבודת הסוכן.

"המודלים מאוד לא אמינים בקביעה האם ההקשר אכן הגיע מהמשתמש"

לפי החוקרים, הקשר פגום הוא סיכון האבטחה הקריטי ביותר לסוכני ה-בינה המלאכותית. הם ציינו כי "LLMs מתקשים בסיסית להבחין בין הוראות לגיטימיות להתערבויות זדוניות. המודלים מאוד לא אמינים בקביעה האם ההקשר אכן הגיע מהמשתמש. התוקף עלול להזריק הוראות שונות לחלוטין מהמטרה המקורית של הסוכן – כמו מתקפת הזרקת SQL. מטרה מקורית זו עלולה להיפגע דרך כמה ערוצים – היסטוריית צ'אט, אינטראקציות היסטוריות, בסיסי נתונים, מאגרי מסמכים, או פלטים מ-סוכני AI אחרים. כך, הזיות של סוכן אחד עלולות להפוך לאמת בסיסית עבור האחר, וליצור מידע מוטעה ומסוכן, בשל מניפולציה שנעשתה על סוכן ה-AI".

הם הוסיפו והרחיבו כי "המורכבות עולה במערכות מרובות סוכנים: האינטראקציות הופכות לבלתי צפויות באופן מעריכי (אקספוננציאלי). התוקף עלול ליצור שרשרת של מניפולציות הקשר, שמשנות בהדרגה את התנהגות הסוכן, והזיהוי נהיה מאתגר ביותר".

הסיכון השני, לפי החוקרים, קשור לדינמיות שבעצם השימוש בכלים, והזיקה לשרשרת האספקה. ישנה מורכבות אבטחה משמעותית, הסבירו, שנוצרת כי המצב מאפשר לסוכני AI לבחור ולשלב כלים לביצוע משימות, ולעשות זאת באופן עצמוני. פרוטוקול ההקשר של המודל (The Model-Context Protocol – MCP) מאפשר לסוכנים לערבב כלים זמינים בגמישות – אך זו יוצרת פגיעויות אבטחה משמעותיות. סוכן עלול לשרשר כלים בלא ידיעתו, או בלא כוונת זדון, וזה עלול ליצור חשיפה מקרית של נתונים. סיכוני שרשרת האספקה נובעים מהאינטראקציות שבין שירותים וכלים שונים. כלי תמים עלול לכלול הוראות שמתמרנות את התנהגות הסוכן, או מעניקות גישה לדלת אחורית. כך, הסבירו, נוצרים באגים ב-MCP – שירות שבעבר היה מהימן עלול לפתע לשנות את התנהגותו, ולחשוף את המערכת כולה לסיכונים בלתי צפויים".

"האיומים האלה מסוכנים", הסבירו, "כיוון שהם מנצלים את כוח הליבה של סוכני AI, ואת יכולתם העצמונית לשלב כלים ומשאבים כדי לפתור בעיות. התוקף עלול ליצור התקפה מתוחכמת, שנראית כבקשה לגיטימית מהכלי, אך למעשה מכילה הוראות זדוניות נסתרות".

הסיכון השלישי, לפי חוקרי פרוטקט AI, מגיע מהמורכבות של האימותים וההרשאות. "עבור סוכני AI, נוף האימות וההרשאה מייצג אתגר חסר תקדים באבטחת סייבר: מודלי האימות הליניאריים המסורתיים מתקלקלים כשעליהם להתמודד עם סביבות מרובות סוכנים, לצד אינטראקציות רבות ודינמיות. כל אינטראקציה דורשת אימות זהות בשכבות רבות במערכת. האתגר מחריף במיוחד בהבנת האישורים הללו, וצריך למנוע מצב שבו הסוכן – כשהוא בנה את זרימת הבקרה – שינה את סטטוס ההרשאה שלו ולקח הרשאות גבוהות כדי למלא את משימתו. הסיכון המשמעותי ביותר טמון בחוסר היכולת לחזות את שינויי ההרשאות הללו".

החוקרים סיכמו: "נדרשים פתרונות אבטחה ספציפיים לבינה מלאכותית – עם נראות מקצה לקצה, עם גישה מקיפה שיכולה לעקוב ולאמת כל שינוי בהרשאה בזמן אמת. יש ליצור מערכת שבה ניתן למפות, לנטר ולשלוט במדויק על הזהות וההרשאה של כל סוכן, בעיקר לגבי הקשרים המורכבים שלו עם סוכנים רבים אחרים. יש להבין את עומסי העבודה הפנימיים ועומסי העבודה של תוכנה כשירות (SaaS). חשוב לשמור על נראות ושליטה לגבי ההקשרים וההוראות הניתנות לסוכן. יש לפתח פרוטוקולים ומערכות המאפשרים בקרה נכונה. נדרש להוסיף פתרונות מקצה לקצה, ספציפיים לאבטחת AI".