כך יכול לוח השנה של גוגל להפוך את ג'מיני לכלי פריצה מסוכן

שלושה חוקרי אבטחה ישראלים פרסמו נייר עמדה ובו הם מציגים עד כמה ניתן היה בקלות להשתמש ביישום לוח השנה של גוגל כדי להניע את ג'מיני (Gemini) שלה לבצע דברים שונים ומשונים, ובעצם לגרום לו להפוך לכלי שמסייע לשימושים מרושעים – במיוחד עם התגברות השימוש בסוכני AI.

השלושה, בן נשיא מאוניברסיטת תל אביב והטכניון; סתיו כהן מהטכניון, ואור יאיר מחברת סייף בריץ' (SafeBreach) חשפו את האפשרות להשתמש בפרומפטים המשולבים בהודעה ששולחים כדי שתישמר בלוח השנה של גוגל, במטרה להניע את הפרצה הזו. למרות שהנייר פורסם רק עתה, הם העבירו את הממצאים שלהם לגוגל כבר בפברואר השנה, כדי לסייע לה לסגור את הפגיעות לפני הפרסום בפועל.

"פעם האמנתם שמתקפות עוינות נגד מערכות המופעלות על ידי AI הן מורכבות, לא מעשיות ואקדמיות מדי. במציאות, הזרקת הודעה עקיפה בהזמנה, שנשלחת ללוח השנה של גוגל, היא כל מה שצריך כדי לנצל לרעה את ארכיטקטורת הסוכנים של Gemini for Workspace", הסבירו השלושה.

הם סיפקו דוגמאות כיצד שילוב של טקסטים פשוטים יחסית בהודעות יכול לגרום למחיקת אירועים בלוח השנה של המשתמש, להשתמש ביכולות הבית החכם כדי להפעיל את הדוד בדירה של הנפגע, לפתוח את החלונות החכמים בתלות בשימוש במילה כזו או אחרת בצ'טבוט, לאתר את המיקום שלו באמצעות הדפדפן, לבצע הזרמות וידיאו באמצעות הזום של המשתמש ועוד.

הפירצה: בגלל שילוב סוכני ה-AI כמעט בכל היבט בסביבת העבודה

הפעילויות הללו נגרמות "בזכות" השילוב של סוכני ה-AI של גוגל כמעט בכל היבט של סביבת העבודה העסקית של החברה: התוקף שולח הודעת דואר/הזמנה, וכשהנפגע משתמש בסייען של גוגל מבוסס ג'מיני כדי לבדוק את ההודעות/תזמונים שלו בלוח, זה גורם להזרקה עקיפה של הפקודות ששולבו בזימון/בהודעה כדי לגרום לתופעות השונות המוזכרות לעיל.

החוקרים הציגו את המחקר הזה בכנס האבטחה 'הכובע השחור', אבל, כאמור, הדיווח הועבר לגוגל לפני כחצי שנה כבר. למעשה, בגוגל מספרים כי כבר ביוני בוצעו שינויים בסוכנים, כדי לסגור את הפגיעות הזו.