קייטו מצאה פרצת אבטחה בכלי AI של גוגל ומיקרוסופט

חוקרי חברת הסייבר הישראלית קייטו נטוורקס מצאו באחרונה פרצת סייבר בכלי ה-AI של גוגל, מיקרוסופט ופרפלקסיטי – ג'מיני, Copilot ו-Comet, בהתאמה.

החולשה התגלתה בכלי AI המותקנים בדפדפנים, והיא מאפשרת להפוך אתרי אינטרנט אמינים לכלי תקיפה, כמו גם לגנוב נתונים מבלי לפרוץ לאתרים עצמם.

את החולשה גילו אנשי קבוצת המחקר Cato CTRL. הם הדגימו במחקר תרחישי תקיפה עיקריים, שבהם התוקפים מנחים את עוזרי הבינה המלאכותית להציג למשתמשים מספרי טלפון וקישורים מזויפים, בעת שהם מבקשים פרטי קשר לשירות לקוחות בארגונים שונים.

"מצבים אלה יכולים להביא ליכולת של התוקפים לחלץ נתונים רגישים של המשתמש, שעלולים להישלח למקורות זדוניים בלא ידיעתו, לגנוב פרטי התחברות, ולהציג מידע שגוי ונרטיבים שקריים, שעלולים להשפיע על המשתמש ועל קבלת החלטות שגויות", כתבו החוקרים.

Hashjack מחליפה פרטי קשר של בנק עם פרטי יצירת קשר של התוקפים. מקור: קייטו נטוורקס

הטכניקה שבה פועלים התוקפים מכונה HashJack. במסגרתה, כל שנדרש מהם הוא להוסיף לכתובת של אתר אינטרנט לגיטימי את הפרומפט – ההנחיות הזדוניות, ולהפיץ אותן. ברגע שמשתמש טוען בדפדפן את כתובת האתר עם התוספת הזדונית, ההנחיות "מדברות" עם עוזרי הבינה המלאכותית, ואז מופעלים תרחישי התקיפה.

לפי חוקרי קייטו, "מערכות ההגנה המסורתיות לא מזהות את המתקפה, כי הן פועלות דרך פרומפטים שנטמנו בכתובת אתרים לאחר סימן האשטאג (#), בתהליך שלא יוצא מהעבודה בדפדפן".

הם הסבירו כי "המתקפה מתאפשרת על ידי ניצול האמון של המשתמשים באתרים לגיטימיים, עם לינקים לגיטימיים. אין למשתמש סיבה לחשוד בשלב כלשהו בתהליך שמדובר באתרי פישינג חשודים".

"כל אתר לגיטימי עלול להפוך לכלי תקיפה, כאשר התוקפים אפילו לא צריכים לפרוץ לאתר עצמו", סיכמו חוקרי קייטו. "הם מנצלים את האופן שבו דפדפני ה-AI מעבדים את ההנחיות לאחר סימן ההאשטאג לכלי הבינה המלאכותית. כך, למעשה, נוצרת תת קטגוריה חדשה, של איומי סייבר בעולם הבינה המלאכותית".