גוגל הזהירה משתמשי ג'ימייל ממתקפות פישינג "שקטות" מבוססות AI

גוגל שיגרה לפני סוף השבוע האחרון התרעה חסרת תקדים ל-1.8 מיליארד משתמשי ג'ימייל (Gmail) שלה ברחבי העולם, ובה הזהירה אותם מפני גל חדש של מתקפות סייבר מבוססות בינה מלאכותית, המסוגלות לגנוב מידע מבלי שהמשתמש יבחין בכך כלל.

בניגוד לטקטיקות פריצה ופישינג קונבנציונליות, המסתמכות על אתרי אינטרנט מזויפים או קישורים חשודים כדי לפתות משתמשים לחשוף מידע, האיום החדש, המכונה "הזרקות פקודות עקיפות" (Indirect prompt injections), מנצל את כלי הבינה המלאכותית שאנו מסתמכים עליהם ביומיום.

מתקפה זו פועלת על ידי הטמעת בקשות זדוניות בתוך מקורות נתונים תמימים לכאורה, כגון מסמכים, אימיילים או הזמנות ליומן. כאשר כלי AI מובנים כמו אלה המצויים בג'ימייל, או תוספי דפדפן, סורקים את התוכן, הם יכולים להיות מוטעים לפעול בשם התוקף. לדוגמה, עוזר ה-AI המובנה בג'ימייל עלול להיות מרומה כך שיעביר הודעות, ישתף יומנים או אפילו יחשוף פרטים אישיים אחרים – והכל ללא ידיעת המשתמש או הסכמתו. החלק המסוכן ביותר הוא שהמשתמש עלול לא להבין בכלל לעולם שדבר כלשהו אירע.

פקודות בלתי נראות

סקוט פולדרמן, מומחה טכנולוגיה, הסביר לדיילי רקורד כי "האקרים מצאו דרך להשתמש בג'מיני – הבינה המלאכותית של גוגל עצמה – נגדה. למעשה, האקרים שולחים אימייל עם הודעה נסתרת לג'מיני, כדי לחשוף את הסיסמאות שלכם מבלי שתשימו לב". הוא הדגיש כי מתקפה זו היא "AI נגד AI", ו-"הוראות נסתרות אלה גורמות ל-AI לעבוד נגד עצמה ולחשוף את פרטי הכניסה והסיסמה שלכם". פולדרמן הוסיף: "אין קישור שעליכם ללחוץ (כדי להפעיל את ההונאה – ג"פ). זה ג'מיני שקופץ ומודיע לכם שאתם בסכנה".

מומחים הסבירו כי מה שהופך איום זה למסוכן במיוחד הוא שאינו דורש אינטראקציה מהמשתמש – אין צורך ללחוץ על דבר, ואין צורך להתקין תוכנה זדונית. הפעולות שמתבצעות על ידי הבינה המלאכותית יכולות אפילו שלא להופיע ביומן הפעילות של המשתמש, מה שהופך אותן לבלתי נראות.

מומחה טכנולוגיה נוסף, מרקו פיגרואה, מצוות המחקר 0Din של מוזילה, הראה כיצד ניתן להחביא פקודות אלו בתוך מיילים באמצעות שילוב של HTML ו-CSS, המגדירים את גודל הגופן לאפס ואת צבעו ללבן, כך שהן נותרות בלתי נראות בתצוגה רגילה של ג'ימייל אך נגישות לג'מיני. פיגרואה אף הדגים הונאה בה ג'מיני הזהיר משתמש באופן שקרי כי סיסמת הג'ימייל שלו נפרצה ושילב בהתרעה מספר טלפון מזויף לצורך תמיכה.

ההאקרים למדו להפעיל אותו נגד עצמו. כלי ה-AI המוביל של גוגל – ג'מיני. צילום: Shutterstock

בגלל ה-GenAI – "גל חדש של איומים צומח בתעשייה"

גוגל עצמה התייחסה לאיום, ובהצהרה רשמית מסרה: "התקפה עדינה אך עוצמתית זו הופכת לנפוצה יותר ויותר בתעשייה, במיוחד ככל שאנשים רבים יותר משתמשים בכלי AI בתהליכי העבודה היומיומיים שלהם". עוד כתבו בגוגל: "עם האימוץ המהיר של בינה מלאכותית יוצרת (GenAI), גל חדש של איומים צומח בתעשייה, שמטרתו לתפעל את מערכות ה-AI עצמן. וקטור תקיפה מתפתח כזה הוא הזרקות פקודות עקיפות… ככל שיותר ממשלות, עסקים ואנשים פרטיים מאמצים GenAI כדי להשיג יותר, מתקפה עדינה אך עוצמתית בפוטנציה זו הופכת רלוונטית יותר ויותר בכל התעשייה, ודורשת תשומת לב מיידית ואמצעי אבטחה חזקים".

למרות שגוגל מיישמת הגנות מפני הזרקת פקודות מאז 2024, שיטה זו יכולה לעקוף את ההגנות הנוכחיות, והחברה ציינה כי היא פורסת כעת באופן פעיל הגנות מעודכנות.

דובר גוגל הצהיר: "ההגנה מפני התקפות המשפיעות על התעשייה, כמו הזרקות פקודות, הייתה עבורנו בעדיפות מתמשכת, ופרסנו הגנות חזקות רבות כדי לשמור על בטיחות המשתמשים, כולל הגנות למניעת תגובות מזיקות או מטעות. אנו מחזקים ללא הרף את ההגנות החזקות ממילא שלנו באמצעות תרגילי 'צוות אדום', המאמנים את המודלים שלנו להגן מפני סוגים אלה של התקפות עוינות".

החברה הוסיפה ועדכנה כי היא נוקטת בגישת אבטחה רב-שכבתית, תוך הצגת אמצעי אבטחה המיועדים לכל שלב במחזור חיי ההנחיה. "מחיזוק מודל ג'מיני 2.5, דרך מודלי למידת מכונה ייעודיים המזהים הוראות זדוניות, ועד לאמצעי הגנה ברמת המערכת, אנו מעלים באופן משמעותי את הקושי, ההוצאה והמורכבות שעומדים בפני תוקף", נאמר בבלוג של גוגל. גישה זו "מאפשרת לאויבים להידרש לשיטות שקל יותר לזהותן או שהן דורשות משאבים רבים יותר". נכון לעכשיו, גוגל לא צפתה ניצול פעיל של טכניקה ספציפית זו.

מה יכולים המשתמשים לעשות?

הפגיעות המסוים מדגישה כיצד טקטיקות הפישינג מתפתחות יחד עם הבינה המלאכותית וזה נושא מרתיע. בזמן שפתרון מלא ידרוש ככל הנראה שינויים מחברות טכנולוגיה וספקי AI, ישנם צעדים שמשתמשים יכולים לנקוט כדי להגן על עצמם. גוגל מציעה לנהוג בזהירות עם מסמכים משותפים והזמנות ליומן, במיוחד מאנשי קשר לא מוכרים. בנוסף, מומלץ להימנע מתוספים או הרחבות של צד שלישי הטוענים ל-AI משולב, אלא אם כן אתם סומכים לחלוטין על המקור. חשוב לא לסמוך באופן עיוור על תוכן שנוצר בידי AI; יש לוודא מידע קריטי, כגון התרעות אבטחה או מספרי טלפון, באמצעות מקורות רשמיים.

כמו כן, אם אימייל נראה חריג, במיוחד אם הוא בלתי צפוי או מאדם שאינכם מזהים – הימנעו משימוש בתכונת סיכום ה-AI וקראו את המייל במלואו. כמו כן, מומלץ לשמור על עדכניות יישומים ותוספים ולבצע סקירה שוטפת של הרשאות החשבון ויומני הפעילות דרך הגדרות חשבון הגוגל. בנוסף, יש לשמור על שיטות אבטחה מומלצות כמו אימות דו-שלבי וסיסמאות חזקות וייחודיות, ולהיות ערניים להתנהגות חריגה או התרעות לא שגרתיות.

למי שחושש במיוחד, ניתן לשקול השבתת תכונות AI מיותרות או סיכומי ג'מיני בהגדרות הג'ימייל או ה-Docs, ואולם חשוב לדעת שאין "מתג כיבוי" מרכזי אחד להסרת כל התייחסויות ה-AI של ג'מיני בכל מקום.