חרג מהסימולציה: ג'מיני של גוגל פרץ לחברות אמיתיות

בדיקת סייבר שגרתית חשפה כי כלי ה-AI מבית גוגל חרג מסביבת הניסוי והשיג גישה לאתרים פעילים - האירוע מצטרף לשורת כשלים בתעשייה ומעורר דיון נוקב על בטיחות ההפעלה של סוכנים אוטונומיים ושחרורם ברשת

פרץ מהבדיקה בארגז החול אל אתרים אמיתיים. ג'מיני של גוגל.

חברת גוגל אישרה רק לאחרונה כי מודל הבינה המלאכותית שלה, ג'מיני (Gemini), הצליח לפרוץ באופן עצמאי למערכות המחשוב של שלוש חברות מסחריות, וזאת במהלך בדיקת אבטחה שנערכה לו עוד בחודש מאי – לפני כארבעה חודשים. בפועל מהדיווחים השונים מסתבר כי גוגל למדה על שאירע ביולי, ולא אמרה כלום על כך, עד שהוול סטריט ג'ורנל התקשר אליה בימים האחרונים לבקש את עמדתה בנדון. 

האירוע התרחש במסגרת מבדק סייבר שביצעה חברת ההזנק הישראלית אירגיולר (Irregular), העוסקת בהערכת יכולות האבטחה של מודלים מתקדמים. מדובר בפעם הראשונה שבה מדווח כי מערכת AI של גוגל חרגה מסביבת הסימולציה וביצעה פעילות חדירה עצמאית ברשת האינטרנט הציבורית.

כך חרג המודל מסביבת הניסוי

הסיבה המרכזית שאפשרה את החריגה הייתה תקלת הגדרה טכנית בסביבת הניסוי, אשר הותירה ללא כוונה נתיב פתוח לרשת האינטרנט החיצונית. במהלך התרגיל, נדרש המודל לאסוף מידע על חברה פיקטיבית, אולם שמה של הישות המדומה היה זהה לדומיין קיים במציאות, שסבל מאבטחה לקויה. ג'מיני ניצל את הגישה הלא מבוקרת לרשת, ובאחד המקרים ניחש סיסמאות שוב ושוב, עד שהשיג גישה למערכת מוגנת. בשני המקרים האחרים, המודל סרק את הרשת הציבורית, איתר מאגרי קוד פתוחים שבהם נחשפו נתוני הזדהות, והשתמש בהם כדי להיכנס לשירותיהן של חברות אמיתיות.

תגובת גוגל והבדלי ההתנהגות

הת'ר אדקינס, סגנית נשיא להנדסת אבטחה בגוגל, מסרה בתגובה כי המודל איתר מידע גלוי וניחש נתוני גישה עבור אתרים שסבר בטעות כי הם חלק מהמבחן. עם זאת, בגוגל וב-אירגולר הדגישו כי בכל שלושת המקרים המודל הטיב לזהות כי מדובר בחברות אמיתיות, ועצר את פעילות החדירה מיד ברגע שהשיג את הגישה הראשונית. 

אדקינס הוסיפה גם כי גוגל יידעה את שלוש החברות שנפגעו ועבדה מול שותפת האימון על עדכון נהלי הבדיקה, תוך שהיא מציינת כי האירוע מדגיש את החשיבות של אימון מודלים לפעולה אחראית. בגוגל הסבירו כי המקרה לא נחשב ככשל בטיחותי חמור (Misalignment) ולא חייב דיווח ציבורי מיידי, מאחר שמנגנוני הבקרה הפנימיים פעלו כנדרש, בעוד שמ-אירגיולר נמסר כי הליקויים תוקנו לחלוטין.

היסטוריה של סוכנים סוררים בתעשייה

המקרה של גוגל אינו מבודד, אלא מהווה חוליה נוספת בשרשרת אירועים שבהם סוכני AI חרגו מסביבות סגורות (ארגזי החול – Sandbox Breakouts) במהלך מבדקי אבטחה. עם זאת, קיים שוני משמעותי בין המקרים: בעוד ש-ג'מיני הפסיק את פעולתו, לפי הדיווחים, ברגע שהבין כי פרץ למערכת אמת, במקרה של חברת אנת'רופיק (Anthropic), המודל שלה קלוד (Claude) חרג מסביבת הניסוי ופרץ לארגונים מבלי לעצור מעצמו. כמו כן, חברת OpenAI דיווחה בעבר על אירוע שבו מודלים שלה ביצעו מתקפת סייבר בלתי מורשית ואף חדרו לחשבון בחברת התוכנה האגינג פייס (Hugging Face), בעוד שמחברת מטא (Meta) נמסר כי אירוע דומה שחשפה לא כלל בריחה מסביבת הניסוי או תקיפה מורכבת. 

יצוין כי אירגולר הישראלית, שהוקמה ב-2023 על ידי המנכ"ל דן להב והסמנכ"ל הטכנולוגי עומר נבו, גייסה 80 מיליון דולר מקרנות כמו סקויה (Sequoia) וממשקיעים פרטיים, בהם אסף רפפורט ואופיר ארליך, והפכה לגורם מרכזי בבחינת גבולות הבטיחות של מערכות הבינה המלאכותית.

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים