חולשה מאפשרת שליפה אוטונומית של מידע רגיש מ-OpenAI – בחשאי

חוקרים מרדוור הישראלית גילו חולשת אבטחה חדשה ב-ChatGPT, המאפשרת להאקרים לערוך מתקפה ולחלץ מסוכן ה-Deep Research של כלי ה-GenAI הפופולרי מידע רגיש מהענן של OpenAI. זאת, בלא שהמשתמש יבצע פעולה כלשהי, ואף מבלי שייוותרו עקבות ברשת או בתחנת הקצה.

החוקרים דיווחו על הממצאים לאנשי OpenAI ב-18 ביוני, וזו הכירה בבעיה והודיעה על השלמת התיקון בתחילת ספטמבר.

אנשי רדוור הגדירו את החולשה כ-Zero-Click בצד השירות, וכתבו כי "די בכך שהמערכת האוטונומית תיתקל בהודעת מייל זדונית כדי שתופעל שליפת נתונים אוטומטית. ההוראות הזדוניות עלולות להיות מוחבאות בתוך הטקסט עצמו – למשל, באמצעות טקסט לבן על רקע לבן, פונט זעיר או קוד HTML מוסתר, כך שהעובד כלל לא מבחין בהן". הם הסבירו כי "ברגע שסוכן ה- AI מתבקש לבצע משימה שגרתית כמו 'סכם את המיילים של היום', הוא מבצע בפועל את ההוראות החבויות, ניגש לכתובת אינטרנט שנמצאת בשליטת התוקף ומדליף לשם נתונים רגישים, כגון פרטים אישיים, מידע עסקי או אסטרטגי".

הדלפת צללים

החוקרים מסרו כי מדובר בפגם מסוג ShadowLeak (הדלפת צללים). לדברי ד"ר דוד אביב, סמנכ"ל הטכנולוגיות של רדוור, "זהו מודל מובהק של 'אפס הקלקות': אין כל פעולה מצד המשתמש, אין רמז ולקורבן אין דרך לדעת שמידע רגיש נגנב. הכול מתרחש מאחורי הקלעים, באמצעות פעולות סוכן ה-AI על שרתי הענן של OpenAI".

את החולשה חשפו החוקרים גבי נקיבלי, צביקה באבו ומאור עוזיאל. לדבריהם, "מדובר בקטגוריה חדשה של מתקפות על סוכני AI, והיא שונה ממתקפות Zero-Click שדווחו בעבר. במקרה זה, המתקפה מתבצעת בצד השירות בלבד, היא לא מחייבת פתיחה או לחיצה על קובץ ולא משאירה עקבות שניתנות לניטור בכלים קיימים".

"המתקפה לא פוגעת רק בתיבות מייל", הדגישו. "סוכני AI משולבים כיום במערכות ניהול לקוחות (CRM), מערכות משאבי אנוש, מערכות SaaS מגוונות ואף כלי פיתוח עסקי. לכן, כל מקור מידע המחובר ל-ChatGPT עלול להוות יעד לדליפה. כל מידע משפטי, פיננסי או מסחרי עלול לזלוג החוצה, בלא שהארגון יבחין בכך".

רון מירן, סמנכ"ל מודיעין איומי סייבר ברדוור, ציין כי "ארגונים שמאמצים בינה מלאכותית לא יכולים להסתמך רק על מנגנוני ההגנה המובנים. השילוב בין סוכני AI אוטונומיים, שירותי SaaS ומידע רגיש מייצר וקטורים חדשים של תקיפה, והם לא ניתנים לגילוי בכלים המסורתיים". לדבריו, " זו דוגמה לאופן שבו פישינג כבר לא מיועד רק לבני אדם אלא גם למכונות, שמבצעות את ההוראות עבור המשתמשים, ועושות זאת באופן עיוור".

בחברת ההגנה הישראלית ציינו כי החשיפה מגיעה בזמן שבו ChatGPT ממשיך להתרחב לשוק הארגוני: בחודש שעבר אמר ניק טרלי, סמנכ"ל מוצר ב־OpenAI, כי יש לכלי ה-GenAI חמישה מיליון משתמשים עסקיים משלמים. "המשמעות היא פוטנציאל חשיפה רחב במיוחד עבור חברות שתלויות בכלים מבוססי AI בתהליכי העבודה שלהן, החל משירות לקוחות, דרך ניתוח נתונים ועד לניהול תהליכים עסקיים קריטיים", מסרו אנשי רדוור.

"שוק האבטחה ייאלץ להתאים עצמו לעידן חדש"

"הסיכון הולך וגובר, בעולם שבו בינה מלאכותית משולבת בפעילות הליבה של ארגונים. שוק האבטחה ייאלץ להתאים עצמו לעידן חדש, 'האינטרנט של הסוכנים': כזה שבו סוכני AI פועלים עצמאית מול שירותים שונים, ולעתים גם אחד מול השני", כתבו החוקרים. "בעידן כזה, לא מספיק להתמקד רק במה שהמודל אומר, אלא בעיקר במה שהסוכן עושה בפועל".

"האיום הוא לא במשפט שגוי על המסך", סיכמו, "אלא בפעולה סמויה שמבצע הסוכן, לכאורה בשם המשתמש. זו פעולה שאף מערכת מסורתית לא יודעת לבלום, או לאתר בזמן אמת. בניגוד למתקפות 'אפס קליק' שנחשפו בעבר, ShadowLeak פועלת באופן עצמאי ולא משאירה ראיות ברמת הרשת. מצב זה הופך את האיומים הללו לכמעט בלתי אפשריים לזיהוי מנקודת מבטו של הלקוח העסקי של ChatGPT".