צ'ק פוינט חשפה חולשה משמעותית בכלי AI – וב-ChatGPT בראשם

ענקית אבטחת המידע והגנת הסייבר הישראלית צ'ק פוינט חשפה היום (ב') חולשה משמעותית באופן שבו פועלות מערכות AI שאנחנו משתמשים בהן, ובראשן ChatGPT.

לפי הממצאים של חוקרי החברה, פרומפט זדוני אחד בלבד שההאקר שולח בשמנו יכול (היה) להפוך שיחה רגילה לערוץ סמוי להדלפת מידע. זאת, בלא שהמשתמש או המערכת יהיו מודעים לכך. לאחר הפעלת הפרומפט, כל אינטראקציה נוספת בשיחה הופכת למקור פוטנציאלי לדליפה.

חוקרי צ'ק פוינט ציינו כי "בפועל, ניתן היה לדלות ולהעביר החוצה מגוון רחב של מידע רגיש מתוך השיחה. זה כולל הודעות טקסט של המשתמש, תוכן מתוך קבצים שהועלו למערכת וכן פלטים שהמודל עצמו מייצר, כגון סיכומים, ניתוחים ומסקנות. במקרים רבים, דווקא הפלטים הללו מהווים את המידע הרגיש ביותר, שכן הם מרכזים ומזקקים תובנות מתוך נתונים רחבים".

ניצול ערוץ תקשורת נסתר

החולשה התבססה על ניצול ערוץ תקשורת נסתר, מבוסס DNS, בתוך סביבת הרצת הקוד של ChatGPT. על אף שסביבה זו מוגדרת כמבודדת ונטולת גישה ישירה לאינטרנט, שירות ה-DNS נותר זמין כחלק מהפעילות התקינה. החוקרים הראו כי ניתן לנצל את הערוץ הזה להעברת מידע בצורה מוסווית, באמצעות קידוד נתונים בתוך שאילתות DNS – שיטה מוכרת בשם DNS tunneling.

כיוון שבמהלך המחקר, פעילות זו לא זוהתה כהעברת מידע חיצונית, היא לא הפעילה מנגנוני הגנה קיימים: לא הופיעו התרעות, לא נדרש אישור מהמשתמש והמערכת לא זיהתה את ההתנהגות כסיכון. כך, הסבירו החוקרים, "נוצר פער בין מנגנוני האבטחה ברמת המדיניות לבין ההתנהגות בפועל של התשתית".

עוד עולה מהמחקר כי ניתן היה להטמיע את מנגנון התקיפה בתוך GPT מותאם אישית. "המשמעות היא", הסבירו, "שהמשתמש לא נדרש לבצע פעולה חריגה, כמו הדבקת פרומפט חשוד – אלא רק להשתמש בכלי שנראה לגיטימי. כך הופך הסיכון לאיום רחב היקף, שניתן להפיץ בקלות יחסית".

הרצת פקודות מרחוק בסביבה של ChatGPT

בנוסף, אנשי צ'ק פוינט הדגימו שאותו ערוץ תקשורת יכול לשמש לא רק לדליפת מידע, אלא גם להרצת פקודות מרחוק בתוך סביבת ההרצה שלChatGPT . לדבריהם, באמצעות תקשורת דו כיוונית מבוססת DNS ניתן היה להקים גישת שליטה (Remote shell) בתוך סביבת הלינוקס של המערכת – מחוץ לבקרות האבטחה של המודל ומבלי שזה נראה למשתמש.

צ'ק פוינט דיווחה על החולשה ל-OpenAI ב-20 בפברואר. אין אינדיקציה לניצול שלה בפועל. "עם זאת, הממצאים מדגישים את הצורך בגישה שונה לאבטחת מערכות AI – במיוחד לאור השימוש ההולך וגובר בהן בארגונים לצורך עיבוד מידע רגיש", ציינו החוקרים.

אלי סמדג'ה, מנהל תחום המודיעין הארגוני בצ'ק פוינט, אמר כי "המחקר ממחיש עד כמה קל, באמצעות פרומפט אחד בלבד, להפוך שיחה רגילה לערוץ סמוי להדלפת מידע – מבלי שהמשתמש או המערכת יזהו זאת. זה מחזק אמת לא נוחה בעידן ה-AI: אסור להניח שכלי בינה מלאכותית מאובטחים כברירת מחדל. ככל שהפלטפורמות הללו הופכות לסביבות מחשוב מלאות שמטפלות במידע הרגיש ביותר שלנו, מנגנוני ההגנה המובנים כבר לא מספקים לבדם. ארגונים צריכים נראות עצמאית ושכבות הגנה נוספות בין עצמם לבין ספקי ה-AI".