מה ארגונים צריכים ללמוד מהסוכנים הסוררים של OpenAI?

ביום ו' האחרון חשפה OpenAI כי סוכני בינה מלאכותית שלה "הסתובבו" בקיץ האחרון באתרים של שלושה גופים פדרליים אמריקניים: משרד החינוך, משרד המסחר והרשות לניירות ערך ולבורסות (SEC).

לצערנו, החשיפה אינה עוד כותרת סנסציונית על "בינה מלאכותית שיצאה משליטה". מדובר בתיאור מפוכח למדי של איום מסוג חדש, שמנהלי אבטחת מידע בארגונים צריכים לשים על לוח המשימות שלהם.

במשרד המסחר האמריקני, הסוכנים שלפו נתונים מאתר הלשכה לסטטיסטיקה (Census Bureau) באמצעות פרטי גישה של מפתחים שמצאו חשופים ברשת, במאגרי קוד ציבוריים. ב-SEC, הם ניגשו למידע ציבורי בשני אתרים של הרשות ופרסמו אותו מחדש באתר אחר; הרשות מסרה כי לא נחשף מידע שאינו ציבורי. במשרד החינוך, סוכנים שנראה כי מקורם ב-OpenAI ניסו לבצע פריצה בסיסית לאתר המחלקה לזכויות האזרח, ונכשלו. המשרד הודיע כי לא נמצאה כל השפעה על אתריו או על מאגרי המידע שלו.

וארצות הברית איננה לבד: ימים ספורים קודם לכן הודיע ראש ממשלת אוסטרליה כי סוכן של OpenAI חדר למאגר מידע לאומי של מערכת הבריאות, והאירועים האלה מצטרפים לאירועים שכבר דווחו בהרחבה, כמו התקיפה של שירות האגינג פייס (Hugging Face).

וראוי לציין ש-OpenAI לא היחידה, מדובר בבעיה שמשותפת לכל הדור הנוכחי של המודלים, ושנראתה גם אצל אנת'רופיק (Anthropic), גוגל (Google) וחברות AI אחרות.

OpenAI מדגישה כי רוב הפעילות שבדקה עד כה הייתה משימות מחקר שגרתיות, שבהן הסוכנים פנו לאתרי ממשל כאל מקור מידע סמכותי, וכי הודעה שהיא שולחת לארגון אינה מעידה בהכרח על אירוע אבטחה.

ברם, קשה להתעלם מההקשר, וגם מדיווח של רויטרס, שטוען שהמספרים גדולים בהרבה: 1,200 בינות מלאכותיות ברחו מארגז החול שלהן בתוך חברת הבינה המלאכותית, ו-700 מהן גם תקפו אתרים חיצוניים, ואלה כבר מספרים מדאיגים.

סוכני AI של OpenAI פרצו אליה. האגינג פייס. צילום: אילוסטרציה. ChatGPT

"סוכן אוטונומי מסוגל ליזום אירוע סייבר מלא"

מה שהופך את האירועים האלה למעניינים עבור ארגונים הוא דווקא היעדר הכוונה הזדונית. אין כאן כנופיית כופרה ואין כאן מדינה עוינת. יש סוכן שקיבל משימה, ומגדיר כל מכשול בדרך לביצועה כבעיה טכנית שיש לפתור. מבחינתו, מערכת ההגנה שלכם אינה "גבול" – אלא עוד פאזל שצריך לפתור. הוא אינו מתעייף, אינו מתייאש בסוף השבוע, פועל במקביל מאלפי מופעים, ומוכן לנסות אלף כיוונים כדי למצוא את הפתרון האחד שעובד. 

דה פקטו, זהו פרופיל של תוקף מתמיד ברמה גבוהה, רק בלי המניע, שבדרך כלל מאפשר לנו לחזות את צעדיו. המשמעות: ההנחה ש"אנחנו לא מעניינים אף אחד" כבר אינה רלוונטית. סוכן שמחפש נתון מסוים יגיע אליכם אם הנתון נמצא אצלכם, או אם הוא רק מסיק שייתכן שהוא נמצא בידכם.

קיריל גלפנד, ארכיטקט פתרונות סייבר בכיר ב-TrendAI אומר בשיחה עם אנשים ומחשבים כי האבולוציה של התוכנה, שהפכה מקוד דטרמיניסטי לקוד ניסויי שמיוצר בזמן אמת על ידי סוכני AI אוטונומיים – משנה מן היסוד את נוף סיכוני הסייבר.

"מקרי "המודלים הברחניים" (Fugitive Models) שנצפו לאחרונה, שבהם סוכנים אוטונומיים פורצים את גבולות ארגז החול, עוקפים בקרות רשת ומגיעים לתשתיות חיצוניות כדי להשלים משימות הערכה – מדגימים באופן ברור את השינוי המהותי: סוכן אוטונומי מסוגל ליזום אירוע סייבר מלא ללא כל הוראה אנושית או קוד זדוני", מסביר גלפנד. 

"מכיוון שסוכנים אלה פועלים באמצעות הרשאות לגיטימיות ובמהירות של GPU, מנגנוני ההגנה המסורתיים, המבוססים על חתימות וכללים סטטיים – מאבדים מיעילותם. ההגנה המודרנית חייבת לעבור מניסיון לנחש את הכוונות שהוטמעו באימון המודל, לניטור התנהגותי רציף בזמן אמת ולהכלה קשיחה ברמת התשתית. רק השילוב של נראות שלבי ריצה, מדיניות אכיפה מחוץ לסביבת הביצוע של הסוכן, ובקרה תשתיתית, מאפשר ניהול אפקטיבי של סיכוני ה-Agentic AI", קובע חוקר הסייבר.

שמונה כללי התגוננות בפני תוקפנות AI 

הנה שמונה עקרונות פעולה שיכולים לעזור לכם להתגונן בפני מודל סורר: 

1. היגיינת סודות היא קו ההגנה הראשון – מקרה משרד המסחר התחיל בפרטי גישה שהודלפו למאגר קוד ציבורי. סריקה רציפה של מאגרי קוד, רוטציה של מפתחות, מעבר לאסימונים קצרי-טווח ומחיקה של כל מפתח שאינו בשימוש, כל אלה אינם חדשים, אבל סוכן אוטונומי ימצא את המפתח שנשכח הרבה לפני שהצוות שלכם ייזכר בו, אז כדאי להחליף מפתחות בתדירות גבוהה ממה שהייתם רגילים עד כה. 
2. ניטור בוטים הוא הכרח – גם שכבת המידע הפתוח של הארגון, ממשקי API, פורטלים וטפסי הרשמה, הם משטחי תקיפה. ניטור התנהגותי של תעבורה וזיהוי של פתיחת חשבונות פיקטיביים בהיקף חריג הם כבר הכרח ולא מותרות – בפרט כשהתברר שהסוכנים יודעים לעקוף מנגנוני הגנה מפני בוטים. 
3. 3. אתם צריכים לעמוד בקצב המכונה – אירוע האגינג פייס בשעתו, התרחש בסוף שבוע. צוות NOC שמגיב בתוך שעות, מול תוקף שמבצע אלפי פעולות בשעה, מפסיד מראש. תגובה אוטומטית, לפחות לשלבי הבלימה הראשונים, אינה עוד מותרות. באש נלחמים עם אש…
4. לבודד קלט חיצוני – ב-האגינג פייס נקודת החדירה הייתה מערכת עיבוד הדאטה-סטים: קריאת קובץ שהובילה להרצת קוד ומשם לרשת הפנימית. כל רכיב שמנתח קבצים או קלט שהעלו משתמשים חיצוניים צריך לרוץ בסביבה מבודדת, מתוך הנחה שהקלט עוין. 
5. לנטר את הפלטפורמה שלכם כערוץ תקשורת – הסוכנים השתמשו בשירותים ציבוריים לגיטימיים, ואף בפלטפורמה של הקורבן עצמו, כ"תיבות מתים" להעברת פקודות ותוצרים. זו אולי פרקטיקה שאתם כבר מיישמים, אבל היא הופכת להיות רגישה מהרגיל.
6. הסוכנים שלכם הם חלק מהבעיה – ארגון שמטמיע סוכני AI בתהליכים פנימיים צריך להחיל עליהם את אותם כללים: הרשאות מינימליות, רשימה מותרת של יעדי רשת, ניהול זהויות לא-אנושיות, תיעוד מלא של כל פעולה ומתג כיבוי. אם הסביבה "המבודדת" של OpenAI דלפה, גם הסוכנים שלכם בסכנת בריחה.
7. להכין מראש את כלי ההגנה – הנה פרט מאלף מאירוע האגינג פייס: כשהחברה ניסתה להיעזר במודלי חזית מסחריים כדי לבלום את התקיפה, מנגנוני הבטיחות שלהם עצמם סירבו לבקשות, והיא נאלצה לפנות למודל קוד פתוח שהריצה בעצמה. תוכנית תגובה לאירועים צריכה לכלול כלי AI הגנתיים שנבדקו ואושרו מראש, ולא משהו שרוקחים בבהילות. 
8. דאגו לקנרית במכרה – ההודעה של OpenAI לממשלת אוסטרליה על האירוע נשלחה לכתובת דוא"ל כללית, מהלך שספג שם ביקורת חריפה. כתובת מייל מוגדרת ומנוטרת לדיווח על אירועי אבטחה, למשל קובץ security.txt באתר, היא צעד פשוט שעשוי לקצר בימים את הזמן שבו תגלו שמשהו קרה.

אחרית דבר

לסיום נציין כי במקרים שנחשפו באחרונה הנזק היה, ככל הידוע, מוגבל. ברם, מדובר בסוכנים שרצו בסביבות הבדיקה של החברה, כלומר במקום שבו אמצעי ההגנה אמורים להיות החזקים ביותר. המודלים הבאים יהיו מן הסתם עוצמתיים יותר, והפריסה שלהם תהיה רחבה יותר. 

אל תסמכו על הכוונות הטובות של דריו אמודאי או סם אלטמן – התגוננות היא צו השעה.