"נוזקות מבוססות LLMs – אתגר חדש לזיהוי וציד איומים"

נוזקות המבוססות על מודלי שפה גדולים (LLMs) מציבות אתגרים חדשים לתחום הזיהוי וציד האיומים. זאת כי הלוגיקה הזדונית עלולה להיווצר בזמן אמת, בזמן שמריצים אותן – ולא להיות מוטמעת ישירות בקוד; כך לפי מחקר חדש של מעבדות סנטינל וואן (SentinelOne).

המחקר של SentinelLABS זיהה נוזקות מסוג זה באמצעות התאמת דפוסים למפתחות API מוטמעים ולמבני פקודות (prompts) ספציפיים. במהלך המחקר התגלו דגימות שלא היו מוכרות עד כה, ובהן ייתכן שגם הדוגמה המוקדמת ביותר הידועה כיום, של נוזקה מבוססת LLM, אותה כינו החוקרים "MalTerminal".

המתודולוגיה של החוקרים חשפה גם שימושים התקפיים נוספים ב-LLM, בהם סוכנים לחיפוש אנשים, כלי מדידה (דירוג, Benchmarking) לצוותים אדומים (Red Team), וכלים להזרקת פגיעויות בקוד, בסיוע LLM.

החוקרים הבחינו בכמה אסטרטגיות שבהן נוצלו ה-LLM לרעה: LLMs כפיתיון – הפצה של עוזרי AI מזויפים או תוכנה ש"מכריזה" על עוזר AI חכם, או מכילה דלת אחורית – במטרה לפתות משתמשים להתקין נוזקה; התקפות נגד מערכות משולבות LLM – לטובת התקפות מסוג prompt injection – הזרקת הוראות זדוניות למודל; נוזקה שיוצרת קוד זדוני בעזרת LLM – אף שזו עדיין אפשרות תיאורטית שלא נצפתה בשטח; LLMs כעוזרים לפריצה (Sidekicks) – שימוש במודלים חיצוניים ליצירת מיילים משכנעים לפישינג, סיוע בכתיבת קוד, מיון וחלוקת מידע גנוב ועוד; נוזקות שמשלבות יכולות LLM פנימית – זהו התרחיש המאתגר ביותר, כי כאשר ה-LLM מוטמע בתוך המטען הזדוני עצמו, המודל מהווה רכיב של הנוזקה ומעניק לתוקפים יתרון מבצעי. פה טמון קושי זיהוי גדול הרבה יותר מנוזקות מסורתיות.

"לאור ההטמעה הגוברת של מודלי שפה גדולים בפיתוח ובתפעול הארגוני", נכתב, "קיים פוטנציאל גבוה שהם ינוצלו גם על ידי גורמים עוינים. נוזקה שפונה ל־LLM עלולה לייצר נוזקה בזמן אמת, מה שמשאיר את שיטות ההגנה המסורתיות – כמו חתימות סטטיות, או זיהוי סטטי – בלא מענה".

"המחקר הוא בעל כמה משמעויות לאבטחה ולהגנה", כתבו מחבריו, "חתימות סטטיות כבר אינן מספקות; תעבורת הרשת עשויה להתערבב עם שימוש לגיטימי ב־API של ספקים, מה שמקשה להבדיל בין פעילות תקינה לזדונית; הנוזקה עלולה לבחור מסלולי ביצוע שונים ובלתי צפויים בהתאם לסביבה; מצד שני, הנוזקה חייבת לכלול בקוד שלה את ה־prompts ואת אמצעי הגישה למודל – מה שיוצר 'עקבות' וכך ניתן לצוד אותה".

"שילוב המודלים הלשוניים בנוזקות מסמן שינוי איכותי באופן הפעולה של גורמים עוינים", כתבו החוקרים, "היכולת ליצור לוגיקה ופקודות זדוניות בזמן אמת מעניקה לתוקפים יתרון חדש, ומציבה אתגרים משמעותיים בפני מערכי ההגנה. עם זאת, התלות שנוצרת בעקבות שילוב ה-LLM, כמו שימוש במפתחות API מוטמעים ובפקודות (prompts) מקודדות מראש – מניב גם הזדמנות לציד איומים יעיל יותר".

"נכון לעכשיו, השימוש בנוזקות מונעות LLM עודנו מוגבל וניסיוני", סיכמו, "וזו הזדמנות למגיני סייבר ללמוד מטעויות התוקפים ולשפר את ההגנות. להערכתנו, התוקפים יתפתחו ויסתירו prompts, יפתחו טקטיקות התחמקות, ויפעלו מהר יותר. לכן, יש צורך במחקר מתמשך, ניטור מגמות וחיזוק כלים הגנתיים – כדי לשמור על יתרון יחסי מול איומי העתיד".