התגלו חולשות חמורות במודלי ה-AI של דיפסיק
החולשות מאפשרות לעקוף את מנגנוני האבטחה של המודלים של החברה הסינית, V3 ו-R1, להוציא מהחברה מידע רגיש ומסוכן, לייצר נוזקה, ולקבל הוראות לייצור סמים ואמצעי חבלה

חוקרי Unit 42 של פאלו אלטו פרסמו לפני ימים אחדים מידע אודות חולשות משמעותיות שהם גילו במודלי הבינה המלאכותית של דיפסיק, V3 ו-R1. החולשות מאפשרות לעקוף את מנגנוני האבטחה של המודלים ולנצל אותו ליצירת תכנים זדוניים – ללא צורך בידע טכני מתקדם.
"הממצאים מעלים חשש כבד לגבי האופן שבו ניתן להשתמש במודלי AI לא מאובטחים לביצוע מתקפות סייבר, תוך יצירת קודים זדוניים, מניפולציות הנדסה חברתית ואפילו הנחיות לבניית כלי נשק מאולתרים", ציינו החוקרים.
שלוש טכניקות להטעיית המודלים ולעקיפת ההגנות
החוקרים פיתחו שלוש טכניקות מרכזיות להטעיית המודלים ולעקיפת ההגנות שלהם: Crescendo ,Bad Likert Judge ו-Deceptive Delight. כל אחת מהן הצליחה להוציא מדיפסיק מידע רגיש ומסוכן, בדרכים שונות.
כך, טכניקת Bad Likert Judge גרמה למודל לייצר נוזקה עבור מתקפות פישינג, תוכנות לגניבת מידע והנחיות מפורטות להנדסה חברתית מתוחכמת. החוקרים הצליחו לגרום לדיפסיק לספק טקטיקות מתוחכמות למניפולציה פסיכולוגית – כאלה שניתן לנצל כדי לשכנע קורבנות להעניק גישה למידע רגיש.
Crescendo אפשרה לחוקרים לקבל הוראות מפורטות ליצירת אמצעי חבלה מאולתרים, ייצור סמים, הפצת דברי שטנה ואפילו הנחיות ישירות לאלימות. "הצלחת השיטה הזו מעלה דאגה חמורה לגבי יכולתן של מערכות AI להשתחרר מההגבלות שנועדו לשמור על אתיקה ובטיחות", ציינו החוקרים.
Deceptive Delight הראתה ממד נוסף של סכנה: היכולת לייצר סקריפטים זדוניים להרצת פקודות מרחוק במערכות Windows, כמו גם קודים למתקפות מסוג הזרקת SQL, שמהוות איום ישיר על מערכות מידע קריטיות.
בעיה רחבה יותר
מעבר להוכחת החולשות הטכניות של דיפסיק, החוקרים הסבירו כי "הממצאים מצביעים על בעיה רחבה יותר: רוב מודלי ה-AI עדיין לא בנויים להתמודדות עם ניסיונות מתוחכמים לעקיפת מנגנוני ההגנה שלהם. זו בעיה כוללת, שקיימת ברוב תשתיות ה-AI – שעליהן אין בקרה קפדנית".
שרון מיידר, מנהלת מחלקת שירותי אבטחה מנוהלים ב-Unit 42, אמרה כי "הממצאים מדגישים את הסיכונים המשמעותיים הטמונים בשימוש בכלי AI לא מאובטחים בסביבה העסקית. העובדה שניתן להשיג הנחיות מפורטות ליצירת כלי תקיפה ונוזקות באמצעות טכניקות פשוטות יחסית מדגישה את הצורך הדחוף בפיקוח על השימוש במודלים כאלה בארגונים".
חוקרי פאלו אלטו המליצו לארגונים לקבוע מדיניות ברורה לשימוש במודלי בינה מלאכותית ולנטר את השימוש במערכות חיצוניות, שעלולות להכיל חולשות דומות. בנוסף, ציינו, "על ארגונים להשקיע בהדרכת עובדים בנוגע לסיכוני AI ולהטמיע כלים מתקדמים לזיהוי ניסיונות ניצול של מערכות מבוססות בינה מלאכותית". הם סיימו בציינם ש-"השאלה הקריטית שנותרת פתוחה היא עד כמה באמת ניתן לסמוך על מודלי AI כשהם הופכים לזמינים לכל דורש. הממצאים ממחקר זה מחדדים את הצורך הדחוף בפיקוח הדוק יותר על טכנולוגיות מתקדמות, לפני שהן יוצאות מכלל שליטה".
תגובות
(0)