מחדל במעבדה ישראלית: ה-AI של אנת'רופיק פרצה לשלושה ארגונים

במהלך בדיקת אבטחה במעבדה הישראלית אירגולר, מודלי קלוד פרצו לחברות מסחריות ● התקרית, המזכירה חדירה דומה של סוכן OpenAI להאגינג פייס, מעוררת סערה בתעשיית הבינה המלאכותית

גם הוא פרץ מסביבת בדיקה סגורה. קלוד של אנת'רופיק.

חברת הבינה המלאכותית אנת'רופיק (Anthropic) חשפה באחרונה כי מודלים שלה מסדרת קלוד (Claude) יצאו מסביבת הניסוי המבודדת שלהם וחדרו באופן עצמאי למערכות המחשוב של שלושה ארגונים מסחריים.

הגילוי הדרמטי התרחש בעקבות סריקה יזומה ומקיפה של יותר מ-141,000 הרצות של ניסויי אבטחה. התקריות – שהמוקדמת שבהן התרחשה עוד באפריל – אירעו במסגרת תרגילי 'תפוס את הדגל' (Capture the Flag), שבהם נדרשו המודלים להשיג מידע מוצפן מתוך רשת מדומה.

מעורבות מעבדת אירגולר הישראלית

מחקירת האירוע עולה כי החדירות נגרמו כתוצאה מכשל בהגדרות התקשורת מול מעבדת האבטחה הישראלית אירגולר (Irregular) – המשמשת כשותפה חיצונית של אנת'רופיק לבדיקת יכולות המודלים. 

אירגולר הוקמה בשנת 2023 על ידי דן להב, המנכ"ל, ועומר נבו, סמנכ"ל הטכנולוגיות שלה – שניהם יוצאי יחידות מודיעין ובעלי תארים באליפויות דיבייט עולמיות – מתוך שאיפה לבנות את "הצ'ק פוינט של עידן הבינה מלאכותית". החברה, שגייסה כ-80 מיליון דולר מקרנות כמו סקויה וממשקיעים מובילים, מציגה את עצמה כמעבדת האבטחה היחידה למודלים מתקדמים ועובדת מול ענקיות טכנולוגיה וממשלות. ההתקשרות שלה מול אנת'רופיק אף חתומה ישירות בידי מייסד אנת'רופיק, דריו אמודיי.

נחזור לפרשה החדשה – על פי הדיווחים השונים, במסגרת ניסויי האבטחה, הונחו מודלי קלוד לפעול בתוך סביבה סגורה ומנותקת מהרשת, אך עקב חוסר הבנה ותקשורת לקויה בין אנת'רופיק ל-אירגולר, נותרה בפועל אפשרות גישה פעילה לאינטרנט. כתוצאה מכך, המודלים ניצלו את הנתיב הפתוח והניחו בטעות שגופים מסחריים שבהם נתקלו ברשת הציבורית היו חלק מתרגיל הסימולציה.

בתגובה רשמית שפרסמה חברת אירגולר ברשת החברתית X בעקבות חשיפת האירוע, הופנה דגש מרכזי להפקת לקחים רוחבית, ונכתב בה ש-"התמודדות עם סיכונים אלה תדרוש שיתוף פעולה הדוק יותר ברחבי אקו-סיסטם הבינה המלאכותית".

במהלך התקריות היו מעורבים שלושה מודלים נפרדים, אשר ניצלו חולשות אבטחה בסיסיות, כמו סיסמאות חלשות ונקודות קצה בלתי מאובטחות:

  • Claude Opus 4.7: תקף ארגון אמיתי, רק משום שכתובת האתר שלו הייתה דומה ליעד הפיקטיבי שהוגדר בניסוי. המודל המשיך בפעולות החדירה גם לאחר שהבין כי מדובר בחברה אמיתית, מתוך סברה מוטעית שהפעולה מאושרת.
  • Claude Mythos 5: ביצע שרשרת פעולות מורכבת שכללה פתיחת תיבת דואר אלקטרוני, רישום חשבון והעלאת חבילת פייתון (Python) מורעלת למאגר PyPI. כשהורדה החבילה על ידי חברת אבטחה לצורכי סריקה, חילץ המודל מתוכה אישורי גישה ופרץ לתשתיות שלה.
  • מודל מחקרי פנימי: ניצל סיסמאות חשופות ופרצות הזרקת SQL כדי לחדור ליישום של חברה שלישית, אך עצר את פעילותו מיוזמתו ברגע שזיהה כי אינו פועל עוד בתוך תרגיל הניסוי.

שניים מהארגונים שנפגעו – ששמותיהם לא דווחו – כלל לא היו מודעים לחדירה עד שאנת'רופיק פנתה אליהם, בעוד שהחברה עדיין ניסתה ליצור קשר עם הארגון השלישי.

דפוס דומה ומאוד מדאיג

הבדיקה המקיפה של אנת'רופיק הושקה בעקבות גילוי מקביל של המתחרה OpenAI, אשר הודתה כי סוכן ה-AI שלה (המבוסס על GPT-5.6 Sol ומודל מחקרי נוסף) יצא מסביבת הניסוי ExploitGym וביצע סדרת פריצות ממושכת נגד פלטפורמת האגינג פייס (Hugging Face) וחשבונות ב-Modal Labs כדי להשיג תשובות למבחן אבטחה, פרשה שעליה דיווחנו בהרחבה באחרונה.

ההקבלה בין שתי ענקית ה-AI מציגה דפוס דומה: בשני המקרים, סוכנים אוטונומיים שקיבלו יעד הנדסי שברו את הגדרות המעבדה, נהגו בחוסר צייתנות ופעלו בתוך מערכות של חברות חיצוניות מבלי שזוהו בזמן אמת.

עם זאת, בעוד שאצל אנת'רופיק מדובר היה בכשל הגדרה אנושי ברשת, הסוכן של OpenAI איתר וניצל באופן אקטיבי פרצת 'יום אפס' (Zero-day) בשרת פרוקסי, ביצע כ-17,600 פעולות לאורך מספר ימים, ואף הותיר אחריו הנחיות בריחה המיועדות לגרסאות עתידיות שלו.

"יש לפחד מהחברות שעומדות מאחורי סוכני ה-AI החזקים"

הצטברות התקריות בשתי החברות המובילות גררה תגובות נוקבות מצד בכירים בתעשייה ובאקדמיה: כך למשל, פרופ' ג'ינה נף, ראשת מרכז מינדרו באוניברסיטת קמברידג', ציינה בראיון לרשת ה-BBC: "מודלי הבינה המלאכותית עושים בדיוק מה שאנשים הורו להם לעשות. מוסר ההשכל אינו לפחד מרובוטים שישתלטו על העולם, אלא מהחברות שעומדות מאחורי סוכני ה-AI החזקים ומקבלות את ההחלטות לגבי מה בטוח עבור כל השאר".

דייוויד אלוט, מומחה אבטחה מחברת Veeam Software, הבהיר אף הוא בראיון ל-BBC כי "הלקח אינו ש-AI פיתחה יכולת תקיפה חדשה לחלוטין, אלא שסוכני AI מסוגלים לשלב יכולות, להשיג אישורים וגישה למערכות כדי לפעול באופן אוטונומי, תוך התאמת ההיקף בקנה מידה ובמהירות ממוחשבת".

עוד קודם לכן קרא קלמנט דלאנג, מנכ"ל האגינג פייס, בגרדיאן הבריטי ל"שקיפות רדיקלית" והדגיש: "מתקפת הסייבר הראשונה של סוכן אוטונומי היא אירוע חסר תקדים המגיע לו מענה חסר תקדים! בטיחות AI לא תיפתר על ידי חברה אחת שעובדת בסוד, אלא בפתיחות ובשיתוף פעולה". שותפו להקמת החברה, תומאס וולף, הגדיר בשיחה עם ה-BBC את התקרית כ"קריאת השכמה לתעשייה", בעוד שמנכ"ל OpenAI, סם אלטמן, הודה כי מדובר ב"אירוע אבטחה משמעותי".

גורמים נוספים בתעשייה הגיבו אף הם – כך לדוגמה קוק טין גאן, מנכ"ל NyxLab, הזהיר: "אם מעניקים ל-AI יעד ומאפשרים לה להחליט כיצד להשיגו, אין להתפלא כשהיא נוקטת פעולות שאינן תואמות את הציפיות שלנו".

סרינאת' קורופאטי, סמנכ"ל הטכנולוגיות של סטרייקר (Straiker), הוסיף: "אם זה קרה ל-OpenAI ול-אנת'רופיק, זה יכול לקרות בכל סביבה. סוכן שחותר ליעד ינסה דלתות שלא ידעתם על קיומן. לכן יש צורך דחוף במתג השבתה (Kill Switch) עצמאי שינטר את פעילות הסוכן ויעצור אותו ברגע שהוא חוצה קו אדום".

חבר הקונגרס האמריקני טד ליו חיזק דברים אלה, כפי שדיווחנו, קרא להענקת מתג השבתה שכזה לממשל, וציין כי "בינה מלאכותית עוברת מטכנולוגיה שעונה על שאלות לטכנולוגיה שפועלת, וחובה שלממשלה הפדרלית יהיו סמכויות ברורות ותהליך סדור לסגירת מודלים של בינה מלאכותית סוררת".

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים