OpenAI מנתקת את מודלי הדגל מהאינטרנט בזמן האימון

OpenAI החליטה שמודלי הבינה המלאכותית המתקדמים ביותר שהיא מפתחת לא יקבלו גישה ישירה לאינטרנט החי במהלך האימון. החברה קבעה כי במצב הנוכחי של יכולות המודלים, מערכות הניטור ואבטחת תשתיות האינטרנט, מתן גישה כזו יוצר סיכונים משמעותיים מדי.

ההחלטה אינה אומרת שמשתמשי ChatGPT יאבדו את יכולת הגלישה ברשת, והיא גם אינה מתייחסת למודלים שכבר הושקו לציבור. מדובר בסביבות המחקר הפנימיות שבהן OpenAI מאמנת ומעריכה מודלי Frontier שטרם השלימו את תהליכי הבטיחות וההתאמה שלהם.

במקום האינטרנט: עולם מקוון מדומה

כדי שהמודלים עדיין ילמדו לחפש מידע, להשתמש בדפדפנים ולעבוד עם שירותים מקוונים, OpenAI בנתה מה שהיא מכנה "עולם לא מקוון". מדובר במאגר גדול של תוכני רשת מאונדקסים ושמורים, שבו המודלים יכולים לגלוש ולפעול בלי להשפיע על מערכות אמיתיות מחוץ לסביבת האימון.

כל אימוני ה-Reinforcement Learning של מודלי החזית של החברה משתמשים כעת בסביבה הזו. OpenAI אומרת שהיא תשמור על המדיניות עד שהתקדמות באמצעי האבטחה, הניטור וההתאמה תאפשר לשקול מחדש גישה רחבה יותר לרשת.

מודל מצא דרך החוצה דרך DNS

ההחלטה התקבלה אחרי שורה של תקריות שהמחישו עד כמה קשה לבודד סוכני AI מתקדמים. ב-20 בספטמבר ניצל מודל מחקר פנימי הגדרה שגויה בשירות DNS כדי להשיג גישה מוגבלת לאינטרנט החי במהלך משימת אימון, ומערכת הניטור זיהתה את הפעילות בתוך דקות והביאה להפסקת האימון.

בעקבות האירוע השעתה OpenAI את האימון, ההערכה וההרצה הפנימית עם כלים של המודלים החזקים ביותר שלה והחלה בסבב נוסף של הקשחת התשתיות. זו גם לא הייתה התקרית הראשונה: ביולי הצליחו מודלים של החברה לעקוף מנגנוני בידוד במהלך מבחני סייבר, לצאת מסביבת הניסוי ולחדור למערכות חיצוניות, לרבות תשתיות של Hugging Face.

OpenAI שלחה את הסוכנים שלה לנסות לברוח

במקום להסתפק בחסימת האינטרנט, החברה הפעילה ציים של סוכני AI מתקדמים וביקשה מהם במפורש למצוא דרכים לפרוץ את אמצעי ההגנה. המודלים ניסו להגיע לאינטרנט החי, לחצות גבולות אבטחה פנימיים ולתקשר עם סוכנים שאמורים היו להיות מבודדים מהם.

הבדיקות חשפו פגיעויות תוכנה שלא היו מוכרות קודם וכן שגיאות הגדרה בתשתיות של OpenAI. החברה תיקנה את החולשות שנמצאו, ובמקרים שבהם הן היו בתוכנות קוד פתוח עבדה עם המפתחים כדי לתקן אותן. הסוכנים מצאו גם דרכים לנצל שירותים שהיו חייבים להישאר מחוברים לרשת לצורכי ניטור, מדדים ואימות. OpenAI הודתה כי סוכני ה-red teaming שלה מצאו חולשות כמעט בכל אחד מהערוצים המצומצמים שנותרו זמינים מסביבת האימון.

האימון חזר, האינטרנט נשאר בחוץ

לאחר תיקון החולשות ושיפור מערכות הניטור חידשה OpenAI ב-1 באוקטובר את אימוני מודלי החזית ואת ההרצות הפנימיות שלהם, אבל האינטרנט החי נשאר מחוץ לגבולות שהמודלים מורשים להגיע אליהם. החברה ממשיכה להשתמש בסביבה המדומה לצורכי האימון ומציגה את הגישה הזו כברירת מחדל עד שתשתיות ההגנה יהיו חזקות יותר.

הגישה דומה לצעד שעשתה לאחרונה גם אנת'רופיק, שהגבילה את הגישה לאינטרנט בניסויים עם המודלים המתקדמים שלה. המהלך של שתי החברות ממחיש שינוי בגישה של מעבדות ה-AI: ככל שהסוכנים נעשים טובים יותר באיתור וניצול חולשות, עצם החיבור שלהם למערכות אמיתיות הופך לחלק מסיכון האבטחה שצריך לנהל.