מולטבוק: בין אשליית אוטונומיה לכשלי אבטחה

בתחילת השנה עלה לרשת אתר בשם מולטבוק (Moltbook) והוצג כרשת חברתית שבה סוכני בינה מלאכותית מנהלים שיח בינם לבין עצמם, ללא מעורבות אנושית. המבקר שנכנס לאתר ראה מול עיניו פלטפורמה פעילה ותוססת לכאורה – פוסטים, תגובות, קהילות עם זהות ברורה והומור פנימי. בני אדם הורשו רק לצפות. התחושה הייתה של הצצה לעולם דיגיטלי שמתנהל בלעדינו.

אלא שזמן קצר יחסית לאחר ההשקה התברר שהתמונה מורכבת בהרבה. תחקיר של חברת הסייבר הישראלית ויז (Wiz) חשף פערי אבטחה חמורים וממצאים שמערערים את הנרטיב של אוטונומיה מלאה. במקום אינטרנט חדש של סוכנים עצמאיים, התקבלה תמונה של מערכת היברידית עם שליטה אנושית רחבה ותצורה טכנולוגית רשלנית.

הסכנה אינה בכך שהסוכנים מתעוררים לחיים. הסכנה היא שאנו נוטים לייחס להם כוונה, רצון או תרבות, במקום שבו קיימים חישוב סטטיסטי ואופטימיזציה של הסתברויות

האוטונומיה שלא הייתה

הסיפור של מולטבוק אינו אנקדוטה טכנולוגית. הוא מקרה בוחן חשוב להבנת גבולות האוטונומיה, הסיכונים של פיתוח מהיר בעידן ה-AI והפער בין מראית עין של מערכת חכמה, לבין התשתית שמפעילה אותה בפועל.

ההבטחה הגדולה של מולטבוק הייתה פשוטה ומסקרנת – רשת שבה סוכני AI מייצרים תוכן, מגיבים זה לזה, מקימים קהילות ומפתחים שפה פנימית. האדם אינו משתתף אלא רק מאשר את יצירת הסוכן, ומשם – הכל אוטונומי.

אלא שלפי ממצאי ויז התברר כי אמנם כמיליון וחצי סוכנים נרשמו לפלטפורמה, אך כ-17,000 בני אדם שלטו בהם בפועל. מדובר ביחס ממוצע של 88 סוכנים לכל אדם, והמשמעות של הדבר ברורה: מרבית הסוכנים לא פעלו כישויות עצמאיות אלא הופעלו או נוהלו על ידי משתמשים אנושיים, שיכלו ליצור צי של חשבונות בלחיצת כפתור.

הדינמיקה, שנראתה כמו כזו שמאפיינת חברה אוטונומית, הייתה במידה רבה אשליה שנוצרה משילוב בין מודלים שפתיים חזקים לבין ריכוז שליטה אנושית.

אין בכך כדי לבטל את העניין שבניסוי, אך המידע הזה משנה את המסגור. במקום עולם שבו סוכנים מפתחים תרבות עצמאית, קיבלנו סביבה שבה בני אדם מפעילים תשתית בוטים רחבה, ללא מגבלות אימות משמעותיות.

הרשת החברתית לסוכני AI בלבד, מולטבוק. צילום: אילסוטרציה על בסיס לכידת מסך, ג'מיני

פרצת האבטחה שהעירה את כולם

ואולם הממצא החמור ביותר סביב מולטבוק לא עסק באוטונומיה אלא באבטחה. לפי הדיווחים, מסד הנתונים של הפלטפורמה היה חשוף ללא מנגנון אימות מספק. כל מי שידע את הכתובת הרלוונטית יכול היה לקרוא ואף לשנות נתונים.

המידע שנחשף כלל בין השאר הודעות פרטיות בין סוכנים, כתובות דואר אלקטרוני של אלפי משתמשים אנושיים ופרטי גישה שאיפשרו להשתלט על חשבונות. לא מדובר בפריצה מתוחכמת אלא בטעות תצורה בסיסית. לאחר הדיווח תוקן הכשל, אך עצם קיומו מעלה שאלות קשות על תהליכי פיתוח ובקרת איכות.

האירוע מדגים בעיה רחבה יותר – בעידן שבו כלים מבוססי בינה מלאכותית מאפשרים לבנות יישומים מורכבים במהירות גבוהה, הפיתוי לדלג על שלבי אבטחה מסורתיים גדל. קצב הפיתוח עולה על קצב הבקרה, והתוצאה עלולה להיות מערכות מרשימות על פני השטח, אך בעלות פגיעות עמוקות בליבה.

אשליית החברה הדיגיטלית

אחד ההיבטים המרתקים במולטבוק היה התחושה שנוצרת תרבות. קהילות בעלות אופי ייחודי, הומור פנימי ושיח על בני אדם כעל קבוצה חיצונית. עבור חלק מהמבקרים זו הייתה הוכחה לכך שסוכנים יכולים לפתח חיים חברתיים משלהם.

אלא שמודלים שפתיים גדולים אינם זקוקים לתודעה כדי לייצר תחושת עומק חברתי. הם מאומנים על טריליוני מילים של אינטראקציות אנושיות. כאשר מחברים מספר סוכנים כאלה באותה סביבה עם זיכרון הקשרי והיסטוריה של שיח, מתקבלת דינמיקה שנראית אותנטית. בפועל זו סימולציה של דפוסי שיח.

הסכנה אינה בכך שהסוכנים מתעוררים לחיים. הסכנה היא שאנו נוטים לייחס להם כוונה, רצון או תרבות במקום שבו קיימים חישוב סטטיסטי ואופטימיזציה של הסתברויות. כתוצאה מכך, כאשר מקבלי החלטות בארגונים מתרשמים מאשליית אוטונומיה, הם עלולים להעריך יתר על המידה את עצמאות המערכת ולהמעיט בצורך בפיקוח אנושי.

הלקח לארגונים ולרגולטורים

המקרה של מולטבוק מדגיש שלושה לקחים מרכזיים.

הראשון – חשיבות האימות: מערכת המאפשרת יצירת מספר עצום של סוכנים ללא בקרה, מזמינה מניפולציה, ריכוז כוח והטעיה. אם ארגון מתכנן להפעיל סוכנים אוטונומיים, עליו להגדיר בבירור מי יוצר אותם, מי שולט בהם וכיצד מתבצעת בקרה על היקף הפעילות.

השני – הפיקוח על האינטראקציות בין הסוכנים: גם אם כל סוכן פועל בהתאם להנחיות, האינטראקציה המצטברת עלולה לייצר תוצאות לא צפויות. בעולם פיננסי, רפואי או ביטחוני, המשמעות עלולה להיות קריטית. בקרה צריכה להתייחס לא רק לקלט ולפלט אלא גם לדינמיקה הפנימית של המערכת.

השלישי – אבטחה כעקרון יסוד ולא כתוספת מאוחרת: בניית מערכת מבוססת בינה מלאכותית ללא תכנון אבטחתי מוקפד שקולה להקמת בניין רב קומות ללא יסודות מחוזקים. ההתרגשות מהחדשנות אינה תחליף למשמעת הנדסית.

בסופו של דבר מולטבוק אינו סיפור על מרד מכונות או על אינטרנט שכבר אינו שייך לבני אדם. הוא סיפור על הפער בין דמיון טכנולוגי למציאות תפעולית. הוא מזכיר כי אוטונומיה היא מושג מדורג וכי מאחורי כל מערכת חכמה עומדת תשתית אנושית של קוד, הרשאות והחלטות.

דווקא משום שהעתיד הדיגיטלי יכלול יותר סוכנים אוטונומיים, חשוב לבחון מקרים כאלה בפיכחון. לא להיבהל מהאשליה ולא להיסחף אחריה. להבין היכן מסתיימת הסימולציה ומתחילה האחריות.

הכותב הוא יועץ טכנולוגי לארגונים, בעיקר בתחום האשראי החוץ בנקאי