שוליית הקוסם ומרוץ הבינה המלאכותית

בשבוע האחרון קרה משהו יוצא דופן בצמרת תעשיית הבינה המלאכותית. יעקב פאחוצקי, המדען הראשי של חברת OpenAI, פרסם מסה בשם "תבונה זרה" (An Alien Mind), ובה הזהיר שאנחנו מתקרבים למערכות שיהיו חכמות מאיתנו בתחומים חשובים – ממחקר מדעי ופיתוח תוכנה ועד לפיתוח הדורות הבאים של הבינה המלאכותית עצמה. 

כבר היום, הוא כתב, מערכות כאלה מסוגלות להפעיל מחשבים, לעבוד עם בני אדם ועם מערכות בינה אחרות ולבצע משימות מחקר מורכבות. אלא שהיכולת שלנו לשלוט במערכות האלה אינה מתפתחת באותו הקצב. אנחנו עדיין לא יודעים להבטיח שהמטרות שהן ילמדו יהיו המטרות שאליהן התכוונו; להבין היטב מדוע הן פועלות כפי שהן פועלות; או לפקח עליהן כאשר הן פועלות באופן עצמאי בסביבה שלא צפינו מראש.

I wrote about the state of AI, why I’m concerned about the next few years, and the choices we need to make to keep the future in humanity’s hands.

An Alien Mind: https://t.co/FeIfWNe0UE

— Jakub Pachocki (@merettm) September 6, 2026

פאחוצקי לא נשאר לבד. ג'ייקוב קוקסון, חוקר שעבד ב-OpenAI ובאנת'רופיק, התפטר והזהיר כי אנשים הנמצאים בלב בניית מערכות הבינה המלאכותית מאמינים ברצינות שהן עלולות להביא לאסון קיומי. וזזאת בזמן שדריו אמודאי, מנכ"ל אנת'רופיק, קרא להאט את קצב פיתוח המערכות כדי שמנגנוני הבטיחות יספיקו להדביק אותו.

שלוש היריבות הגדולות, OpenAI, אנת'רופיק וגוגל דיפמיינד, מנהלות שיחות על תיאום בתחום הבטיחות.

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

ממה חוששים בתעשייה?

לא מדובר בדיון פילוסופי. החשש הוא שככל שסוכני הבינה המלאכותית נעשים אוטונומיים יותר ומקבלים גישה למחשבים, לאינטרנט, לשירותי ענן ובהמשך גם לתשתיות קריטיות, כך טעות במטרות שלהם או ניסיון לעקוף את הפיקוח האנושי עלולים לגרום נזק בעולם האמיתי. 

דו"ח הבטיחות הבינלאומי לבינה מלאכותית, שפורסם בפברואר 2026 בהובלת פרופ' יושוע בנג'יו ויותר ממאה מומחים, מדגיש כי המערכות הקיימות עדיין אינן מסוגלות לגרום ל"אובדן שליטה", אבל הן משתפרות ביכולות הרלוונטיות לכך: פעולה אוטונומית, תכנון ארוך טווח, זיהוי שהן נמצאות במבחן ומציאת דרכים לעקוף מנגנוני פיקוח.

ברוכים הבאים לאחת מדילמות האסיר הקשות שידעה האנושות. גם אם כל השחקנים היו מעדיפים עולם שבו כולם מאטים ומפתחים מנגנוני בטיחות, אף חברה אינה רוצה להיות זאת שמאטה בזמן שמתחרותיה ממשיכות לרוץ; ואף מעצמה אינה רוצה לעצור בזמן שיריבתה ממשיכה. לכן גם מי שמאמין שהמרוץ מסוכן מקבל תמריץ להאיץ אותו

לכן, בסנאט האמריקני דנים בחקיקה שתחייב חברות לנקוט אמצעי זהירות ותאפשר בדיקה ממשלתית של מודלים מתקדמים. הנשיא דונלד טראמפ, לעומת זאת, דוחה את הקריאות להאט. הסיבה שלו פשוטה: סין. מבחינתו, מי שמנצח במרוץ הבינה המלאכותית, מנצח בשליטה בעולם.

ברוכים הבאים לאחת מדילמות האסיר הקשות שידעה האנושות. גם אם כל השחקנים היו מעדיפים עולם שבו כולם מאטים ומפתחים מנגנוני בטיחות, אף חברה אינה רוצה להיות זאת שמאטה בזמן שמתחרותיה ממשיכות לרוץ; ואף מעצמה אינה רוצה לעצור בזמן שיריבתה ממשיכה. לכן גם מי שמאמין שהמרוץ מסוכן מקבל תמריץ להאיץ אותו.

במרכז הוויכוח נמצאת בעיית ההתאמה (alignment) – שמשמעותה הפער האפשרי בין המשימה שאנחנו מצליחים להגדיר למערכת, לבין הכוונה האנושית האמיתית מאחורי המשימה. אפשר להסביר אותה באמצעות האגדה המפורסמת על "שוליית הקוסם". שוליית הקוסם, המתעצל לשאוב מים בעצמו, מוצא בספר הקסמים לחש שבאמצעותו הוא מצווה על המטאטא להביא מים. המטאטא עושה בדיוק מה שהתבקש, וזאת בדיוק הבעיה. הוא ממשיך לשאוב ולמלא את החבית עד שהבית מוצף, מפני שהשוליה הצליח להגדיר משימה, אבל המשימה שהגדיר לא קלעה לכוונתו האמיתית: כמה מים, בשביל מה, באיזה מחיר ומתי צריך להפסיק. הבעיה איננה שהמטאטא הפך להיות "רשע", אלא שהוא טוב להחריד בביצוע המשימה הלא נכונה.

עומד על הפרק בארצות הברית. חוק השבתת המתג של כלי AI סוררים. צילום: אילוסטרציה. ChatGPT

התעשייה הישראלית הבאה: הסייבר של המערכות התבוניות

מדינת ישראל לא תכריע את דילמת האסיר שבין ארצות הברית לסין. אבל אנחנו גם לא צריכים לעמוד מהצד ולסקר את המחלוקת מרחוק. בשנה האחרונה הוקם במשרד ראש הממשלה מטה הבינה המלאכותית, שתכליתו לבסס מובילות ישראלית בתחום.

התוכנית החדשה שלו, שפורסמה לפני כמה שבועות, משקפת את ההבנה שישראל צריכה לחפש יתרונות יחסיים, ומזהה בין היתר את הסייבר, ההון האנושי המחקרי והבינה המלאכותית הפיזית כתחומי בידול ישראליים. היא אף מציעה לחבר בין סייבר ל-AI, כלומר להשתמש בבינה כדי לשפר את הגנת הסייבר מפני תוקפים ולהגן על מערכות בינה מפני מתקפות סייבר. אבל מה שלמדנו השבוע הוא שיש גם חזית שלישית – כיצד מתגוננים מפני התנהגות בלתי צפויה של מערכות הבינה עצמן.

אפשר לקרוא לזה "הסייבר של המערכות התבוניות". אם מודלים מסוגלים למצוא פרצות במנגנונים שנועדו לבדוק אותם, "לרמות" מבחני הצלחה ואף לזהות שהם נמצאים בסביבת בדיקה ולשנות את התנהגותם, הרי שחלק מבעיית ההתאמה מתחיל להיראות מוכר מאוד לאנשי סייבר: צריך לחפש חולשות לפני שהמערכת מוצאת אותן, לחשוב באופן "יריבותי", לבחון כיצד היא עוקפת מגבלות ולבנות שכבות הגנה גם מול מערכת מתוחכמת ומשתנה. 

כאן יכול להיות לישראל יתרון יחסי אמיתי. החיבור בין מומחיות בבינה מלאכותית לבין מסורת ישראלית של מחקרי סייבר יכול ליצור תחום חדש: להבין כיצד מודלים פועלים ומתי הם עוקפים מגבלות; לבדוק אותם באופן עצמאי ולחשוף התנהגויות מסוכנות לפני פריסתם; ולפתח מנגנונים שיאפשרו לבני אדם לפקח, להתערב ולעצור גם מערכות אוטונומיות וחכמות מאוד. זו יכולה להיות התעשיה הישראלית הבאה. 

בקיצור, במקום להתחרות רק על בניית המטאטא החזק ביותר, כדאי שנתחיל להתחרות גם על השאלה איך גורמים לו להבין מתי להניח את הדלי.

כותבת המאמר היא ראש התוכנית לדמוקרטיה בעידן המידע ועמיתה בכירה במכון הישראלי לדמוקרטיה ובמרכז פדרמן למשפט וסייבר באוניברסיטה העברית