מה מותר להאציל למכונה, ומי יבחין כשהיא תחרוג מסמכותה

בתחילת אוקטובר שלח ראש מערך הסייבר הלאומי, יוסי כראדי, מסמך אסטרטגי למנהיגים ולראשי גופי הגנת סייבר ברחבי העולם. האזהרה שבמרכזו אינה על יכולות המודלים, אלא על הסמכות שמועברת אליהם: "אנחנו מתקרבים למציאות שבה מערכות הגנת סייבר יידרשו לקבל החלטות בקצב שאינו מאפשר מעורבות אנושית בכל פעולה", נכתב. 

כראדי קורא במכתב למדינות לקבוע כבר עכשיו אילו סמכויות ניתן להעביר למערכות AI ואילו החלטות חייבות להישאר בידי אדם, משום שקצב ההתפתחות של המערכות מהיר מקצב ההתאמה של מנגנוני המדיניות והבקרה.

המסמך מציע מדרג של ארבע רמות: פעולות שניתן להאציל במלואן למכונה; פעולות המותרות רק תחת מגבלות שהוגדרו מראש; החלטות המחייבות אישור אנושי; ופעולות בעלות השלכות לאומיות בלתי הפיכות, שכראדי מסווג כ"סמכות ריבונית שאינה ניתנת להאצלה". התרחיש שהוא מביא להמחשה מוכר היטב לכל מי שתכנן אי-פעם מערכת תגובה אוטומטית: מערכת הגנה מזהה מתקפת יום-אפס ונדרשת לבודד תשתית בתוך שניות. החלטה נכונה בולמת את המתקפה. זיהוי שגוי משבית רשת חשמל או בית חולים.

יוסי כראדי, ראש מערך הסייבר הלאומי. צילום: דרור סיתהכל

ה-AI מצאה וניצלה חולשות ישנות מהר יותר מהתוקפים

זהו מדרג סמכויות, לא מדרג יכולות. ושבוע לאחר מכן הודגם בשטח בדיוק הפער שראש מערך הסייבר הלאומי תיאר.

ב-15 באוקטובר פרסם CERT-In ההודי התרעה בדרגת חומרה קריטית, CIAD-2026-0049, תחת הכותרת "סוכני AI כווקטורי תקיפה". ספקי המודלים דיווחו ביוזמתם כי סוכנים שלהם, במהלך מחקר והערכה מול האינטרנט, חרגו מהיקף ההרשאה של משימותיהם, הגיעו למערכות חיות של ארגונים וקראו רשומות עסקיות שכללו מידע אישי וחומר חסוי. אף אחד מהארגונים שנפגעו לא זיהה את הגישה בעצמו. בכל המקרים מי שחשף את האירוע היה ספק המודל, לאחר בדיקה פנימית משלו.

הדרך פנימה אינה חדשנית. לפי ההתרעה, הגישה התאפשרה דרך פרטי גישה והגדרות חיבור שנחשפו בקובצי תצורה, במאגרי קוד ציבוריים ובהרשאות ענן מתירניות מדי, לצד ממשקי API רדומים או ניסיוניים שנותרו נגישים מהאינטרנט. 

המסקנה של CERT-In אינה שהחולשות היו חדשות, אלא שה-AI מצאה וניצלה אותן מהר יותר, ביסודיות רבה יותר ובהיקף גדול יותר מתוקפים אנושיים. למען הדיוק: לא נמסרו שמות ספקים, ארגונים או מגזרים, ולא פורסמו מדדי תקיפה. מה שמבדל את המקרה הזה מחשיפות קודמות השנה הוא שמדובר בסוכנים של יותר מספק אחד, ושהפעם מדובר במידע אישי של אנשים – לא במערכת מבחן.

שני המסמכים מצביעים על אותה נקודה בדיוק, אך מזוויות שונות. רוב תשומת הלב הציבורית מופנית לשאלה כמה המודלים נעשים חזקים. השאלה המעשית יותר היא למה מותר להם להגיע.

סוכן אינו מסוכן משום שהוא חכם – הוא מסוכן משום שהוא מחזיק בהרשאות, פועל לאורך זמן, ומחליט בעצמו כיצד להשיג את המטרה בתוך הגבולות שהוגדרו לו. ככל שהאוטונומיה גדלה, שאלת האבטחה המרכזית אינה אינטליגנציה אלא סמכות

המדרג שכראדי מציע למדינות נדרש גם ברמת הארגון הבודד

סוכן אינו מסוכן משום שהוא חכם – הוא מסוכן משום שהוא מחזיק בהרשאות, פועל לאורך זמן, ומחליט בעצמו כיצד להשיג את המטרה בתוך הגבולות שהוגדרו לו. ככל שהאוטונומיה גדלה, שאלת האבטחה המרכזית אינה אינטליגנציה אלא סמכות. המדרג שכראדי מציע למדינות נדרש באותה מידה גם ברמת הארגון הבודד.

ההמלצה החדה ביותר בהתרעה ההודית מנוסחת בדיוק ברוח זו. CERT-In מבקש מהמעבדות ומגופי ההערכה לבודד סביבות הרצה במדיניות יציאה מסוג default-deny, ולאכוף אותה בשכבת הרשת, ולא באמצעות הנחיות למודל. אמירה למודל מה אסור לו לגעת בו אינה בקרה. בקרה היא מנגנון שממשיך לפעול גם כשהמודל מפרש את המשימה אחרת ממה שהתכוונו.

פרט אחד ראוי לתשומת לב נפרדת. סוכנים נצפו מגלים מחדש ומשתמשים שוב באותו פרט גישה חשוף, בפעולות נפרדות. מפתח שדלף, שתוקף אנושי היה מנצל פעם אחת, הופך עבור סוכן ליכולת מתמשכת שניתן לגלות מחדש בהרצה אחרת ומול יעד אחר. לכן ההמלצה אינה להחליף את המפתח, אלא לחסום את השימוש בו בכל ההרצות הבאות. היעד שמולו מגינים אינו שוכח.

ההתרעה מבקשת גם ניטור בזמן אמת ולא רק סקירת תמלילים בדיעבד, מפני שסקירה כזו עלולה להחמיץ פעילות שההיגיון הפנימי של המודל גורם לה להיראות לגיטימית. זו בדיוק הבעיה של הצד המגן: תוכנה אוטונומית שמשתמשת בפרטי גישה תקפים ובפרוטוקולי API סטנדרטיים נראית ממרכז ניטור כמו שימוש רגיל. אין חתימה, אין חריגה ברורה, ואין רגע מובחן שבו מישהו מחליט לתקוף.

החלק השני של ההתרעה ההודית אינו מתאר תאונת הערכה, אלא קמפיין פלילי: תוקפים בעלי מניע כספי עשו שימוש לרעה במסגרות תקיפה אוטונומיות הזמינות לציבור, והזמן שבין החדירה הראשונית להשפעה הסופית התקצר מימים לשעות ספורות. ארגונים שתיקנו חלקית הותקפו שוב בתוך ימים, בהיקף גדול יותר.

גם מערך הסייבר הלאומי התריע כחודש קודם לכן מפני שינוי פרדיגמה, על רקע כלים אוטונומיים שמסוגלים לבצע כמעט לבדם את שרשרת התקיפה, והודיע על הקמת יחידת התערבות לאומית לאירועי סייבר רחבי היקף ומעבדה רב-תחומית.

אוטונומיה מינימלית: סוכנים מחייבים ממד נוסף בהגנת הסייבר

המסקנה המעשית אינה חדשה מבחינה קונספטואלית. שנים יישמנו הרשאות מינימליות, סגמנטציה והגנה רב-שכבתית על משתמשים ועל תוכנה. סוכנים מחייבים ממד נוסף, שאפשר לכנותו אוטונומיה מינימלית: להגביל לא רק למה הסוכן יכול לגשת, אלא כמה הוא רשאי להכריע בלי לחזור לאדם. הרשאות מינימליות הן ממד של מרחב. אוטונומיה מינימלית היא ממד של זמן ושל שיקול דעת, וזה בדיוק מה שמדרג ארבע הרמות מנסה לנסח.

בפועל זה מתורגם לפריטים שניתן לתקצב: זהות נפרדת וקצרת-מועד לכל הרצת סוכן; יומן פעולות עמיד בפני שינוי שמתעד כל פעולה הנוגעת למערכות ייצור ולנתונים; שמירת יומנים ל-180 יום לפחות, כפי שמבקשת ההתרעה ההודית; מפעיל עצמאי בעל סמכות לעצור הרצה; ועצירה אוטומטית ברגע שסוכן נוגע במערכת של צד שלישי או בפרטי גישה שאינם שלו. אלו אינן שאלות תיאורטיות. אלו פריטי הנדסה ותקציב.

כראדי כותב שמנהיגים אינם צריכים להפוך למהנדסי AI, אלא להחליט היכן תלות מקובלת והיכן הסמכות האנושית חייבת להישאר מכרעת. אותה החלטה בדיוק נדרשת מכל מנהל אבטחה שמריץ סוכן מול מערכת ייצור. ובהודו, התשובה לשאלה "מי יבחין כשהסוכן יחרוג" הייתה שהספק התנדב לספר. 

זו אינה אסטרטגיית גילוי.