כיצד ניתן להתגבר על סיכוני אבטחה שמייצרים סוכני AI?

תהליכי הקידוד והפיתוח של כלי בינה מלאכותית יוצרים לארגונים לא מעט סיכוני אבטחה, שרבים מאיתנו פחות מודעים אליהם, אפילו כשמדובר במומחים ובעלי ידע רב בתחום. כלי וסוכני ה-AI מתפתחים במהירות – מה שמביא לכך שצוותי האבטחה המסורתיים מתקשים לנהל ולשלוט על מדיניות האבטחה של הארגונים, ושההאקרים רושמים "ניצחונות" לפחות בחלק מה-"קרבות" ב-"מלחמה" הזאת.

התופעה הנרחבת הזו הצמיחה דרישה לפתרונות אבטחת תחנות קצה לסוכני AI, על מנת להגן על הארגון טוב יותר ולמנוע התקפות. כדי לדון בנושא הזה אירחנו באולפן פודקאסט אנשים ומחשבים את יוסי פיק, המייסד וסמנכ"ל הטכנולוגיות של בקסלאש סקיוריטי – חברת הגנת סייבר ישראלית, שמתמחה באבטחת תהליכי פיתוח תוכנה מבוססי בינה מלאכותית, ובהגנה על סביבות וייב קודינג וכלי קוד אוטומטיים לכתיבת תוכנות. שוחחנו איתו על האתגרים, הסכנות והפתרון של החברה, שאותה הוא הקים ב-2022 יחד עם שותפו, שחר מן.

נתחיל בשאלה שאנחנו שואלים את כל האורחים שלנו: ספר קצת על עצמך.
"אני פעיל בעולם ההיי-טק יותר מ-30 שנה. נחשפתי לעולם המחשוב כבר בתיכון, ובצבא הייתי טכנאי אלקטרוניקה בחיל הים. אחר כך למדתי מדעי המחשב באוניברסיטת תל אביב. העבודה הראשונה שלי, כמהנדס, הייתה בטופ טיר של שי אגסי, כחלק מסאפ. מילאתי שם תפקידים שונים, כולל סמנכ"ל הפיתוח. ב-2009 הקמתי עם חבר שהכרתי בסאפ חברה שניסתה להתגבר על פערי תיווך בשוק המזון האמריקני, בעזרת תוכנה, באמצעות חיבור בין מגדלים, חוואים וצרכנים. מהר מאוד הבנו שזה לא טריוויאלי ולמרות זאת, ב-2021 חברה אמריקנית מאוד גדולה רכשה אותנו ולקחה את התוכנה כדי להטמיע אותה בארגונים. חיידק היזמות המשיך לבעור בי וב-2022 הקמתי עם שותפי, שחר מן, שגם אותו הכרתי בסאפ, את בקסלאש סקיוריטי".

כמה עובדים בחברה?
"אנחנו 30 עובדים. עד היום עשינו שני סבבי גיוס, בסכום מצטבר של 27 מיליון דולר, ממשקיעים שהם בעיקר אנג'לים ידועים, כמו שלמה קרמר".

מה הבעיה שהחברה שלכם נותנת לה מענה?
"סוכן בינה מלאכותית הוא בעצם עוזר חכם, שמסייע לי לייצר את מה שאני רוצה: תוכנה, מצגת וכל פעולה אחרת, על ידי נגישות למודל כלשהו. אבל זה לא נגמר בזה שניגשים למודל; יש הרבה רכיבים נוספים, כמו קונקטורים שמתחברים לכלי ה-AI ויכולות הרחבה. הרכיבים האלה מהווים סיכון לארגון, בדמות הפצת מידע רגיש למקורות חיצוניים ועוד. כל משתמש בארגון שיש לו גישה לכלי בינה מלאכותית יכול ליצור את הרכיבים האלה, וארגונים לא תמיד מודעים לסכנות שיכולות לנבוע מזה, וכבר היו מקרים כאלה".

איך מתמודדים עם סכנות כאלו?
"השלב הראשון הוא הנראות. זה לא נגמר בזה שנתת לעובד כלי בינה מלאכותית כלשהו; אתה לא ממש יודע מה הוא הוריד בעזרת הכלי הזה, עם איזה יוזר הוא חיבר אותו וכדומה. לפעמים עובדים משתמשים ברכיב שמישהו חיצוני שלח להם ואמר להם שזה עוזר, כי הוא השתמש בזה במקום עבודה אחר. למשל, פרוטוקול MCP , שפותח כדי לאפשר למודלי AI להתחבר בצורה סטנדרטית למערכות, נתונים או כלים חיצוניים. העובד מתקין, ואין למנהל האבטחה או המנמ"ר שליטה על זה. זה די דומה לבעיות שהיו בהתחלה עם הקוד פתוח, כשכל אחד התחיל לפתח את מה שהוא רוצה".

הבנו את השלב הראשון. מה השלב הבא?
"פיתחנו רכיב שיושב על תחנת הקצה, ליד הסוכנים, ומעביר את כל המידע למקום אחד מרכזי. קוראים לזה Agentic Fabric. הוא נותן למנהל אבטחת המידע רשימת מלאי, שיבין מה יש לו על המכונות. בנוסף, הוא מעריך את הסיכונים שנובעים מכל אחד מהרכיבים, כדי לשקף למנהל האבטחה האם רכיב זה או אחר בסדר או לא, מה רמת הסיכון שנובעת ממנו ובמיוחד האם הוא חשוף לחולשות חדשות. ואם לא אז הוא מתריע. אבל, מאחר שההתרעות יכולות להיות בכמויות גדולות ואי אפשר לרדוף אחרי כל מפתח, הפתרון הוא במדיניות ארגונית, שמגדירה מה מותר ומה אסור. הרכיב שלנו ‫בודק אם מישהו מפר את הכללים שנקבעו, ומנהל האבטחה יכול לעצור אם הוא מזהה סכנה מסוימת.‬

אבל, גם אם עדכנת הכול לפי המדיניות והכול נקי, עדיין הסוכן עלול לבצע פעולות לא נכונות, כי הן אוטומטיות, לפי הפקודות שהוא קיבל, וזה חושף את הארגון להשפעה זדונית. בעזרת הכלי שלנו אתה יכול להגדיר לסוכן הגדרות מדויקות יותר. זוהי עוד שכבת הגנה לסביבת הפיתוח".

מדוע שמנהל אבטחה וסייבר יאמץ את הכלי שלכם?
"כי העולם משתנה במהירות. בפיתוח קוד יש יותר יכולת שליטה, כי הוא מובנה, אבל בעולם הסוכנים זה כבר חוצה את כל הארגון. מנהלי סייבר מבינים שהם צריכים להגן על סביבת הפיתוח שלהם, אבל אין להם מושג איך להגדיר את הגבולות. למען הדיוק, הבעיה היא יותר במשתמשים הפנימיים. אם איש המכירות שלי רוצה להשתמש בסוכן שמסייע לו, נניח, בקריאה ובמיון מיילים, לא בטוח שמנהל הסייבר ידע על כך, ולא בטוח שתהיה לו מודעות לסכנות מזה, כגון חשיפת מידע רגיש, שיכול לשמש האקרים לתקיפות סייבר".

אז בעצם אתם אומרים לעשות קודם סקר סיכונים, מה שתמיד אמרו בעולם האבטחה.
"אמת. זה תמיד היה נכון בעולם האבטחה, ועכשיו צריך לעשות זאת גם בעולם הבינה המלאכותית. הכלים שלנו באים לעזור גם למפתחים שיש להם מודעות לאבטחת מידע וגם לגורמים הפנימיים – מעין מפלס ביטחון שנותן להם קצת שקט".