אנשי אבטחה? כלי חדש בודק האם הסוכן שלכם עושה עבודה טובה

רבים מאיתנו מסתמכים על סוכנים חכמים לאוטומציה והאצלה של משימות משמימות שאנחנו, כבני אדם, מעדיפים שלא לעשות (ומי שעוד לא עושה את זה – למה אתם מחכים?). ארגונים, וגם אנשים פרטיים, רוצים לדעת האם הם מקבלים מהסוכן את התוצאות הרצויות. כדי לוודא את זה כיום, אנחנו בדרך כלל עושים הערכה ידנית – יושב אדם, שיש לקוות שמבין את התחום של התוצר הנבדק, ומעריך סובייקטיבית את איכות התוצר שיצר הסוכן המלאכותי. זה מצריך הרבה עבודה, במיוחד בארגונים שמשתמשים בסוכני AI מרובים.

כאן נשאלת השאלה: למה בעצם שלא יהיו מדדים אחידים, שיבדקו את איכות התוצר של הסוכן החכם והאם הוא באמת עושה עבודה טובה? זה חשוב במיוחד בתחום אבטחת המידע והסייבר, שם "פספוס" של סוכן והעדר בדיקה יסודית האם הוא עומד במשימות שאנשי האבטחה הגדירו לו עלול לעלות לארגון ביוקר, תרתי משמע.

לחלל החדש והנועז הזה נכנסת סולה סקיוריטי הישראלית, שמתמחה בבינה מלאכותית לתחום האבטחה, ויצרה מוצר חדש, שנקרא Open Security. התכלית שלו היא להעריך את איכות העבודה של סוכנים בתחום האבטחה, אבל לא מן הנמנע שהוא ישמש בעתיד גם להערכת תוצרים אחרים, או יהווה השראה ליצירת מדדים כאלה. שוחחתי עם מיכאל ארנזון, מוביל מעבדות המחקר של החברה, SolaX.

מיכאל ארנזון, מוביל מעבדות המחקר של סולה סקיוריטי, SolaX. צילום: יח"צ

"ידוע שאייג'נטים הפכו להיות מאוד אופנתיים, ופייבל 5, למשל, עושה הרבה רעש", אמר ארנזון. "אבל איך ארגון צריך להגן על המערכות האלה לפני שהתוקף בא? שמנו, בסולה סקיוריטי, לב שכמעט כל יצרן כלי אבטחת מידע – המדדים שיש לו להציג הם המדדים שלו עצמו. לכן, החלטנו לבנות מערכות אחרת, שאלנו אותן שאלות אחרות, ואנחנו מסייעים לארגונים לעבור מחסומים שסוכני האבטחה והסייבר שלהם הגיעו אליהם. במקרים כאלה, צריך לבדוק את התוצר של אותם סוכנים והאם הוא התקבל בהקשר הנכון. זה בדיוק מה ש-Open Security עושה".

ארגונים תלויים ב-"דלק השכלי", אמר ארנזון. כמו אדם שמתדלק את הרכב שלו, כלומר: מכניס אליו את הדלק, כך אנשי הארגון מזינים לסוכן את המידע על מה שקורה בו. "כשאתה מפעיל מודל שפה גדול, הוא יעשה את המשימה – אבל בטוח שלא תקבל תמיד את אותה התשובה. וככל שהמשימה יותר מורכבת, אתה יודע שהתוצאה יותר מורכבת, ותצטרך לבצע לה אימות. בתחומים שדורשים דיוק, כמו רפואה, אבטחה והנדסה, אין לך דרך (מיידית – נ"ל) לאמוד האם התוצאה טובה או לא – וארגונים צריכים זה יקרה. Open Security בא לענות על הצורך הזה", ציין.

מה השאלה?

לפי מה שארנזון מתאר, הכלי בא לענות על כמה שאלות ולבדוק איך הסוכן עובד: איך הוא מתמודד עם אירוע אמת? אם, למשל, הוא מחק מסד נתונים כפעולה הגנתית – האם אפשר לחזות את הפעולה הזו מראש? מה יכולות הגילוי של המודל? מה יכולת קבלת ההחלטות שלו? ואיך הוא מחליט אילו כלים להפעיל? "אחרי שהכלי שלנו עונה על השאלות האלה", הסביר ארנזון, "הוא בודק עד כמה סוכני הבינה המלאכותית של הארגון הלקוח יודעים לא רק למפות את המצב, אלא גם לפעול בצורה בטוחה ונכונה – לפי סטנדרטים מקובלים בתעשייה ותקנים מובילים, למשל של נציב האבטחה הבריטי".

Open Security יצא השבוע לגרסת בטא לקהילה (כאן ניתן להתנסות בו), ובסולה סקיוריטי מדגישים שהם בונים על התרומה של הקהילה לפיתוח שלו. כרגע לפחות אין לחברה כוונה להרוויח על המוצר, אלא היא רוצה להוציא ולהציע אותו לעולם ככלי בדיקות פתוח ובעיקר – עם שקיפות מלאה של כל השרשרת. "כל מי שעוסק ב-AI יודע שעניין האמינות מאוד חשוב", הסבירו לי בסולה. "שמנו את הכלי, והוא פתוח לחלוטין. אם בנית סוכן ואתה נותן לו לעבוד על המידע של ארגון דמה כלשהו – אתה יודע למה נתנו את הציון שנתנו. אם יש אי דיוקים, אנחנו מצפים שהקהילה תשפר את המודל".

העובדה שהכלי הוא ללא כוונת רווח יכולה להרים גבה. ארנזון מסביר את ההיגיון שמאחורי זה: "כיוון שהעולם מאמץ שיטות עבודה חדשות, בראייתנו יש חשיבות גדולה להציע לא רק כלים שהם למטרות רווח. כיוון שהכול ממש בחיתולים, מבחינתנו היה חבל להפוך את Open Security למוצר מסחרי. ייתכן שזה יקרה בהמשך. כרגע, נשמח שכמה שיותר אנשים יבדקו את האייג'נטים שלהם איתנו ויתרמו מהידע והניסיון שלהם לפרויקט".