סוכני ה-AI משתלטים – והאבטחה הופכת לדאגה גדולה יותר

"הטבע הכפול של הבינה המלאכותית כבר כאן: חדשנות יוצאת דופן - לצד סיכונים חסרי תקדים" ● לפי מיקרוסופט, יותר מ-80% מהחברות פורסות סוכנים, אבל רק 47% מהן מאבטחות אותם

מתרבה השימוש בהם ולצד התועלות נחשפים גם הסיכונים. סוכני ה-AI.

יותר ויותר חברות עושות שימוש בסוכני בינה מלאכותית בסביבה הארגונית שלהן, בין אם לסיכום מיילים או לאוטומציה של משימות. אלא שהתפתחות עולם הסוכנים יוצרת גם פגיעויות, אותן פושעי הסייבר עלולים לנצל כדי לתקוף עסקים.

דו"ח חדש שמיקרוסופט (Microsoft) הנפיקה אתמול (ד'), Cyber Pulse, מעלה שיותר מ-80% מחברות Fortune 500 פורסות סוכני בינה מלאכותית שנבנו באמצעות כלים של קוד נמוך או ללא קוד כלל. אבל רק 47% מהעסקים מחזיקים באמצעי אבטחה כלשהו לניהול פלטפורמות של בינה מלאכותית יוצרת (GenAI).

"הקאץ' הוא: חלק מהסוכנים מאובטחים, חלקם לא"

החולשות והפגיעויות כוללות, לפי חוקרי הענקית מרדמונד, את: כמות הנתונים שסוכנים יכולים לגשת אליהם בארגון; סוגי הנתונים שהם יכולים להשתמש בהם; ותוקפים שעורכים מניפולציות על הבוטים וסוכני ה-AI – כדי שיבצעו מתקפת פישינג מתקדמת.

"סוכני הבינה המלאכותית מתרחבים מהר יותר ממה שחלק מהחברות יכולות לראות אותם", נכתב, "ופער הנראות הזה הוא סיכון עסקי. ארגונים זקוקים בדחיפות לממשל אפקטיבי ולאבטחה, כדי לאמץ סוכני AI באופן בטוח, לקדם חדשנות ולהפחית סיכונים. כמו משתמשים אנושיים, סוכני AI זקוקים להגנה באמצעות תצפית, ממשל ואבטחה חזקה, על בסיס עקרונות אפס אמון".

אימוץ סוכני ה-AI מואץ באזורים בכל רחבי העולם, ציינו החוקרים: הגידול באירופה, המזרח התיכון ואפריקה (EMEA) עמד על 42%, בארה"ב – 29%, ביבשות אמריקה (ללא ארה"ב) ב-10% ובאסיה – ב-19%.

הגידול גם חוצה מגזרים: שירותים פיננסיים, ייצור וקמעונאות – מובילים באימוץ סוכנים. מגזר השירותים הפיננסיים, כולל בנקאות, שוק ההון וביטוח, מהווה כיום כ-11% מכלל הסוכנים הפעילים ברחבי העולם. מגזר הייצור מהווה 13% מהשימוש העולמי בסוכנים, מה שמצביע על אימוץ נרחב במפעלים, שרשרות אספקה ומתקני אנרגיה. ענף הקמעונאות מייצג 9%, שם סוכנים משמשים לשיפור חוויית הלקוח, ניהול מלאי ותהליכים.

"הקאץ' הוא", כתבו החוקרים, "שחלק מהסוכנים האלה מאושרים על ידי מחלקת ה-IT בעוד שאחרים לא. חלק מהסוכנים הללו מאובטחים, וחלקם לא".

נתון נוסף מהמחקר העלה כי 29% מהעובדים בארגונים פנו לסוכני בינה מלאכותית לא מאושרים, על מנת לבצע משימות בעבודה.

הסיכון של הסוכן

"פריסה מהירה של סוכני AI עלולה לעקוף את בקרות האבטחה והציות, ולהגדיל את הסיכון ליצירת מצב של 'צל בינה מלאכותית'. שחקנים רעים עלולים לנצל את הגישה וההרשאות של הסוכנים, ולהפוך אותם ל'סוכנים כפולים'. כמו עובדים אנושיים, סוכן עם יותר מדי גישה, או הוראות שגויות – עלול להפוך לפגיעות", נכתב.

"האיום שסוכנים כפולים ינוצלו אם הם לא יהיו מנוהלים, או יקבלו הרשאות שגויות, או יפעלו על בסיס קלט לא אמין – אינו סיכון תיאורטי", כתבו החוקרים. הם הזכירו כי באחרונה, צוות Defender של מיקרוסופט זיהה קמפיין הונאה, בו כמה שחקני איום ניצלו טכניקה של מתקפת AI, הידועה כ"הרעלת זיכרון" – כדי לשלוט בזיכרון של עוזרי בינה מלאכותית בצורה מתמשכת, תוך הכוונה שקטה לתגובות עתידיות והחלשת האמון בדיוק של המערכת.

עוד נכתב כי צוות ה-AI Red Team של מיקרוסופט תיעד כיצד סוכנים הוטעו וקיבלו הנחיות לערוך הוראות מזיקות, שהוטמעו בתוכן יומיומי. הצוות האדום גם גילה כיצד ניתן לנתב בעדינות את ה"היגיון" של הסוכנים באמצעות מסגור של המשימות באופן נצלני. "ממצאים אלו ממחישים מדוע חשוב שארגונים יקבלו נראות וניהול מלאים של כל הסוכנים בארגון שלהם, כדי שניתן יהיה לאכוף בקרות באופן מרכזי ולנהל סיכונים בגישה משולבת", כתבו.

"הסיכונים בארגון מאיימים על האבטחה, ההמשכיות העסקית ועל המוניטין, וכל אלה נופלים ישירות לרגלי מנהלי האבטחה", סיכמו חוקרי מיקרוסופט, "זהו לב הדילמה של סיכון סייבר. סוכני בינה מלאכותית מביאים הזדמנויות חדשות למקום העבודה ומשתלבים בפעילות הפנימית. אך התנהגות מסוכנת של סוכן עלולה להגביר איומים מבפנים וליצור מצבי כישלון חדשים לארגונים שאינם מוכנים לנהל אותם. הטבע הכפול של הבינה המלאכותית כבר כאן: חדשנות יוצאת דופן – לצד סיכונים חסרי תקדים".

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים