מערכות רובוטיקה עם AI נדרשות לשדרג את אבטחת הסייבר

מערכות רובוטיות ואוטונומיות פועלות בצומת שבין מערכות טכנולוגיה תפעולית (Operation Technology – OT) לאבטחת סייבר (Cybersecurity). כיום, הן משלבות פתרונות בינה מלאכותית, במטרה לאפשר פעולה עצמאית, חכמה ומדויקת של רכיבים ומערכות מכניות.

עם זאת, השימוש באמצעים חדשניים אלה לעיתים אינו מביא בחשבון במידה מספקת את הסיכונים הכרוכים בתקלה או בפגיעה זדונית בתהליכי ה-AI המוטמעים בהם. עלינו מוטל להתייחס ישירות לסיכוני הסייבר והבטיחות הללו, שכן שיבוש בתהליכי הפעולה של מערכות מכניות עלול להוביל לכשל תפקודי ולסכנה בטיחותית ממשית.

משיקולי בטיחות תפעולית ואבטחת סייבר, לא נוכל להסתפק בשאלה האם מודל ה-AI פועל כסדרו, אלא שחובה עלינו להטמיע מנגנון "עוקף AI"

אבטחת סייבר במערכות רובוטיקה ובמערכות אוטונומיות נועדה למנוע מניפולציה של נתונים אגורים ושיגור פקודות שגויות. לפיכך, חיוני ליישם מנגנון ייעודי המוודא כי מודל ה-AI ניזון מנתונים "נקיים", מתפקד כהלכה, ומסוגל לבלום חריגות באמצעות אמצעי הגנה מותאמים.

ספקי פתרונות AI טוענים מטבע הדברים כי המערכות מניבות תוצאות חיוביות, אולם תוצאות אלו מושפעות תמיד מגורמים סביבתיים ומשתנים נוספים. ככל שמוענקת למנגנוני ה-AI השפעה ישירה יותר על קבלת ההחלטות בתהליכי הבקרה, כך גדל משטח התקיפה של המערכות האוטונומיות והרובוטיות. המלצות שגויות – שמקורן בשיבוש מודל ה-AI, בכשל תוכנה או בתקלת חיישנים – עלולות לגרום לסטייה ממהלך הבקרה התקין ולייצר סיכון סביבתי ובטיחותי.

Human-in-the-Loop

כדי להבטיח את הבטיחות התפעולית, על מערכות רובוטיקה ומערכות אוטונומיות לכלול רכיבי בטיחות עצמאיים, המבוססים על חיישנים נפרדים ומוקשחים. רכיבים אלה נדרשים להיות מסוגלים לעקוף את מנגנוני הבקרה המרכזיים, במקרה שבו האחרונים נפגעו מפעילות זדונית או מכשל תוכנתי.

בנוסף, מומלץ לתכנן את המערכות כך שבמצבים מוגדרים מראש תתבצע התערבות אנושית כרובד הגנה נוסף ועצמאי (Human-in-the-Loop). מנגנון מסוג זה דורש אישור אנושי להמלצות מערכת ה-AI, ובכך מונע נזק מערכתי כתוצאה משיבוש זדוני. יתרה מכך, יש להבטיח למפעיל האנושי גישה לנתונים גולמיים ובלתי מסוננים, למידע על מגבלות התפעול ולנהלים הארגוניים. גישה ישירה זו מונעת תרחיש מסוכן שבו לכלי ה-AI ניתן "עודף סמכות" (Over-Authority) בניהול המערכת ובתפקודה.

לסיכום, קשה לחזות מראש את מלוא היקף הסיכונים העתידיים שעלולים להתפתח במערכות רובוטיות ואוטונומיות המשלבות AI בתהליכי פעולתן. משיקולי בטיחות תפעולית ואבטחת סייבר, לא נוכל להסתפק בשאלה האם מודל ה-AI פועל כסדרו, אלא שחובה עלינו להטמיע מנגנון "עוקף AI". מנגנון כזה חיוני לרגעים שבהם התהליך התפעולי משתבש, אינו זמין, או כאשר אמצעי הניטור לא זיהו בזמן החלטות שגויות שנבעו מהתערבות כושלת של רכיב ה-AI בתהליך המכני.

כותב המאמר הוא יועץ ומרצה בתחום אבטחת סייבר למערכות תפעוליות, מרצה על שילוב פתרונות בינה מלאכותית ויו"ר הכנס השנתי בישראל המאורגן על ידי חברת אנשים ומחשבים ISCYBERSEC&AI 2027 – הכנס ה-11 ייערך בלאגו ראשל"צ ב-6 בינואר 2027