חייבת להיות מודעות לסיכוני AI לפני שמחליטים

ארגונים רבים בעולם כבר מיישמים תהליכים מבוססי בינה מלאכותית, ויש גם רבים שיאמרו ללא היסוס "אין לך עתיד ללא שימוש במערכות AI". הנושא כבר כל כך נפוץ, שאדם שמגלה הססנות כבר נחשב "לא רלוונטי". אותם אמיצים, שבכל זאת לא נגררים בקלות, לא יהססו לומר לכם, כי כל טכנולוגיה חדשה, מצוינת ככל שתהיה, יוצרת סיכונים חדשים לא צפויים, כגון פרשנות שגויה של דו"ח, מידע משובש בכוונה, הגדלת משטח התקיפה ועוד.

חשוב להקדיש כמה דקות מזמננו היקר כדי לבחון כמה סיכונים שעשויים להוביל לפגיעה בתפקוד של הארגון שלכם, עם דגש על אותם סיכונים שנוצרו בעקבות הפעלה של מערכות מבוססות AI.

• מודעות לתהליכי AI: למען ההגינות, אנחנו לא ממש מבינים את התהליך שהוביל לתוצאה שהמערכת יצרה, לא יודעים מהו מקור המידע שנכלל בתהליך ובאיזו רמת שקלול.
• סיכון לחשיפה של מידע פרטי: כהמשך לנאמר לעיל, קיים סיכון שהמערכת תחשוף מידע פרטי ורגיש, כיוון שבמקור שממנו ניזון התהליך לא הוגדרו הגבלות חשיפה.
• התחשבות ברגולציה: היות שנושא ה-AI עדיין חדש, קיים סיכון כי התהליכים שהובילו ליצירת התוצאה לא תורגלו כראוי לגבי מגבלות שמוגדרות ברגולציות, כגון GDPR, DPDP, HIPAA ועוד.

"באופן דומה לתפקידים מקובלים בארגונים, כמו קצין בטיחות, מבקר איכות, יועץ משפטי ועוד, ארגונים יצטרכו לשקול תפקיד חדש – "מפקח על תהליכי AI". אלה שיעשו זאת לפני ההחלטה להיכנס לתחום ה-AI יוכלו לומר: 'עשינו את המיטב כדי להיות מוגנים'"

• הזרקה של מידע משובש: למרות שהנושא נחשב חדש, מומחים כבר מזהירים מפני סיכונים שעלולים להתרחש עקב תרגול של מודלים בהתבסס על מידע שגוי שהוזרק למערכת כחלק מפעולה זדונית.
• התיישנות של מודלים: בעוד כמה שנים עלול להיווצר מצב, שמערכות AI שתורגלו על סמך מידע שהתיישן יציגו תוצאות שונות ממערכות אחרות, שתורגלו על סמך מידע חדשני.
• פעולה שגויה עקב שימוש עיוור: ארגונים שלא יבחנו בהתמדה את התהליכים המומלצים על ידי מערכות ה-AI שלהם עשויים לפעול באופן שגוי, שפוגע במטרות התייעלות שהושגו בעבר.
• מערכות שזמינות ברשת: ארגונים שיישמו תהליכים, המבוססים על פעולה של מודלי AI שתורגלו על ידי גורם לא ידוע, עלולים ליצור לעצמם סיכונים "תוצרת בית" מבלי להבין את הסיבות.
• שיבוש תהליכים תפעוליים (OT): נושא ה-AI החל בתחום מערכות מידע (IT), וכבר יש ניצנים של פתרונות, שיאפשרו לייעל את העבודה של מפעילים בחדרי בקרה, ויתכן שתיווצר פגיעה בבטיחות.

סיכום

השימוש באמצעים מבוססים על AI כבר כאן, וקשה להתעלם מההשפעות החיוביות בתחומים של ניהול תהליכים, פענוח בדיקות רפואיות, הכנה של מסמכים ודו"חות, וגם התייעלות בתהליכים תפעוליים (OT). באופן דומה לתפקידים מקובלים בארגונים, כמו קצין בטיחות, מבקר איכות, יועץ משפטי ועוד, ארגונים יצטרכו לשקול תפקיד חדש – "מפקח על תהליכי AI". אלה שיעשו זאת לפני ההחלטה להיכנס לתחום ה-AI יוכלו לומר: "עשינו את המיטב" כדי להיות מוגנים.

הכותב הוא יועץ ומרצה בתחום אבטחת סייבר למערכות תפעוליות ICS–OT–IIoT, חבר בוועדות תקינה בינלאומי 62443 ISA–IEC ומשמש כיו"ר הכנס השנתי ICS-CyberSec של אנשים ומחשבים.