אבטחת דואר אלקטרוני בעזרת AI

"ה-AI נכנסה לחיינו כבר ב-2014, בהתחלה עם פרומפטים מאוד פשוטים, כמו חיפוש, סיכום דברים וכדומה שעושים את החיים קצת יותר קלים בהיבט של הפרודוקטיביות, אבל בהמשך החלו להתפתח ה-LLM, שבעצם עושים אותנו יצירתיים יותר. לא בכדי היום אין כמעט ארגון שלא עובד עם AI ולא רוצה להנגיש AI לעובדים כדי שיהיו טובים יותר. אבל כפי שאנחנו כבר יודעים, יש גם סיכונים לא מעטים: כמו שאנחנו משתמשים ב-AI – גם תוקפים עושים את זה, והם יודעים לייצר התקפות הרבה יותר מתוחכמות ויוצרים רושעות שאף אחד לא הכיר, ולכן צריכים ליצור הגנה טובה בהרבה ממה שהתרגלנו לראות", אמר רון לופו, מנהל חשבון ארגוני, אבטחת דוא"ל, לאזור ישראל ואפריקה בבינת, במהלך כנס "נימבוס רובד 5" של אנשים ומחשבים שנערך לאחרונה.

לופו היה אחד המציגים בסדנה המשותפת לבינת ולצ'ק פוינט, שנושאה היה כיצד לאבטח את ההמרה שלכם ל-AI, והתרכזה באבטחה של דואר אלקטרוני, וכן כיצד לשמור על המערכת בעת שימוש מתקדם ב-GenAI.

הוא סיפר, כי באולימפיאדת פריז 2024 נבחרה החברה להגן על ערוץ המייל של המארגנים. הערוץ סבל מהתקפה חמורה ועוצמתית מאוד, שאיימה לרסק את המערכת, עם כמות ענקית של מיילים בעלי תוכן פוליטי בעקבות המלחמה בישראל השתתפות הספורטאים הישראלים במשחקים.

"זה אולי לא מיילים שהכילו רושעות, אבל העומס היה מטורף. אנחנו בנינו מודל שמשתמש ב-AI שבודק את התוכן, ואם הוא מצא משהו שקשור לפוליטיקה או לכוונות זדוניות, זרקו את ההודעה לפח וזה ניקה עבור המארגנים את התיבה במהירות והקל מאוד על עבודתם. זו דוגמה מצוינת לאיך AI מסייעת לעבודה ולהגנות", הוסיף לופו.

הוא אמר, כי "אנחנו כיום צריכים להציע הגנה שמבוססת על הרבה רבדים, עם הרבה LLM, ויש לנו כבר מעל 50 שקשורים להגנה על תיבות הדואר. ויש מחוונים רבים: האם יש דחיפה לפעולה, האם יש קישורים, מאיפה המייל הגיע ומה יודעים על מי שחיבר אותו. את כל המידע הזה מזיזים למנועי ה-AI בענן שלנו, ומצליחים לחסום הרבה מיילים שעוברים גם את גוגל וגם את מיקרוסופט, והייחודיות שלנו היא, שאנחנו יכולים לבדוק גם בתוך קבצים מצורפים".

הוא סיכם ואמר, כי החברה יודעת לספק פתרונות שגם בודקים את כל התחום של מערכת ה-Workspace הארגונית של גוגל, ובעצם את כל מה שמגיע לאחסון ב-Drive, וכן שהיא מציעה פתרונות שיודעים גם להזהיר מפני בעיות של פריצות למייל בחברות שותפות, שבעקבותיהן נשלחות הודעות רעילות לכל מי שנמצא ברשימות הקשר.

היבטים נוספים של בטיחות GenAI

עידו חבר, מתחום אבטחת ה-AI והענן בצ'ק פוינט, הזכיר שחייבים לשים נדבך הגנה נוסף על אפליקציות GenAI. "אבטחה רגילה לא מספיקה, התקשור הוא הרי בשפה חופשית והתפוקה האפשרית בצ'אטובטים היא אין סוף וריאציות אפשריות, מה שמאוד מקשה על ההגנה. מעבר לכך יש גם את השכבות עצמן הקשורות זו לזו, וזה גורם לכך שיש אפשרות לחשיפת מידע שייצא מהארגון שלנו כחלק מהפעולה של ה-LLM. זה אומר שנוצרות פקודות בנקודות עיוורות, שאמצעי אבטחה רגילים לא יודעים לתת להן תשובות", הוא אמר.

מבחינתו, כל מה שמפר את המדיניות בארגון מהווה סיכון: "אבל יש לנו מוצר, ואלה חדשות טובות מבחינתכם, שמסייע בדיוק בכל הדברים שחוששים מהם, כולל בקרת תוכן מפני מוזרויות כאלו או אחרות של הצ'אטבוט, והוא כולל גם לוח מחוונים שמאפשר לראות את כל הפרומפטים ומאיפה הם יצאו, ולהבין מה קורה במוצר שלי בכל ההקשרים של בטיחות ה-GenAI".

הוא הסביר, כי באופן עקרוני הפתרון משתמש בשתי שכבות שמבוססת על לימוד מכונה, ומה שלא נחסם בשכבה הראשונה, שיודעת לעצור כ-90% מהבעיות, נחסם בשכבה השנייה, שמבוססת על פתרון מבית שעובר שכלול בהתמדה, "ובכל מקרה, מדובר בפתרון שהשיהוי בו הוא פחות מ-50 אלפיות השנייה, כך שהשיהוי לא רלוונטי בכלל כשבוחנים את מה שהוא מציע", אמר חבר.

הוא גם ציין, כי אסור לשכוח שיש להגן, בהיבט של אבטחת מידע, גם במקרים שבהם הצ'אטבוט מתחיל לקלל אנשים ומאחל להם למות, או שהוא מוכר מכונית בשקל וגורם נזק אדיר לסוכנות, או כזה שאפילו נותן הוראה למחוק הכל.