"לא לסמוך יותר על תוכן דיגיטלי"

אודו שניידר מודאג.

אודו שניידר הוא חוקר אבטחה, איש חברת האבטחה הגלובלית טרנד מיקרו, וההתמחות הספציפית שלו היא AI והשימושים (הנלוזים) שעושים בבינה מלאכותית פושעי סייבר כדי להונות, לרמות ולהפיל אנשים תמימים בפח. ישבתי איתו לשיחה בסניף החברה באירלנד, שם התקיימה בשבוע שעבר תחרות ההאקרים PWN2OWN, שטרנד מיקרו מארגנת כבר שנים רבות ושהיא אירחה אותי בה. לצערי, שניידר איננו איש בשורות. למעשה, התחזיות שלו די מפחידות.

איך האקרים משתמשים בבינה מלאכותית, מעבר להגדלת קנה המידה של ההתקפות? מה היקף האיומים שמבוססים על בינה מלאכותית?
שניידר: "מבחינה צרכנית, מדובר בשני דברים – קודם כל, שימוש במודלי שפה גדולים כדי לייצר כל סוג של תוכן לקמפיינים פליליים, בין אם אלה מיילים לפישינג, תרמיות התחזות לתמיכה טכנית, הודעות SMS ואתרי פישינג שלמים. המודלים מחקים את הדרך שבה אנחנו כותבים, ולכן הם טובים בזה בכל שפה. שנית, האפקט הוא בעיקר, כמו שאמרת, הגדלת קנה המידה של ההתקפות: אפשר לייצר תוכן פעם אחת ולהפוך אותו לתוכן בשפה מקומית, בלי מתרגם אנושי – מה שמאפשר לפושעים להתרחב לשווקים ולשפות אחרות בקלות".

רגע, אבל האם זה גם מחליף את הצורך בהבנת התרבות והניואנסים של מדינת היעד?
"לחברות לגיטימיות חשוב שהמסר יהיה מותאם תרבותית. לפושעים זה פחות קריטי. הם שולחים המון הודעות, ובעזרת בינה מלאכותית אפשר ליצור מסר שמרגיש אותנטי ולמקד את המתקפה לפי גיל וסגנון, בלי שצריך כותב אנושי. מספר קטן של קורבנות שייפלו בפח הוא מספיק".

אז ה-AI עוזרת לשפר את האמינות של המתקפות? כלומר, לגרום לקורבן להאמין שמדובר בבן אדם אמיתי?
"מודלי שפה מאפשרים גם למי שאין לו כישורי כתיבה להתאים טון, סלנג, גיל ואישיות (של הדמות – נ"ל). זה מייצר מסרים משכנעים יותר. בעבר, היית צריך בשביל זה כותב טוב. עכשיו אתה מקבל איכות גבוהה בלי ידע מיוחד – ובקלות אפשר לשכפל את זה לקבוצות שונות".

דיפ פייק בווידיאו הוא כבר דבר של מה בכך. צילום: ShutterStock

מה לגבי דיפ פייקים בווידיאו ובקול? עד כמה זה מסוכן בפועל?
"לא ניתן לסמוך על שום דבר שמועבר אלקטרונית. דיפ פייק קולי הוא כבר סטנדרט בטכנולוגיות של מרכזי תמיכה ודיפ פייק של וידיאו הוא דבר שכבר אפשר ליצור מקומית על מחשב נייד עם מודלים קטנים – ומספיקה תמונה אחת! לצורך העניין, קשה בשיחת זום להבחין האם מדובר באיכות נמוכה בגלל בעיות חיבור, מצלמה חלשה או זיוף אמיתי".

מה אפשר לעשות כדי להתגונן?
"יש לשקול מנגנוני אימות אנושיים: מילות ביטחון סודיות בתוך המשפחה ודרכי אימות חיצוניות במצבים קריטיים. אבל זה לא פתרון מושלם. סיסמאות נכתבות במקומות וניתנות לגניבה. קשה ליישם את זה בקנה מידה ארגוני בלי לפגוע בשימושיות".

איך אתה רואה את הפיכת ה-AI לנשק בידי מדינות לאום ושחקנים בעלי משאבים?
"הדאגה הגדולה שלי היא קבלת החלטות אוטונומית, כגון החלטות רפואיות ושימוש בנשק אוטונומי. אם מערכת מקבלת החלטות שגויות ומאחורי החלטה כזו אין מי שאחראי, נוצרת בעיה אתית ומעשית. דיוק של 99% נשמע אולי טוב, אבל בקנה מידה גדול, המשמעות של זה היא נזק והרס".

ומה לגבי מתקפות על מערכות הבינה המלאכותית עצמן?
"יש מחקר עדכני שמראה שאפילו כמות קטנה של 'מסמכים מזוהמים', בערך כמה מאות, יכולה להטות מודל גדול. אם אתה מצליח 'לזהם' את המאגרים שהמודל סורק, אתה יכול להטות תשובות ולגרום למודל לקבל את הטיעון שלך כנכון".

איזו כמות של מסמכים דרושה כדי "להרעיל" מודל?
"המחקר מצביע על כך שכ-250 מסמכים ממוקדים יכולים להספיק להשפעה משמעותית, בלי קשר לגודל המודל או לערכת האימון".

"אל תסמכו על היכולת לזהות דיפ פייק", אומר שניידר. "המושג 'הזייה' מטעה. זה לא באג, אלא אופן הפעולה של המודל. הוא יוצר תשובות משכנעות, גם אם לא נכונות, ולכן איכות לשונית כבר לא מעידה על אמיתות".

מה המשמעות של זה לציבור ולחינוך?
"ישנה שחיקה בכישורי חשיבה ביקורתית. אנשים מסתמכים על מודלים במקום לחקור בעצמם, ולא תמיד יודעים להעריך איכות מקור".

לסיכום, לדעתך, מה נדרש עכשיו?
"לא לסמוך אוטומטית על תוכן אלקטרוני, לשלב תהליכי אימות אנושיים, להבין שמודלים יפיקו תשובות משכנעות גם אם הן שגויות ולא להניח שאיכות כתיבה משקפת אמת".