כלי GenAI הביאו לעלייה משמעותית ביצירת תכנים אנטישמיים ברשתות החברתיות

בתקופה של 13 חודשים, שהתאפיינה בעיקר בעלייה המהירה בפופולריות של כלים ומודלים ליצירת תמונות, וידיאו ואודיו באמצעות AI, חלה התפשטות אדירה בהיקף התוכן האנטישמי שנוצר באמצעות AI ברשתות החברתיות – כך עולה מדו"ח חדש של ארגון סייברוול (CyberWell) שבוחן את הקשר בין שימוש לרעה ב-GenAI ליצירת תוכן אנטישמי בפלטפורמות חברתיות והמדיניות הדיגיטלית של הרשתות למול תופעה זו.  בנוסף, הדו"ח ממפה את הדפוסים החוזרים ונשנים שבהם תוכן אנטישמי שנוצר באמצעות AI מגיע לקהלים הרחבים ביותר. מאגר הנתונים המאומת של סייברוול, הכולל לבדו מעל 300 פריטי תוכן אנטישמי שנוצרו באמצעות AI הגיע ליותר מ-30 מיליון צפיות וליותר מ-2.8 מיליון אינטראקציות ברשתות החברתיות המרכזיות כיום.

המחקר, שניתח מאות פוסטים אנטישמיים שנוצרו באמצעות AI בין ינואר 2025 לפברואר 2026, מצא, כי כלים נגישים ונפוצים כמו סורה של OpenAI, ויאו של גוגל, גרוק של רשת X ו-סונו, שימשו לייצור המוני של תוכן אנטישמי בוטה. תכני AI אלה שילבו ויזואליה, אודיו ונרטיבים מומצאים עם קטעים מאירועי אמת, מה שהפך את התוכן לאמין יותר, מושך יותר וקשה יותר לזיהוי. חלק גדול מהתוכן, שעסק בהכחשת השואה והצגתה באופן לעגני, כוון במיוחד לילדים. בעת הצפייה בתכנים אלה הוצעו בפיד של הרשתות החברתיות גם תכנים שנועדו לפגוע בקטינים או לנצל אותם. בעקבות שימוש נרחב בסורה להפצת תכנים אנטישמיים בעייתיים במהלך תקופת כתיבת הדו"ח, OpenAI סגרה את הכלי, מה שממחיש את האתגרים במניעת ניצול לרעה של מערכות AI מתקדמות.

עוד נמצא, כי 79% מהתוכן האנטישמי שנבדק הופיע בפלטפורמות מבוססות וידיאו, בהן אינסטגרם, טיקטוק ויו-טיוב, שבהן סרטונים קצרים היו דומיננטיים במיוחד, ופעמים רבות הופנו לקהלים צעירים באמצעות קהילות גיימינג, תוכן סאטירי וטרנדים ויראליים. סייברוול מצאה כי תוכני AI מבוססי מוזיקה וגיימינג, לרבות תכנים הקשורים למשחקים כמו רובלוקס ומיינקראפט שימשו שוב ושוב להטמעת מסרים אנטישמיים במרחבים הפונים לצעירים.

למרות שתוכן אנטישמי מבוסס AI היה קיים עוד לפני 7 באוקטובר 2023, לאחר מתקפת חמאס נרשמה עלייה חדה בחשיפה ובהפצה שלו. העלייה הזו הובילה את CyberWell  להתחיל לנטר אותו באופן שוטף. עם זאת, נקודת מפנה משמעותית התרחשה במהלך העימות ביוני 2025 בין איראן, ישראל וארה"ב, שמאז זוהתה עלייה חדה ומתמשכת בהפצת תוכן אנטישמי מבוסס AI בין פלטפורמות שונות, עד היום.

"מערכות בינה מלאכותית שינו באופן יסודי את קנה המידה והמהירות שבהם ניתן לייצר ולהפיץ אנטישמיות ברשת", ציינה מנכ"לית ומייסדת סייברוול, טל-אור כהן מונטמאיור. "כיום ניתן לייצר תוכני שנאה בהיקפים תעשייתיים ולהגיע למיליונים, כאשר האכיפה מגיעה לרוב רק לאחר שהתוכן כבר הופץ בהיקף רחב."

עוד עלו בדו"ח כמה ממצאים מדאיגים במיוחד: 33% מהתוכן כלל האדרה או קריאה לאלימות נגד יהודים, ותכנים אלה יצרו 41% מכלל האינטראקציות. ממצא זה מעיד, כי התוכן הקיצוני ביותר מתפשט במהירות רבה ומגיע לקהלים רחבים. בנוסף, נמצא כי תוכן אנטישמי אלים מופיע בשיעור כפול בתכנים שנוצרו באמצעות AI לעומת תוכן שנוצר על ידי משתמשים.

הדו״ח מצביע גם על פערים באכיפה בין הפלטפורמות: טיק-טוק הייתה אחראית לחלק הגדול ביותר מהתוכן, 36%, אך גם הציגה את האכיפה הגבוהה ביותר, עם 88%. ,אינסטגרם רשמה את שיעור האינטרקציות הגבוה ביותר – 65% – באופן שאינו פרופורציונלי לחלקה מכלל הפוסטים, שעמד על 25%.טיקטוק ומטא, החברה האם של אינסטגרם, רשמו שיעורי הסרה גבוהים משמעותית מהממוצע שלהן ביחס לפוסטים אנטישמיים, ככל הנראה בשל קיומן של מסגרות מדיניות מפורשות יותר בפלטפורמות שלהן לטיפול בתוכן שנוצר באמצעות .AI לעומת זאת יו-טיוב ו־X, רשמו שיעורי הסרה נמוכים משמעותית, 28% ו־20% בהתאמה, ואינן מחזיקות בהוראות מדיניות מפורשות דומות.

אף ששיעורים אלה משקפים אכיפה בסופו של דבר לאחר שהתוכן דווח לפלטפורמות, האכיפה של תכנים שנוצרו באמצעות AI מתעכבת לעיתים קרובות, והתוכן נותר ברשת זמן רב מספיק כדי לצבור מאות אלפי ואף מיליוני צפיות לפני הסרתו.

"על הפלטפורמות להתקדם מעבר לשקיפות בלבד ולהשקיע במערכות שמסוגלות לזהות נרטיבים מזיקים בקנה מידה רחב, לרבות כאלה שמטמעים בתוך אודיו, ויזואליה ושפה מקודדת שמצליחים לחמוק ממנגנוני זיהוי מסורתיים" הוסיפה כהן מונטמאיור. " Gen AI הוא כלי עוצמתי, אך גם כזה שמנוצל לרעה בקנה מידה רחב. באמצעות חיזוק מנגנוני זיהוי אוטומטיים, השקעה בבקרה אנושית איכותית ושיתופי פעולה עם גורמים מקצועיים חיצוניים, ניתן להתמודד עם צורות השנאה החדשות והמתפתחות ברשת".