למה חברות ישראליות נעלמות מהתשובות של כלי ה-AI?

במשך קרוב ל-20 שנה למדו חברות ישראליות לדבר בשפה של גוגל: מילות מפתח, קישורים נכנסים, מהירות טעינה, תגיות מטא. התחום הזה, SEO, הבשיל לכדי דיסציפלינה של ממש, עם תקציבים, כלים, אנשי מקצוע וסוכנויות.

ברם, יותר ויותר משתמשים, ובמיוחד אנשי מקצוע בתחום ה-IT, כבר לא מקלידים שאילתה בגוגל וגוללים בין עשרות קישורים כחולים. הם שואלים את ChatGPT, ג'מיני, קלוד או פרפלקסיטי ומקבלים תשובה אחת, מסוכמת, עם קומץ מקורות. כמאמר הקלישאה, מי שלא נמצא שם – לא קיים.

כאן מתגלה פער מטריד, כפי שנחשף גם במחקר של ספיריט, שפורסם השבוע: חברה ישראלית שמדורגת היטב בגוגל לשאילתה בעברית עשויה, או עלולה, שלא להופיע כלל בתשובה של עוזר AI לאותה שאלה.

ההסבר ההגיוני הוא שהמודלים "חושבים באנגלית": מתרגמים את השאלה שלנו, פונים למקורות באנגלית ובניגוד לגוגל, בכלל לא מאנדקסים את הרשת הישראלית. מתברר שחלק מהטענה הזאת נכון מאוד, אבל החלק השני טעון תיקון – ודווקא הוא החלק המעניין.

האם המודל באמת "חושב באנגלית"?

הצד הנכון של הטענה מתחיל בנתוני האימון. מודלי שפה גדולים מאומנים במידה רבה על Common Crawl, ארכיון הרשת הפתוח, ובגרסת מרץ 2023 שלו, כמעט מחצית מהמסמכים (46%) היו באנגלית, כשאף שפה אחרת לא חצתה את רף ה-6%. עברית נמצאת הרחק מאחור: ניתוח עדכני של כ-158 מיליון אתרים מצא שרק כ-0.2% מהאתרים שמצהירים על שפתם כתובים בעברית, לעומת 65.5% באנגלית.

מחקר של מכון EPFL השווייצרי בדק מה קורה בתוך מודלי Llama-2 של מטא כשהם מעבדים טקסט שאינו באנגלית. הממצא: בשכבות האמצעיות של המודל, הייצוג הפנימי של המושגים קרוב יותר לאנגלית מאשר לשפת הקלט. ברם, החוקרים מדגישים שאין כאן תרגום מילולי לאנגלית וחזרה, אלא "מרחב סמנטי" שמוטה לשפה זו בשל החשיפה העודפת אליה באימון. כלומר, "חושבים באנגלית" הוא קיצור נכון, אבל גס. המודל לא מתרגם את השאלה שלכם, הוא פשוט מכיר את העולם בעיקר דרך עולם מושגים בשפה הכי גלובלית שיש.

החיפוש בורח לאנגלית

כאן מגיע החלק שמאשש את הסברה בצורה הבוטה ביותר: כשעוזר AI מחפש ברשת, הוא לא שולח את השאלה שלכם כמות שהיא. הוא מפרק אותה לכמה שאילתות משנה ממוקדות, מה שמכונה בתעשייה Query Fan-out, ושולח אותן למנוע החיפוש.

חברת האנליטיקה Peec AI ניתחה בפברואר השנה יותר מ-10 מיליון פרומפטים ו-20 מיליון שאילתות משנה של ChatGPT, וסיננה רק מקרים שבהם שפת השאלה תאמה את מיקום המשתמש: פולנית מפולין, גרמנית מגרמניה וכן הלאה. התוצאה: 43% משאילתות המשנה לפרומפטים שאינם באנגלית רצו באנגלית ובכ-78% מהשיחות, לפחות חיפוש אחד נשלח לרשת האנגלית. בטורקית שיעור ההמרה הגיע ל-94%, בספרדית, הנמוכה ביותר, ל-66%, ואף שפה לא ירדה מתחת ל-60%.

עברית? עוזרי ה-AI מעדיפים אנגלית. צילום: ShutterStock

עברית אמנם לא נכללה במדגם, אבל אין סיבה להניח שההתנהגות של עוזרי ה-AI כאן אחרת. אם כבר, ההיקף הדל של התוכן העברי ברשת מרמז שהמצב במקרה של השפה שלנו חמור יותר. הדוגמאות שהמחקר מביא מוכרות: כך למשל, אלגרו, זירת המסחר המובילה בפולין, נעדרה או נקברה בתשובות בפולנית, ובשאילתה ספרדית על מותגי קוסמטיקה, ChatGPT הוסיף על דעת עצמו את המילה "גלובליים" – ולא החזיר בתשובה אף מותג ספרדי.

ההסבר של Peec הוא שדפים גלובליים צוברים יותר קישורים ואזכורים, שהמודלים מפרשים כסימני אמינות. במילים אחרות, המנגנון לא "שונא" תוכן מקומי – הוא פשוט מעדיף ללכת על בטוח.

יש אינדקס, פשוט לא של גוגל

עכשיו לתיקון: הטענה שעוזרי ה-AI "לא מאנדקסים" את הרשת אינה מדויקת. הם נשענים על אינדקס, רק לא בהכרח על זה של גוגל. ChatGPT מבוסס על שילוב של האינדקס של בינג והסורק של OpenAI עצמה, OAI-SearchBot של אנת'רופיק נשען על מנוע החיפוש העצמאי Brave ואילו לפרפלקסיטי יש אינדקס משלו. רק ג'מיני ו-AI Mode של גוגל יושבים על האינדקס של גוגל. דה פקטו, רק גוגל ומיקרוסופט מחזיקות אינדקס בקנה מידה של הרשת כולה. כל השאר – שוכרים.

החברות הישראליות שיבינו שה-SEO כבר מזמן לא לבד, ויתחילו לבנות נוכחות במקומות שמהם המודלים קוראים, הן שיופיעו בתשובות שלהם. האחרות ימשיכו לשבת בראש עמוד תוצאות שפחות ופחות אנשים טורחים לפתוח

באופן אירוני, יש כאן פתח חדש לתחרות על הדומיננטיות של גוגל. לפי Peec, המוצרים של חברת הענק נשארים קרובים יותר לשפת השאילתה מאשר ChatGPT. אבל אינדקסים קטנים יותר, כמו של Brave או פרפלקסיטי, ככל הנראה רדודים יותר ברשת העברית, ומי שמעולם לא בדק אם האתר שלו מופיע בהם עשוי לגלות שהוא שקוף, לא קיים, עבור חלק מהעוזרים. יתרה מכך, מי שחוסם בטעות ב-robots.txt את הסורקים של OpenAI או של אנת'רופיק מוציא את עצמו מהתשובות במו ידיו.

שפת השאלה קובעת את זהות המנצח

ויש עוד טוויסט, שאולי חשוב מכל השאר: מחקר מבוקר שביצע חוקר מהחברה האסטונית Rankfor.AI, שבדק את ChatGPT במדינתו, וכן בנורבגיה ובטורקיה, מצא ששפת השאלה משפיעה יותר מכל גורם אחר.

כשהשאלה נשאלה בשפה המקומית – מותג גלובלי הופיע בריצה אחת בלבד מתוך 24. כשאותה שאלה נשאלה באנגלית מאיסטנבול ומטאלין, לא הופיע ספק מקומי באף אחת מ-12 הריצות. בעבודה קודמת של אותו חוקר, על פני כ-13 אלף תשובות, שפת השאלה הסבירה 26.5% מהשונות בתשובות, ואילו זהות המותג רק 1.5%. ברם, החברה מוכרת כלי לנראות ב-AI, כך שיש פה גם אינטרס מסחרי חזק, שבגללו יש לקחת את הממצאים האלה בערבון מוגבל, ועדיין, הם מעניינים.

המשמעות של זה לתעשיית ההיי-טק הישראלית היא לא פשוטה: חברת סייבר, פינטק או SaaS ישראלית ממוצעת לא מוכרת בעברית בכלל או כמעט בכלל – רוב הלקוחות שלה הם בניו יורק, בלונדון או בפרנקפורט, והם שואלים שאילתות אנגלית. שם היא מתחרה בענקיות גלובליות, שצברו עשרות שנים של כיסוי באנגלית. גם אנשי ה-IT בישראל נוטים לנסח שאלות מקצועיות באנגלית. כך שהבעיה העיקרית איננה שהמודל מתרגם את העברית שלנו – אלא שרוב השאלות שחשובות לנו כבר נשאלו בשפה הגלובלית. ושם, הקול שלנו חלש.

מ-SEO ל-GEO

כאן נכנס לתמונה ה-GEO (ר"ת Generative Engine Optimization). המונח נטבע במאמר של חוקרים מפרינסטון, מ-IIT דלהי וממוסדות נוספים. החוקרים הראו ששינויים בתוכן עצמו, כמו הוספת ציטוטים, נתונים סטטיסטיים והפניות למקורות, יכולים להגדיל את הנראות של אתר בתשובות של מנועים ג'נרטיביים בעד 40%, ובבדיקה על פרפלקסיטי – בעד 37%. ההבדל המהותי מ-SEO הוא שהמודל לא מחפש מילות מפתח, אלא משפטים שאפשר לצטט.

אבל, הלקח החשוב ביותר נוגע לשאלה איפה לכתוב, ולא רק איך. מחקר נוסף של Rankfor.AI, שניתח כ-167 אלף ציטוטים בתשובות על 128 מותגים ב-12 שווקים, מצא ש-85.7% מהמקורות שהמודלים מצטטים כשהם עונים על שאלה לגבי חברה הם לא אתרים שהחברה מחזיקה. ויקיפדיה היא הדומיין המצוטט ביותר ב-11 מ-12 השפות שנבדקו.

ה-"כוכב" החדש. GEO. צילום: ShutterStock

בקיצור, האתר שלכם הוא הגורם השולי כאן. מה שקובע הוא מה שאחרים כותבים עליכם: אתרי השוואה, פרסומים מקצועיים, דירוגים, פורומים וערכים אנציקלופדיים, ובמקרה של חברות ישראליות שפונות לשוק הבינלאומי, בעיקר באנגלית.

מה זה אומר בפועל? קודם כל, כדאי לכם לבדוק איך הארגון שלכם מופיעים במנועי החיפוש האחרים, להירשם ב-Bing Webmaster Tools, לבדוק נוכחות ב-Brave ולוודא שהסורקים של מנועי ה-AI אינם חסומים. שנית, להשקיע בתוכן ובחשיפה באנגלית במקורות שהמודלים כבר סומכים עליהם בתחום, ולא בתרגום עיוור של האתר. גם Peec ממליצה במפורש על בחירה ממוקדת ולא על תרגום גורף. ולבסוף, צרו לעצמכם שם אמין, המבוסס על עובדות ונתונים, ועל פרסומים תומכים במקומות אחרים – ולא רק טריקים של צפיפות מילות מפתח.

לסיכום, ה-SEO לא מת, אבל הוא הפך לנקודת פתיחה ואינו עוד קו הסיום. נכון, מנוע החיפוש של גוגל עדיין מכיר את הרשת העברית טוב מכולם, אבל הוא כבר לא השומר היחיד בשער, לשמחתנו. החברות הישראליות שיבינו את זה עכשיו, ויתחילו לבנות נוכחות במקומות שמהם המודלים קוראים, הן שיופיעו בתשובות שלהם. האחרות ימשיכו לשבת בראש עמוד תוצאות שפחות ופחות אנשים טורחים לפתוח.