האם הגיע הצעד שיאפשר לבעלי אתרי תוכן להרוויח מזחלני AI?

עולם התוכן נמצא תחת מתקפה: זחלני AI – תוכנות אוטומטיות שסורקות אתרים לצורך אימון מודלים עבור גישה לתוכן – קוראים אתרים ומסכמים את המידע, אבל מעט מאוד גולשים לוחצים על קישורים. התוצאה: ירידה חדה בתנועה ממודלי AI, פגיעה בפרסום הדיגיטלי ואיום ממשי על המודל הכלכלי של יצרני התוכן.

רק לפני כמה שבועות, מנכ”ל קלאודפלייר (Cloudflare), מת'יו פרינס, אמר בראיון לאקסיוס: "הבינה המלאכותית הורגת את המודל העסקי של האינטרנט. אנשים סומכים על ה-AI יותר מאי פעם, ולכן הם לא טורחים לקרוא את התוכן המקורי".

באחרונה, קלאודפלייר הציעה פתרון לבעיה, עם השקת מודל עסקי ראשון מסוגו בשם Pay per Crawl. המנגנון החדש יאפשר לבעלי אתרים, בפעם הראשונה, לגבות תשלום מזחלני בינה מלאכותית, כמו אלה של OpenAI ואנת'רופיק, בתמורה לגישה לתוכן באתר. מדובר בתוספת טכנולוגית לארכיטקטורת ה-ווב הקיימת, שמתבססת על הקוד ההיסטורי HTTP 402 Payment Required, שלא היה בשימוש נרחב עד היום.

איך זה הולך לעבוד ומה תהיה ההשפעה על עולם ה-GEO?

ההסכם עם יוצרי התוכן הופר

לפני כמעט 30 שנה, שני סטודנטים מאוניברסיטת סטנפורד התחילו לעבוד על פרויקט שנקרא Backrub – פרויקט שהפך לגוגל. אבל הוא היה הרבה יותר מזה: גוגל למעשה הניחה את היסודות למודל העסקי של האינטרנט.

ההסכם הלא כתוב בין גוגל לבעלי האתרים שיצרו את התוכן היה פשוט: תנו לנו להעתיק את התוכן שלכם כדי להציג אותו בתוצאות החיפוש, אנחנו נשלח לכם תנועה ואתם, כיוצרים, תוכלו להפיק ערך מהתנועה הזאת בשלוש דרכים: להציג פרסומות, למכור מנויים או פשוט ליהנות מהידיעה שמישהו קורא את מה שכתבתם.

גוגל יצרה את התשתית כדי לתמוך בהסכם: החיפוש יצר טראפיק, רכישת דאבל קליק והקמת AdSense עזרו להכניס ממנו כסף ורכישת Urchin הפכה ל-Google Analytics, שאפשרה למדוד את הכול.

הכול תקתק, העסקה עבדה לשני הצדדים. במשך כמעט שלושה עשורים, זו הייתה העסקה שהחזיקה את הרשת בחיים. אבל עכשיו, העסקה הזאת מתערערת. מספר החיפושים בגוגל נמצא בירידה מתמדת, והבינה המלאכותית מחליפה אותם. לפני עשור, גוגל סרקה שני עמודים על כל גולש ששלחה לאתר. לפני חצי שנה, היחס כבר עמד על: בגוגל, יחס של 1 ל-6, ב-OpenAI – של 1 ל-250, ובאנת'רופיק – של 1 ל-6,000. והיום? בגוגל, היחס הוא של 1 ל-18, ב-OpenAI – של 1 ל-1,500, ובאנת'רופיק הוא כבר מגיע ל-1 ל-60 אלף.

המגמה ברורה: ההסכם שגוגל יצרה הולך ומתפורר, ויוצרי התוכן נשארים מחוץ למשוואה.

איך הפתרון של קלאודפלייר הולך לשנות את זה?

כשחושבים על זה, מדובר בפתרון די גאוני. במקום לבחור בין שתי אפשרויות – לחסום את כל הזחלנים או לאפשר להם גישה חופשית, בעלי אתרים יכולים מעתה לבחור בנתיב שלישי: לדרוש תשלום.

איך עושים את זה? בעלי אתרים יוכלו להגדיר בפלטפורמה של קלאודפלייר שלוש אפשרויות שונות לכל זחלן: לאפשר גישה חינמית (HTTP 200), לחייב לפי מחיר קבוע לבקשה (HTTP 402 עם פירוט מחיר) או לחסום כליל, אך עם הצהרה שמצב התשלום אפשרי בעתיד (HTTP 403). בקיצור, מדובר על API חדש בין תוכן לבין מודלים גנרטיביים, שבו התוכן הוא לא רק מקור ידע, אלא גם נכס בתשלום.

חשוב לזכור שקלאודפלייר היא לא סטארט-אפ בגראז’ שרוצה לעשות מהפכה באינטרנט. לפי נתוני החברה, היא מספקת תשתית CDN למעל 20% מהאתרים באינטרנט (!), כולל אתרים של גופים תקשורתיים, פלטפורמות תוכן, מותגים ומדינות. עשרות מיליוני אתרים, ביניהם רדיט, שופיפיי והגרדיאן, עוברים דרך התשתית של קלאודפלייר. זה אומר דבר פשוט: אם קלאודפלייר רוצה, היא יכולה לעצור את הגישה של זחלני AI למידע בקנה מידה עצום.

מעבר לשליטה על תעבורת אתרים בקנה מידה עצום, קלאודפלייר יודעת בדיוק מי מבקר באתרים האלה ובאיזו תדירות: Bytespider של בייטדאנס, הבעלים של טיקטוק, ניגש ל-40.4% מהאתרים שמוגנים על ידי קלאודפלייר. אחריו נמצאים GPTBot של OpenAI עם 35.5% ו־ClaudeBot של אנת'רופיק עם 11.2%.

איך Pay per Crawl ישפיע על ה-SEO?

קודם כל, חשוב לדייק: קלאודפלייר לא חוסמת אוטומטית את BingBot ,Googlebot וזחלנים של מנועי חיפוש קלאסיים. העדכון מתמקד במודלי AI – כלומר, זחלנים של חברות כמו OpenAI ואנת'רופיק, שנועדו לאסוף מידע עבור מודלים גנרטיביים, ולא למטרות חיפוש רגיל. עם זאת, קלאודפלייר נותנת לכל בעל אתר את האפשרות לחסום או לדרוש תשלום גם ממנועי החיפוש הקלאסיים – וזה כוח שלא היה קיים קודם.

האם בעלי אתרים יעשו בזה שימוש? כנראה שלא בטווח הקרוב, בגלל החשש מאובדן טראפיק אורגני יקר ערך. אמנם, בחודש שעבר הוול סטריט ג’ורנל דיווח על ירידה בטראפיק האורגני שהמוציאים לאור חווים בגלל החיפושים ב-AI, אבל עדיין, ה-"פרוסה" שגוגל מהווה מסך "עוגת" הטראפיק שלהם מהווה עשרות אחוזים ממנה.

במילים פשוטות, כל חסימה של גוגל מסכנת מקור תנועה חיוני. זו גם הסיבה שגוגל, בשונה ממודלי ה-AI הגנרטיביים, נהנית מ-"מעמד מיוחד", מעין חסינות שקטה. יש לי תחושה שאם היו חוזרים בזמן לרגע שבו התחיל ה-SEO, לא בטוח שהיו נותנים לגוגל גישה חופשית לאנדקס את הרשת, כדי לא ליצור את התלות העתידית הזאת.

שלב החיפוש נשאר פתוח, אבל בלי בסיס ידע טוב, המודלים לא ידעו לחפש נכון, לא יבינו מה חשוב ולא יציגו אתרים שלא נחשפו אליהם מעולם. קידום ב־GEO לא מסתכם רק בנראות בחיפוש, אלא גם בשאלה האם המודל בכלל מכיר אותך, סומך עליך ומבין אותך – וזה מתחיל באימון

האם Pay per Crawl ישפיע על אופטימיזציה למנועים גנרטיביים (GEO)? כן, ובאופן הרבה יותר עמוק ממה שנראה ממבט ראשון.

כדי להבין את הנקודה, ניקח את ChatGPT, שמבצע חיפושים דרך בינג. חשוב להבחין בין שני תהליכים שונים שמתרחשים מאחורי הקלעים:

• אימון המודל: עוד לפני שמתבצעים חיפושים, זהו השלב שבו מודלי השפה הגדולים (LLMs) נבנים. בשלב זה, המודל "לומד את העולם" על בסיס מאגר עצום של טקסטים, תמונות, קוד ומידע מאתרים. הנתונים נאספים על ידי סורקים ייעודיים כמו GPTBot או AnthropicBot.
• חיפוש מידע בזמן אמת: לאחר שהמודל אומן, הוא יכול לגשת למידע עדכני באמצעות חיפוש חיצוני. במקרה של ChatGPT בגרסת הפרימיום זה נעשה דרך האינטגרציה עם מנוע החיפוש של בינג.

זחלני ה-AI רוצים להשתמש בתוכן מהאתר שלכם? שישלמו! צילום: ShutterStock

לכאורה, אפשר לטעון: "אם האתר שלי לא חסם את בינג, ChatGPT ימשיך לתקשר איתו בשלב החיפוש. אז מה הבעיה?". הו! כאן נכנס ההבדל הקריטי: שלב האימון הוא מה שבונה את הידע הכללי של המודל – את ההבנה שלו בשפה, בתחומים מקצועיים, בהקשרים ובמונחים. החיפוש בזמן אמת הוא תוסף מידע נקודתי ולא תחליף לידע הכללי של המודל. לכן, אם יותר ויותר אתרים חוסמים את הגישה לזחלני AI, שלב האימון נפגע, ואז נוצרות כמה השפעות:

האחת היא ירידה באיכות התשובות, גם כשיש חיפוש בזמן אמת, כי המודל לא מכיר לעומק את התחום, את סוגי השאלות או את ההקשרים, גם אם הוא מצליח "להציץ" באתר מסוים דרך בינג או Brave.

השנייה, העדפה אוטומטית למקורות שפתוחים לאימון, כי גם אם מודל אומן על מקורות מסוימים, הוא ייטה לסמוך עליהם יותר גם בשליפה בזמן אמת, משום שהוא מזהה את השפה והסגנון. לעומת זאת, אתרים חדשים, שהוא לא פגש במהלך האימון, עלולים לקבל משקל נמוך יותר בתשובה, או להידחק החוצה לטובת מקורות מוכרים.

ההשפעה השלישית היא אפקט מצטבר על ה-GEO בטווח הארוך: ככל שיותר אתרים מגבילים גישה באמצעות Pay per Crawl, מאגר הידע שהמודלים נבנים עליו הופך מצומצם ומוטה. אתרים שלא היו זמינים בשלב האימון לא ייכנסו ל-"תודעה" של המודל, גם אם הם יהיו פתוחים בעתיד. לכן הם לא יופיעו בתשובות או יקבלו משקל נמוך.

בשורה התחתונה, שלב החיפוש נשאר פתוח, אבל בלי בסיס ידע טוב, המודלים לא ידעו לחפש נכון, לא יבינו מה חשוב ולא יציגו אתרים שלא נחשפו אליהם מעולם. קידום ב־GEO לא מסתכם רק בנראות בחיפוש, אלא גם בשאלה האם המודל בכלל מכיר אותך, סומך עליך ומבין אותך – וזה מתחיל באימון.

הכותב עוסק בתחום החיפוש מ-2007, מומחה SEO ו-GEO (אופטימיזציה למנועים גנרטיביים). הוא מייסד ומנכ"ל אנגורה מדיה, סוכנות שיווק דיגיטלי שעוזרת לסטארט-אפים ומותגים להגדיל טראפיק, לידים והכנסות; מייסד משותף בסטארט-אפ Chatoptic, תוכנת ניטור מתקדמת ב-LLM, שעוזרת להבין איך מותגים מופיעים בתשובות של מודלי AI ומספקת המלצות להגברת הנוכחות; והבעלים של אתר AskPavel, שם פורסם המאמר במקור.