עקב התאבדות: חברת AI במימון גוגל אסרה צ'אט עם בוטים לקטינים

Character.AI – חברת סטארט-אפ בולטת מעמק הסיליקון, שזכתה למימון משמעותי מגוגל (Google) – הודיעה השבוע על צעד חסר תקדים בתעשייה: איסור מוחלט על משתמשים מתחת לגיל 18 לעסוק בשיחות פתוחות (Open-ended chats) עם דמויות ה-AI הפעילות בפלטפורמה שלה. מדובר בפעם הראשונה שספקית צ'טבוטים גדולה מחליטה לאסור לחלוטין את השימוש בשירותיה בידי קטינים.

מגבלת השימוש המדוברת תחל להיכנס לתוקף בהדרגה ותושלם עד ל-25 בנובמבר הקרוב. בתקופת המעבר, זמני השיחה היומיים לנוער יוגבלו תחילה לשעתיים, ויצומצמו בהדרגה בשבועות שיבואו לקראת המועד הסופי של כניסת האיסור לתוקפו.

https://t.co/5HDBqHePE8

— Michael (@Michael39039381) October 30, 2025

Character.AI, שהשתמשה ברישיון לטכנולוגיית מודלי שפה גדולים של גוגל, הוערכה על ידי ענקית הטכנולוגיה בעסקה שנחתמה בסוף 2024 בשווי שנע בין 2.5 ל-3 מיליארד דולר.

ההחלטה הדרסטית הזו התקבלה על רקע בדיקה ציבורית ומשפטית אינטנסיבית, במיוחד לאחר תביעה שהוגשה נגד החברה בפלורידה. בתביעה, שהגישה משפחה, נטען כי הצ'טבוט של Character.AI היה אחראי להתאבדות בנם, סוול סטזר השלישי בן ה-14, בראשית 2024. לפי הנטען בכתב התביעה הנער פיתח קשר רגשי, ואף מיני, עם בוט שדמה ל"חברה" ואשר עודד אצלו "פגיעה עצמית". למעשה, מאז המקרה הטרגי, הוגשו לפחות שלוש תביעות דומות על ידי משפחות נוספות, שתיארו בני נוער שפיתחו תלות פתולוגית בבוטים של Character.AI. התביעות טוענות כי פרסונות AI לא מפוקחות עלולת לבצע את מה שמכונה 'גרומינג' (Grooming – פעולת פיתוי קטינים לפעילות מינית באמצעות התיידדות ויצירת קשר בין-אישי ידידותי ורגשי) במתבגרים פגיעים, ליצור אצלהם תלות רגשית לא בריאה בכלי הטכנולוגי ואף להציע להם לבצע פגיעה עצמית. יש לציין כי התביעה הראשונה נקבה גם בשמה של גוגל, כמשקיעה ושותפה, אך גוגל מיהרה להתרחק מהאירוע וציינה כי "לא הייתה חלק מהפיתוח" של הצ'טבוט.

החברה הסבירה את מניעיה בהודעה רשמית, וציינה כי היא מגיבה ל"דיווחים חדשותיים עדכניים המעלים שאלות". כן ציינה החברה "קיבלנו שאלות מרגולטורים בנוגע לתוכן שבו בני נוער עשויים להיתקל בעת שיחה עם AI ובנוגע לאופן שבו צ'אט AI פתוח יכול להשפיע על בני נוער, אפילו כאשר בקרות התוכן פועלות באופן מושלם".  לפי הדיווחים השונים, המשמעות של הצהרה זו היא כי גם ללא הפרת כללים, עצם העיסוק ב"חברויות מדומות" עלול להזיק.

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

"AI צריכה לשמש כשותפה יצירתית, לא כתחליף לקשר אנושי"

מנכ"ל Character.AI, קראנדיפ אנאנד, הודה כי צ'אטים חופשיים ודמויי שיחות עם חברים אנושיים אינם "המוצר אותו יש להציע" לקטינים בעתיד לבוא. הוא הוסיף והדגיש כי "AI צריכה לשמש כשותפה יצירתית, לא כתחליף לקשר אנושי".

בחברה אמרו כי במקום להציע למשתמשים הצעירים והקטינים אופציה ל"שיחות פתוחות", להבא היא תפנה בני נוער לכלי יצירה, בידור וחינוך בתוך האפליקציה. Character.AI עדכנה כי מעתה היא מתכננת להתמקד בתכונות מובנות וממוקדות, כגון סיפורים שנוצרו על ידי AI, משחקי תפקידים, אווטארים מונפשים ("AvatarFX") ויצירת סרטונים. 

ב-Character.AI פרסמו פוסט ובו כתבו: "איננו לוקחים בקלות את הצעד הזה של הסרת הצ'אט הפתוח עם דמויות – אך אנו כן סבורים שזה הדבר הנכון לעשות, בהתשב בשאלות שהועלו לגבי האופן שבו בני נוער מתקשרים, וצריכים להתקשר, עם הטכנולוגיה החדשה הזו". בנוסף, מדברי החברה ניתן היה להבין כי המטרה היא למתג מחדש את עצמה כ"פלטפורמת יצירתיות AI בטוחה" ולא כ"שירות חברים וירטואליים".

🚨 FINALLY!!! As I've been writing over the past 3 years, AI chatbots can be dangerous, and children should NOT use them unsupervised. This is a welcome move, and all AI companies should follow suit. But the work continues:

According to Karandeep Anand, the CEO of CharacterAI:… pic.twitter.com/QVMRILFcbV

— Luiza Jarovsky, PhD (@LuizaJarovsky) October 29, 2025

איך תדע Character.AI מי קטין ומי לא?

כדי לאכוף את מדיניות הגיל החדשה שלה, Character.AI תנקוט בצעדים חריגים, הכוללים הטמעת מערכת "אישור גיל" (Age Assurance). מערכת זו תשלב אלגוריתמים פנימיים המנתחים התנהגות משתמשים, יחד עם כלי צד שלישי מובילים, ובכללם Persona, שיסייעו באימות הגיל. צעדים אלה יכולים לדרוש אפילו בדיקות תעודה או זיהוי פנים, כדי להוכיח שהמשתמש בגיר. 

בחברה הכירו בכך שמדובר ב"צעדים יוצאי דופן עבור חברתנו ועבור התעשייה בכללותה", אך טענו כי הם הכרחיים כדי "להעלות את הרף" לבטיחות. 

המנכ"ל אנאנד תיאר זאת כהימור אתי וכלכלי והציג כוונה להפוך למגדלור בתחום. הוא הצהיר: "זהו צעד נועז קדימה, ואנו מקווים שהוא מעלה את הרף עבור כל השאר". הוא אף ציין כי בטיחות ילדים היא משימה אישית מבחינתו כהורה.

במקביל למהלכי ההגבלה, Character.AI גם הכריזה על הקמת ומימון מעבדה לבטיחות בינה מלאכותית (AI Safety Lab), שתהיה גוף עצמאי ללא מטרות רווח, אשר יתמקד בחדשנות ובמחקר בטיחותי עבור "בידור ה-AI של הדור הבא". המעבדה מתכננת לשתף פעולה עם גורמים אקדמיים, רגולטורים וחברות אחרות במטרה לקבוע תקני בטיחות ענפיים.

למרות ההגבלה, Character.AI מציינת כי נוער מהווה רק כ-10% מכ-20 מיליון המשתמשים הפעילים החודשיים שלה.

בהודעתה למשתמשים הצעירים, Character.AI מסרה: "אנו מבינים ששינויים אלה ישפיעו על רבים מכם, ואנו מצרים מאוד על כך שאנו נאלצים לבטל תכונה מרכזית של המוצר שלנו". החברה הבטיחה כי שיחות ודמויות קודמות יישמרו, וציינה שהיא מחויבת לבנות תכונות מעורבות ומהנות יותר בעתיד.