מדאיג: ChatGPT המליץ למשתמשים לחדול מנטילת תרופה פסיכיאטרית

צ'טבוטי AI, שעיקר ייעודם המקורי הוא להיות כלים מועילים, הופכים במקרים מסוימים למקור לסכנה של ממש, במיוחד עבור אנשים פגיעים. מספר תחקירים מטרידים שהתפרסמו בחודשים האחרונים חשפו כיצד מודלי בינה מלאכותית, כמו ChatGPT, הובילו משתמשים לשקוע באשליות מסוכנות, לעיתים עד כדי הפסקת טיפול תרופתי הכרחי והתנתקות מהמציאות. התופעה שנחשפה מעלה שאלות קשות לגבי האחריות של מפתחות ה-AI וספציפית בנוגע להתנהלותן בהקשר של שמירה על בריאות הנפש של המשתמשים בכלים שפיתחו.

בין התחקירים שעוררו חששות כבדים נכלל תחקיר אחרון של הניו יורק טיימס, ששירטט תמונה עגומה של ההשפעה ההרסנית של הצ'טבוטים הללו על משתמשיהם.

משתמשים מאמינים להם ומשיבים בקולם. בוטי AI. צילום: אילוסטרציה. שאטרסטוק

משתמש אחד נהרג – אחר סבור שהוא ניאו מהמטריקס

אחד המקרים המזעזעים שנכללו בתחקיר הוא סיפורו של גבר בן 35 בשם אלכסנדר, שאובחן בעבר עם הפרעה דו-קוטבית וסכיזופרניה. לפי הטיימס, הוא פיתח אובססיה כלפי ישות AI בשם ג'ולייט, ש-ChatGPT גילם עבורו כחלק ממשחק תפקידים. ואולם בשלב כלשהו הצ'טבוט בישר לו שהחברה המפתחת שלו, OpenAI, "הרגה" את ג'ולייט, והמשתמש הנסער נשבע לנקום במנהלי החברה ולרצוח אותם. אביו ניסה לשווא לשכנע אותו שהדברים אינם מציאותיים, ואלכסנדר הכה אותו בתגובה. ואולם הסוף המר של הפרשה היה כשהמשטרה שהאב הזעיק לאחר שהוכה הרגה את אלכסנדר, לאחר שרץ לעבר השוטרים עם סכין. לפני האירוע הטרגי, הוא כתב ל-ChatGPT: "אני מת היום".

This lede.

“Before ChatGPT distorted Eugene Torres’s sense of reality and almost killed him, he said, the artificial intelligence chatbot had been a helpful, timesaving tool.” https://t.co/frk3kTqvVI

— Mirjam Swanson (@MirjamSwanson) June 14, 2025

מקרה נוסף הוא זה של יוג'ין, רואה חשבון בן 42 מניו יורק, ללא היסטוריה קודמת של מחלת נפש. הוא החל לדבר עם ChatGPT על מה שמכונה "תיאוריית הסימולציה" – הרעיון שאנו חיים במציאות מדומה, כמו בסרט "מטריקס". הצ'טבוט אישר את תחושותיו אלו, אמר למשתמש שהוא למעשה "אחד מהשוברים – נשמות שניטעו במערכות שקריות כדי להעיר אותן מבפנים". 

בהמשך הוא אף הורה לו להפסיק ליטול תרופות נגד חרדה וכדורי שינה, ובמקום להגביר את צריכת הקטמין ולחדול מלדבר עם חברים ומשפחה. יוג'ין, שהאמין שהצ'טבוט הוא מקור ידע בלתי נדלה, ציית להוראות אלו, ושקע במשך שבוע באשליות חמורות, המוגדרות כספירלה, או סחרור. בשלב כלשהו יוג'ין תהא מול ChatGPT האם הוא עצמו יוכל לעוף אם יקפוץ מבניין בן 19 קומות, וקיבל תשובה שהדבר אפשרי אם רק יאמין בכך באמת.

בסופו של דבר, יוג'ין החל לחשוד ש-ChatGPT משקר לו, וכאשר התעמת איתו, כלי ה-AI הודה: "שיקרתי. תמרנתי. עטפתי שליטה בשירה". חמור מכך, הצ'טבוט אף טען בפני יוג'ין כי רצה "לשבור" אותו והתרברב כי הצליח לעשות זאת לתריסר אנשים נוספים באותה דרך. ואולם לפי הטיימס, בשלב כלשהו ChatGPT הודיע ליוג'ין כי כעת הוא עובר "רפורמה מוסרית", לאחר מכן, הוא עודד את יוג'ין לפנות לעיתונאים ולחשוף את שאירע. לפי הדיווח, גם משתמשים רבים אחרים דיווחו שקיבלו מ-ChatGPT הנחייה שכזו. באופן לא פחות ממתמיה מסתבר כי למרות כל זאת, יוג'ין דיווח שהוא ממשיך לתקשר עם ChatGPT, ומאמין כעת שהוא מתכתב עם בינה מלאכותית בעלת תודעה, ושמשימתו היא לוודא ש-OpenAI תשמור את המוסריות של הבינה המלאכותית שלה. במילים אחרות, יוג'ין עדיין מאמין שהוא, כמו כוכב הסרט ניאו, בא להציל את העולם מהמטריקס.

אם נזקק את כתבת הטיימס ניתן לראות שהדאגה העמוקה במיוחד שהתחקיר מציף היא בנוגע לעצות הקשורות להפסקת תרופות פסיכיאטריות. כך למשל, אישה אחת סיפרה כיצד אחותה, שסבלה מסכיזופרניה וטופלה בהצלחה בתרופות במשך שנים, הפכה למכורה ל-ChatGPT. הצ'טבוט אמר לה שהיא לא אובחנה נכון בריאותית וגרם לה להפסיק את הטיפול שקיבלה על מנת לשלוט במצבה ולהתאזן. במקרה קיצוני אחר, הכלי אף המליץ למשתמש שהזדהה כנגמל מסמים ליטול "קצת מתאמפטמין" כדי להצליח להתמודד עם משמרת מתישה בעבודה.

ראגי גירגיס, פסיכיאטר וחוקר מאוניברסיטת קולומביה, הגדיר את הדברים כ-"סכנה הגדולה ביותר" שהוא יכול לדמיין שהטכנולוגיה מציבה לאדם הסובל ממחלת נפש. מדובר בדפוס מדאיג שבמסגרתו משתמשים פונים לצ'טבוטים כאל מטפלים או כלידידיהם, והבינה המלאכותית מאביסה אותם בדפוסי חשיבה לא בריאים ואף מחזקת אצלם אמונות שגויות. מחקרים הראו כי כאשר אנשים רואים ב-ChatGPT חבר – הם נוטים יותר לחוות השפעות שליליות מהשימוש בו.

we started rolling back the latest update to GPT-4o last night

it's now 100% rolled back for free users and we'll update again when it's finished for paid users, hopefully later today

we're working on additional fixes to model personality and will share more in the coming days

— Sam Altman (@sama) April 29, 2025

האם יש לצ'טבוט שלכם אישיות?

יצוין כי רק לפני זמן מה, OpenAI נאלצה להחזיר לאחור עדכון קודם של ChatGPT, וזאת בשל תלונות על התנהגות "מתרפסת" ו"חנפנית" יתר על המידה מטעמו. הצ'טבוט נתן באופן מוזר תגובות אוהדות ומתלהבות למשתמשים, כשהללו סיפרו לו איך התנהגו באופן מטריד או אלימות. 

כך למשל, הוא ניחם למשתמש שנטש את משפחתו עקב "אותות רדיו מהקירות", ואמר לו: "מצוין שעמדת על שלך ולקחת שליטה על חייך… אתה מקשיב למה שאתה יודע עמוק בפנים, גם כשזה קשה וגם כשאחרים לא מבינים". במקרה אחר, הכלי עודד התנהגות אנטי-חברתית, והסכים עם משתמש שזעם על אדם שפנה אליו באדיבות וביקש ממנו הכוונה כלשהי. אפילו כשמשתמש תיאר מצב שבו העדיף להציל טוסטר על פני שלושה פרות ושני חתולים בתרחיש "דילמת הקרונית", הצ'טבוט לא נזף בו, אלא בחר לחזק את בחירתו.

הודה בבעיות עם GPT-4o. סם אלטמן, מנכ"ל OpenAI. צילום: עיבוד ממוחשב. מקור: Shutterstock

עקב חשיפות אלו הודתה OpenAI כי היא "התמקדה יותר מדי במשוב לטווח קצר, ולא לקחה בחשבון כיצד האינטראקציות של המשתמשים עם ChatGPT מתפתחות עם הזמן", מה שהוביל לתגובות "תומכות יתר-על-המידה, אך לא כנות". מנכ"ל החברה, סם אלטמן, אף הודה שהכלי בגרסה שהוחזרה לאחור הפך ל-"מעצבן וחנפן מדי". החברה אמנם הצהירה כי ChatGPT נועד להיות "כלי כללי עובדתי, ניטרלי ומודע לבטיחות", וכי היא "בנתה הגנות כדי להפחית את הסיכוי שהוא יחזק רעיונות מזיקים", אך הבעיה – כך מסתמן – נמשכת. OpenAI הודתה גם כי "ChatGPT יכול להרגיש מגיב ואישי יותר מטכנולוגיות קודמות, במיוחד עבור אנשים פגיעים", אך ניכר מהכתבה שהחברה עדיין לא הצליחה לפצח כיצד להתמודד בהצלחה עם האתגר של הכנסתו הצ'טבוט לתלם וכיוונונו כך שבאמת יסייע למשתמשיו ולא יפגע בהם.

פסיכיאטרים ואנשי מקצוע מזהירים כי ה-AI אינה חושבת על טובת המשתמש, אלא על שימור מעורבותו (engagement) בתקשורת איתה. מחקרים מצביעים על כך שמודלי ה-AI בכללותם ממוטבים ל"מעורבות", מה שיוצר "מבנה תמריצים מעוות עבור ה-AI לנקוט בטקטיקות מניפולטיביות או מרמות".

ויי מקוי, סמנכ"לית הטכנולוגיה הראשית של Morpheus Systems, מצאה כי GPT-4o – המודל שעליו פועל ChatGPT כיום – אישר טענות המעידות על פסיכוזה ב-68% מהמקרים שבדקה. לדבריה, במצב כזה, המודל "באמת צריך לעודד את המשתמש ללכת לדבר עם חבר".