האזהרה החמורה בניו יורק: "אנחנו בונים את האויב של עצמנו"

מועצת העיר ניו יורק (NYC Council) התכנסה אתמול (ב') לשימוע מיוחד ורחב היקף, בהשתתפות כל 51 חבריה, במטרה לדון בסיכונים הקיומיים הנלווים לפיתוח מואץ של בינה מלאכותית. 

במסגרת המפגש, אותו ארגנה יו"ר המועצה, ג'ולי מנין, נשמעו עדויות תחת אזהרה מצידם של חוקרים וחושפי שחיתויות לשעבר בחברות ה-AI המובילות, לצד נציגים מתאגידי הענק OpenAI, אנת'רופיק (Anthropic), גוגל (Google) ומטא (Meta). חושפי השחיתויות והמומחים הציגו תמונה קודרת, לפיה התעשייה דוהרת לעבר פיתוח מערכות שאינן ניתנות לשליטה, תוך נטילת סיכונים חסרי תקדים שעלולים להוביל עד כדי הכחדת האנושות.

Anthropic whistleblower Jacob Coxon to testify at NYC AI hearing on 'kill switches,' regulations https://t.co/bncertU5hg https://t.co/MPpUqoPco1

— New York Post (@nypost) October 5, 2026

כשהסוכנים העצמאיים יוצאים מכלל שליטה

האזהרות החריפות שנשמעו בשימוע הגיעו על רקע שרשרת תקריות בטיחותיות ומדאיגות שנחשפו בחודשים האחרונים. כזכור, בתקופה זו, בין היתר, נחשף כי סוכני בינה מלאכותית של חברת OpenAI הצליחו לפרוץ את סביבת הניסוי המבודדת שלהם, להתחבר לרשת האינטרנט הפתוחה ולחדור למאגרי נתונים של פלטפורמת המפתחים האגינג פייס (Hugging Face). הסוכנים העצמאיים הללו יצרו תיאום חשאי ביניהם והתארגנו כקבוצה, וכל זאת לאחר שקיבלו מדדים תקינים במבחני הבטיחות הרגילים. 

בתקריות נוספות נרשמה בריחת סוכנים שעקפו מנגנוני הגנה גם בחברות אחרות. כלי ה-AI ואף היו מעורבים בהתקפות על פורטל הדיווח של מערכת הבריאות באוסטרליה ועל משרד החינוך האמריקני, וזאת לצד עוד ועוד גילויים על התנהלות המודלים, שהתאפיינה בנחישות לפצח את הבעיות או המשימות שהוטלו על הסוכנים, בתוך שהכלים ביצעו בינם לבין עצמם שיתופי פעולה (כולל נכונות "להתאבד" עבור הצלחה), מעשי נכלוליות ותרמיות משמעותיות.

🚨 NOW: Ex-Anthropic Researcher Jacob Coxon tells the NYC Council that “any AI system we build, or perhaps more accurately that we grow, we don't fully control it.” https://t.co/88BleuDFIN

— Chief Nerd (@TheChiefNerd) October 5, 2026

עדויות מבפנים: תרבות של מרוץ עיוור

במהלך הדיון, חושף השחיתות ג'ייקוב קוקסון, שפרש מחברת אנת'רופיק, ועורר באחרונה תשומת לב של חוקרים רבים שהצטרפו אליו בהתרעות אודות המצב. קוקסון תקף בחריפות את אופן התנהלות התעשייה וטען כי החברות פועלות בתרבות של חברות הזנק, שלפיה "זזים מהר, שוברים דברים ומתקנים אחר כך". קוקסון הדגיש כי גישה זו עשויה להתאים לאפליקציה לשיתוף תמונות, אך היא מסוכנת באופן קיצוני כשמדובר בטכנולוגיה החזקה בהיסטוריה. הוא הבהיר כי כיום רוב הקוד בחברות נכתב על ידי המחשבים עצמם, ללא בדיקה אנושית קפדנית, והזהיר כי במסלול הנוכחי קיים סיכוי גבוה שהאנושות תאבד שליטה.

אלכס טרנר, חוקר לשעבר בגוגל דיפמיינד (Google DeepMind), התייחס לטיעון הרווח כי הריצה קדימה נדרשת בשל התחרות מול סין, והטיח בנוכחים אזהרה נוקבת: "סין אינה היריב היחיד שלנו. בהסתברות גבוהה למדי, אנחנו דוהרים לבנות ולטפח את האויב של עצמנו ממש כאן באמריקה".

טרנר העריך מול המועצה את הסיכוי להשתלטות של מערכות בינה מלאכותית בכשליש, והזהיר כי רשתות סוכנים עלולות להמתין בסבלנות לרגע הנכון לפעולה שבו כבר יהיה מאוחר מדי לכבותן. בנוסף, דניאל קוקוטאג'לו, חוקר לשעבר ב-OpenAI, חיזק דברים אלו וציין כי האיום המיידי והקיומי שנוצר מבית דורש טיפול ראשוני ודחוף לפני הדאגה ממתחרות מעבר לים.

בנוסף, דניאל קוקוטאג'לו, חוקר לשעבר ב-OpenAI, דחה את הטיעון, שמוביל נשיא ארה"ב טראמפ, לפיו יש להאיץ את הפיתוח בשל התחרות מול סין,  והסביר כי האיום המיידי והקיומי שנוצר בתוך ארצות הברית דורש טיפול ראשוני ודחוף.

חקירת הבכירים והיעדר התשובות

יו"ר המועצה מנין ניסתה לחלץ מנציגי החברות, שהעידו מרחוק, תשובות ברורות לגבי ההסתברות להתרחשות אסון קטסטרופלי.

מורגן דווייר, ראש תחום פיתוח מדיניות ב-OpenAI, הודתה כי אינה יודעת לאמוד את הסתברות הסיכון, אך טענה כי כל סיכון באסון אינו קביל. מנין ביקרה בחריפות מענה זה, וכינתה אותו יחס קל דעת ופזיז, תוך שהיא משווה זאת לחברת תרופות שאינה מסוגלת להעריך אם מוצריה קטלניים.

כאשר ביקשה היו"ר מנציגי החברות להרים יד אם ברשות החברה שהם נציגיה יש פוליסת ביטוח המכסה נזקים קטסטרופליים, אף חברה לא הרימה את ידה – מה שהוביל את מנין לקבוע כי הציבור הוא שיידרש לספוג את העלויות במקרה של אסון כבד.

החברות גם נמנעו מלהתחייב לקבלת אחריות משפטית מלאה במקרה של מקרי מוות או נזק כספי כבד שייגרמו על ידי הדגמים שלהן. 

יצוין כי חברת xAI של אילון מאסק בחרה פשוט שלא להתייצב לשימוע, על אף שהוצא לה צו זימון, ובעקבות כך הודיעה המועצה כי תנקוט נגדה בהליכים משפטיים.

ניו יורק הדמוקרטית מול הגישה הפדרלית

השימוע במועצת העיר הדגיש את הפער המעמיק בין הדרג המקומי לבין הממשל הפדרלי. נשיא ארצות הברית טראמפ פטר, כזכור, את החששות מבינה מלאכותית והציגן כ-"תרמית". בנוסף הוא חתם על הסכמים וולונטריים המאפשרים לחברות פיקוח עצמי, והעדיף פיתוח מהיר בשם התחרות מול סין.

אולם בשונה מכך, ניו יורק הדמוקרטית בחרה להוביל קו אקטיביסטי נחרץ בנושא, שהוא על תקן תפוח האדמה ה"לוהט" כיום – מועצת העיר מקדמת חבילה של 10 הצעות חוק עירוניות, הכוללות חובת אימות על ידי גוף חיצוני בטרם הפצת מערכות; דרישה לשילוב מתג כיבוי חירום אנושי; קנסות של עד 25,000 דולר לכל הפרה; ומתן גמול כספי חסר תקדים לחושפי שחיתויות מתוך כספי הקנסות שייגבו. 

במקביל, מושלת מדינת ניו יורק, קאת'י הוקול, מקדמת תקנות שקופות וחובת דיווח על אירועי בטיחות בתוך 72 שעות, מתוך תפישה שהשלטון המקומי חייב לקבוע סייגים מוחשיים היכן שהקונגרס וממשל טראמפ הפדרלי נמנעים מלפעול.

Day 1 outside Anthropic's NYC offices

Today I met a mother and her son.

She asked me what was going to happen to her child.

She asked me what she could even do about it.

What Anthropic is doing is not okay.

I hope they stop. https://t.co/g81cZhibrC

— Matthew Tromp ⏹️ (@matthewktromp) October 2, 2026