דיפסיק: הסטארט-אפ הסיני ש-"משגע" את עמק הסיליקון

עולם ה-AI והמודלים שעליהם היא מבוססת הולך ונעשה צפוף יותר ויותר, עם הרבה מאוד חברות אמריקניות – ומנגד סיניות – שנכנסות לתחום, וכאלה שמשקיעות בו. ה-"בוננזה" שיש בתחום הזה, הן מבחינה טכנולוגית והן מבחינה כספית, מביאה איתה השקעות בתחום של חברות כמו אנבידיה, מיקרוסופט, גוגל, מטא, עליבאבא, באידו ובערך כל חברת טכנולוגיה אמריקנית או סינית גדולה שניתן לחשוב עליה. שלא לדבר על חברות שמתמקדות בעולמות הבינה המלאכותית, כמו OpenAI.

אחד המשתנים במשוואה הזאת שמעצימים את העניין בבינה המלאכותית הוא טכנולוגי אבל בעיקר גיאו-פוליטי: המגבלות שהממשל של ג'ו ביידן הטיל על יצוא שבבי AI לסין, שעדיין לא ברור מה הממשל של דונלד טראמפ יעשה איתן.

בשבועיים פלוס האחרונים עלה לכותרות סטארט-אפ סיני לא מאוד גדול, והחל "משגע" את עמק הסיליקון. מדובר בחברה בשם דיפסיק (DeepSeek), שמפתחת מודלי בינה מלאכותית. בחודש האחרון היא שחררה שני מודלים: V3 ו-DeepSeek-R1 (ואיתו DeepSeek-R1-Zero). ה-"שגעון" הזה מביא לסחרור בשוק ההון, ולפני פתיחת המסחר היום (ב'), שערי המניות של כמה מהחברות שמובילות את תחום ה-AI, בהן אנבידיה, ברודקום, אורקל, ARM ומיקרוסופט – צונחים, ויחד איתם השוק כולו, שאיבד ביממה יותר מטריליון דולר.

אחת החברות שהכי חוששות מהמודלים החדשים ואלה שנמצאים בפיתוח של דיפסיק, ומהביצועים שלהם (פירוט על זה – בהמשך), היא מטא. על פי דיווח שפרסם אתמול דה אינפורמיישן, החברה חוששת שהביצועים של המודל העתידי של דיפסיק יהיו טובים יותר מאלה של המודל העתידי שלה, Llama 4. היא הקימה לא פחות מארבעה חמ"לים כדי ללמוד היטב את המודלים של המתחרה הסינית, ואולי אף "לשאול" מהם כמה דברים.

DeepSeek-R1 ו-DeepSeek-R1-Zero הם שני מודלים שמהווים הדור הראשון של מודלי ההסקה שדיפסיק משחררת. הם אומנו על Reinforcement Learning (שזכתה בעברית לשם הלא מאוד קליט למידת חיזוק) – תחום של למידת מכונה, שנוגע לאופן שבו סוכנים פועלים בסביבה דינמית לטובת מקסום הרווח המצטבר מהפעולות הללו. על פי החברה, זה מאפשר להם להתמודד טוב בהרבה עם אתגרים כגון ריבוי שפות בטקסט.

ביצועים טובים יותר מהמתחרות האמריקניות

באשר ל-V3, על פי דיפסיק, הוא מציע ביצועים דומים ואף טובים יותר מהמודלים האחרונים של המתחרים האמריקנים, כולל GPT-4o של OpenAI, וכן Llama 3.1 של מטא ו-Claude של אנת'רופיק. לא מעט עיתונאים ומומחים שהתנסו במודל הזה אישרו את הטענה של החברה. דיפסיק פרסמה טבלה מפורטת שמראה את ההבדלים בביצועים בין המודלים (לפחות לטענתה). בגדול, אם לשפוט על פי הטבלה, היא טובה מהמתחרים בפרמטרים הכוללים, עם 671B לעומת 405B של Llama 3.1, וכן ברוב מה שקשור לקידוד, חישובים מתמטיים וכמובן – סינית. באנגלית יש לה עוד מקום נרחב לשיפור.

עוד יתרון במודלים של דיפסיק אל מול חלק מהמתחרות (לא מטא) הוא שהם פותחו בהתבסס על קוד פתוח, מה שמרחיב את מגוון סוגי החומרה שהחברה יכולה להשתמש בהם. מה שאולי יותר חשוב הוא שזה מאפשר ל-V3 להראות למשתמש מהיכן הוא קיבל את התשובה – מה שאי אפשר לראות במודלים של חלק ניכר מהמתחרות.

V3 צבר פופולריות בקרב משתמשים אמריקניים, ועקף את ChatGPT בדרכו אל המקום הראשון בין האפליקציות החינמיות ב-AppStore (ב-Google Play הוא כלל לא בעשרת הראשונות). זה לא מפתיע, כי דיפסיק מתמקדת בלעשות את מה ש-OpenAI ואנת'רופיק עושות ביעילות רבה יותר ובמחיר זול יותר.

הקשר לשלטון הסיני – וצנזורה

כל הטוב הזה מעלה את השאלות: מי ומה עומדים מאחורי החברה הזאת? והאם היא מקושרת למשטר הסיני – ואיך? בזה, מן הסתם, דיפסיק לא תשוש להודות. מה שכן, וכפי שניתן לצפות ממודל סיני, הוא נתון לצנזורה. כך, למשל, המשתמשים בפיתוח שלה לא יכולים להביע ביקורת על המפלגה הקומוניסטית השלטת בסין. הצנזורה הזאת עלולה להיות בעיה עבור דיפסיק ולפגוע בפופולריות שלה בהמשך, במיוחד במדינות דמוקרטיות שחופש הביטוי חשוב להן מאוד.

דיפסיק בקצרה

אנחנו לא יודעים הרבה מאוד על דיפסיק. זאת חברה שיש סביבה לא מעט הילה של מסתוריות, והיא לא כוללת באתר שלה אף מידע עליה – חוץ מהמוצרים שלה, כמובן.

אז מה אנחנו כן יודעים על דיפסיק? ראשית, שהיא נוסדה במאי 2023 על ידי ליאנג וונפג, דמות בולטת הן בעולמות ה-AI והן בעולמות קרנות הגידור – כך שיש לו גם ניסיון טכנולוגי וגם ניסיון פיננסי רב. אין ספק שזה מקנה יתרון ניכר בהקמת סטארט-אפ שעוסק בעולמות הבינה המלאכותית. שנית, שהיא ממומנת אך ורק על ידי היי-פלייר, שאף היא נוסדה על ידי וונפג. גם זה מקנה לה יתרון, משום שהיא לא תלויה בכספים – ובדרישות, הלעתים סותרות – של משקיעים חיצוניים. ושלישית, שהיא מעדיפה עובדים עם יכולות טכנולוגיות מוכחות יותר מאשר כאלה שיש להם ותק וניסיון. כלומר, שסביבת העבודה שלה צעירה.

חשוב לציין שדיפסיק מתמקדת כעת בעולם המחקר והאקדמיה, ואין לה כוונה נראית לעין למסחר את המודלים שלה. אלא שכפי שניתן לראות, זה לא מפריע גם למשתמשים שאינם חוקרים לרצות להשתמש בהם, או לפחות להתנסות. הפופולריות של V3 בארצות הברית מגבירה את השיח בעמק הסיליקון האם המגבלות של הממשל האמריקני על היצוא לסין לא פוגעות במעמדה המוביל בתחום הבינה המלאכותית – שיח שגם כך קיים, עקב התרעומת שהן מעוררות בקרב החברות האמריקניות הגדולות שעוסקות בתחום, משום שהן חוסמות להן אפיק הכנסה חשוב מאוד.

המגבלות האלה יוצרות בעיות גם עבור דיפסיק, שכן אימון של מודלים כמו V3 מצריך שבבי AI מתקדמים וחזקים במיוחד, ואחת המטרות של ממשל ביידן בצווים שהוא הוציא הייתה להפסיק את הייצוא של שבבים כאלה לסין. אלא שדיפסיק פתרה את הבעיה והשתמשה בשבב מוקדם יותר – H800 של אנבידיה, שעוד מעט יחגוג יום הולדת שנתיים. לדבריה, היא הוציאה על האימון סכום קטן במיוחד, ממש מגוחך במונחי השוק – של 6.5 מיליון דולר. לשם השוואה, OpenAI הוציאה על אימון המודלים החדשים שלה מעל 100 מיליון דולר.

מה שעוד סייע לה בייעול העלויות ובהתגברות על המגבלות הוא העובדה שהחברה משתמשת בטכניקות "זיקוק" (Distillation), כדי להעביר את הידע והיכולות של מודלים גדולים למודלים קטנים יותר, וביעילות – וזה מביא הן ליכולות טובות יותר של הסקה ועיבוד שפה, והן להרחבת ההפצה של המודלים ליותר מכשירים ומשתמשים.

לסיכום, דיפסיק בהחלט "משבשת" את עולם ה-AI. היא מביאה איתה חדשנות, קוסט-אפקטיביות – היא מערערת על התפיסה שלפיה השקעה רבה יותר תביא לביצועים טובים יותר, ואף לשליטה בשוק – ורצון עז לנצח את המתחרות, אבל גם היבט גיאו-פוליטי ענק, כחלק מהיריבות בין ארצות הברית לסין – בשוק הזה ובכלל. עכשיו נותר לראות אם זה יהיה עוד סטארט-אפ שייפול כלעומת שצץ, או חברה שתעמוד לאורך זמן בשורה אחת, או אפילו מעל, החברות המובילות בתחום.