לאמה? ככה!: מטא השיקה את סדרת מודלי ה-AI בקוד פתוח Llama 4

מטא עשתה אתמול (א') עוד צעד משמעותי קדימה בתכניות הבינה המלאכותית שלה, עם השקת סדרת מודלי ה-Llama 4 AI החדשים. המודלים, כך לפי הדיווחים ועל פי המפרט שהציגה מטא בהודעתה על ההשקה, הדגימו בבדיקות Benchmarks ביצועים טובים יותר כמעט בכל ההיבטים בהשוואה למתחרים.

כחלק מההשקה, הכריזה מטא למעשה על ארבעה מודלים חדשים, הכוללים אימון סיסטמתי והסקת פרמטרים גדולים בהרבה ממודלי Llama קודמים. ארבעת מודלי Llama החדשים הם Llama 4 Scout, Llama 4 Maverick, Llama 4 Behemoth ו-Llama 4 Reasoning.

 

View this post on Instagram

 

A post shared by Mark Zuckerberg (@zuck)

המודלים שהושקו – בעלי עוצמות שונות לטעמים שונים

Llama 4 Scout הוא מודל קטן ומהיר במיוחד, עם 17 מיליארד פרמטרים ו-16 "מומחים"  (experts), המאפשר למערכת לייעל את תגובותיה בהתאם לאופי כל שאילתה, והוא נועד לפעול על כרטיס גרפי יחיד.

נסביר כי מטא משתמשת במונח "מומחים" כדי לתאר רכיב מרכזי בארכיטקטורת הבינה המלאכותית החדשה של מודלי Llama 4, המכונה "תערובת מומחים" (Mixture-of-Experts – MoE). במקום להשתמש בכל הפרמטרים של המודל עבור כל שאילתה, ארכיטקטורת MoE מחלקת את הפרמטרים של המודל לרשתות קטנות יותר של "מומחים", המתמחות במגוון מיומנויות.

מודל Scout מסוגל לעבד עד 10 מיליון "טוקנים" – הוא המונח בתעשיית הבינה המלאכותית המתייחס למקטעי מילים או נתונים.

מודל Llama 4 Maverick כולל גם הוא 17 מיליארד פרמטרים, אך משלב 128 "מומחים", מה שאומר שרק חלק קטן מסך הפרמטרים מופעל עבור כל שאילתה, דבר המשפר את יעילות המודל על ידי הפחתת עלויות התפעול והשהיה, ומאפשר למפתחים לקבל תוצאות דומות עם פחות משאבי מחשוב. 

המודל השלישי, Llama 4 Behemoth שמו, הוא כבר לא סתם למה אלא למה שהיא היפופוטם. מודל זה כולל יותר מ-2 טריליון פרמטרים בסך הכל, עם 288 מיליארד פרמטרים פעילים, מה שהופך אותו למערכת הגדולה ביותר הזמינה כיום ונותן לו פוטנציאל רב יותר להבין ולהגיב לשאילתות עם למידה והסקה מתקדמות. בנוסף, מודל Behemoth משמש כמודל "מורה" לאימון המודלים הקטנים יותר. מטא גם פיתחה טכניקת אימון חדשה בשם MetaP, המאפשרת להעביר היפר-פרמטרים ממודלים קטנים לגדולים, ובכך לייעל את תהליך האימון.

ולקינוח הושק גם Llama 4 Reasoning – מודל רביעי שעליו מטא טרם שיתפה מידע רב.

כל אחד מהמודלים הללו משרת מטרה אחרת ומטא מציעה אפשרויות שונות שניתן להריץ עם מערכות חזקות פחות או יותר. מערכות אלה בנויות על טווח של "פרמטרים" שנקבעו על ידי צוות הפיתוח של ענקית הטק, כדי לשפר את ההיגיון הסיסטמתי.

הפרמטרים של Llama 4 הם יותר מכפליים מהיקף המודלים הקודמים של מטא. "המומחים" של מטא ב-Llama 4 הם מרכיב חדש –  ומהווים, כאמור, בקרות סיסטמתיות המגדירות אילו מהפרמטרים יש ליישם, ואילו לא, עבור כל שאילתה, דבר המקטין את זמן החישוב, תוך שמירה על דיוק, ומבטיח שפרויקטים חיצוניים המשתמשים במודלי Llama של מטא יוכלו להריץ אותם על מערכות עם מפרט נמוך יותר.

בנוסף, מטא משקיעה משאבים עצומים במחשוב AI, עם כ-350,000 שבבי Nvidia H100 ועוד רבים נוספים, מה שמציב אותה בעמדת יתרון משמעותית.

Introducing our first set of Llama 4 models!

We’ve been hard at work doing a complete re-design of the Llama series. I’m so excited to share it with the world today and mark another major milestone for the Llama herd as we release the *first* open source models in the Llama 4… pic.twitter.com/gmXgDw09qN

— Ahmad Al-Dahle (@Ahmad_Al_Dahle) April 5, 2025

צוקרברג משוכנע: AI בקוד פתוח היא העתיד

חשוב לציין כי מטא בוחרת להפוך את כל המודלים הללו למודלים בקוד פתוח לשימוש בפרויקטי AI חיצוניים. החברה סבורה כי גישה זו של קוד פתוח היא אידיאלית עבור מודלי GenAI מכמה סיבות ובעיקר משום שגישה זו מעודדת חדשנות, בכך שהיא מאפשרת למפתחים רבים לבנות חוויות מותאמות אישית יותר.

לדברי מייסד ומנכ"ל מטא, מארק צוקרברג: "המטרה שלנו היא לבנות את הבינה המלאכותית המובילה בעולם, להפוך אותה לקוד פתוח ולהפוך אותה לנגישה אוניברסלית, כדי שכולם בעולם ירוויחו".

הוא הוסיף: "אני אומר כבר זמן מה שאני חושב שבינה מלאכותית בקוד פתוח תהפוך למודלים המובילים, ועם Llama 4 זה מתחיל לקרות. Meta AI מקבלת שדרוג גדול היום".

שיתוף הקוד אמור לאפשר התפתחות מהירה יותר של טכנולוגיות AI ויישומן בתחומים רבים. המצב הזה יכול להפוך את מטא לבסיס מרכזי לפרויקטי AI רבים, ולהגביר את התלות בה ובעדכוני Llama המתמשכים שלה. מעניין לגלות כי חברות כמו לינקדאין (LinkedIn) ופינטרסט (Pinterest) כבר משלבות את מודלי Llama של מטא במערכותיהן.

הטכנולוגיה הפתוחה גם מאפשרת פיתוח מותאם אישית, על ידי כך שמפתחים יכולים לבנות מודלי AI ייעודיים למטרות שונות על בסיס Llama 4.

Alright guys, hear me out

I was skeptical about Llama 4 coding skills… until I started comparing it to other models, including the earlier version of GPT-4o

This thing is free, open source, and honestly pretty close to GPT-4o (pre-update), wild if you think about it pic.twitter.com/yuMZjn4Nkp

— Flavio Adamo (@flavioAd) April 6, 2025

ביצועים טובים יותר שגם המשתמש הפשוט יבחין בהם

עבור משתמשים רגילים, החלק הרלוונטי ביותר בעדכון החדש הוא הביצועים המשופרים של הצ'טבוט ומודלי יצירת התוכן של מטא עצמה. מטא משלבת את מודלי Llama 4 בצ'טבוט המובנה באפליקציות שלה, פייסבוק, ווטסאפ, אינסטגרם, מסנג'ר, ואחרות. בנוסף, המערכת המשודרגת תשולב גם במודלים למיקוד מודעות, במערכות ליצירת מודעות ובמודלים אלגוריתמיים, מה שאומר שכל היבט באפליקציות של מטא שמשתמש ב-AI יהפוך לחכם יותר, לפחות בתיאוריה.

יצוין כי מטא טוענת כי השקיעה מאמצים רבים גם בהפחתת הטיה במודלים שלה, ולפי הדיווחים אכן Llama 4 מראה שיפור משמעותי בהשוואה לדורות קודמים.

בסופו של דבר, השקת Llama 4 והצעת הסדרה בקוד פתוח מהווה שדרוג משמעותי, שעשוי למצב את מטא בחזית פיתוח הבינה המלאכותית, ובמקביל לאפשר למפתחים חיצוניים לנצל את מודלי Llama כבסיס לפרויקטים רבים. מטא רואה בגישה זו דרך לקדם את תחום ה-AI כולו, ולאפשר חדשנות רחבה יותר.

ניתן להוריד את מודלי Llama 4 Scout ו-Llama 4 Maverick כבר היום מאתר llama.com ומ-Hugging Face.