ארון השרתים של אנבידיה שמזרז זמני תגובה של סוכני AI נכנס לייצור סדרתי

אנבידיה הכריזה היום (ב') בכנס Hot Chips על כניסה לייצור סדרתי של Groq 3 LPX. מדובר בארון שרתים חדש, ייעודי להרצה של עומסי עבודה של סוכני AI שזקוקים לזמני תגובה קצרים במיוחד של האסימונים הדרושים לעבודתם.

Groq 3 LPX מהווה הרחבה של פלטפורמת ה-Vera Rubin המעודכנת של אנבידיה, שאמורה להאיץ את פעילות ההיסק של המערכות המשתמשות בה. כאמור, מדובר בעיקר במערכות סוכני AI, שעבורן קצב העבודה קריטי במיוחד כדי לתפעל משימות מורכבות בזמן אמת.

מערכות Vera Rubin NVL72 הן אלה שבהן מבצעים אימון של מודלים חדשים, ובמקביל הן משמשות לפעילות ההסיק השוטפת. על פי אנבידיה, המערכות שמבוססות על הארונות של Groq 3 LPX יעזרו להן להגדיל באופן משמעותי במיוחד את כמות האסימונים שהן יוצרות כדי לעמוד בדרישות של מערכות הסוכנים המודרניות. זאת, במיוחד עבור חברות שמספקות שירותי AI עבור לקוחות הקצה שלהן.

"ייצור אסימונים באופן מהיר במיוחד"

"היסק היא מנוע הצמיחה של ה-AI", אמר ג'נסן הואנג, מנכ"ל אנבידיה. "Grace Blackwell ו-NVL72 חוללו מהפכה בפעילות ההיסק של מודלי השפה הגדולים, עם זינוק חסר תקדים בביצועים וביעילות. Vera Rubin מרחיבה את מימוש החזון הזה עם תצורות של מפעלי AI, שמותאמות לעומסי עבודה שונים ומיועדות לעידן ה-AI הסוכנית. עכשיו אנחנו מותחים את גבולות הביצועים שלה בעזרת LPX, כדי לייצר אסימונים באופן מהיר במיוחד".

אנבידיה ציינה שבבדיקה לפי מדד הביצועים Artificial Analysis, בהרצה של המודל Gemma 4 31B (מודל קוד פתוח ייעודי לבדיקה של הרצת סוכני בינה מלאכותית), סיפקה המערכת Groq 3 LPX 3,400 אסימונים בשנייה עם חלון הקשר של 100 אלף אסימונים. לדבריה, זוהי התוצאה הטובה ביותר שהושגה בהרצת בדיקות עם המודל הזה. כן טוענת החברה שהמודל מספק תגובתיות מהירה עד פי ארבעה עבור סוכנים ועומסי עבודה שרגישים לזמן שיהוי, בהשוואה לפלטפורמה החלופית המהירה ביותר.

שיתופי פעולה עם נביוס ו-SpaceXAI

אנבידיה מסרה כי שתי חברות כבר הודיעו שיאמצו את המערכת החדשה Groq 3 LPX. היא חשפה את זהותה של אחת מהן – נביוס, מהחברות המוכרות בתחום של אספקת שירותי ענן ייעודיים לבינה מלאכותית. זו תשלב את המערכת החדשה ב-Nebius Token Factory – פלטפורמת היסק לייצור, שמיועדת למפתחים שזקוקים ליצרית אסימונים מהירה ותגובתית במיוחד לטובת יישומי AI סוכנית.

במהלך הכנס הכריזה אנבידיה על שיתוף פעולה נרחב גם עם SpaceXAI, לפריסה של מעבדי Vera בקנה מידה גדול במיוחד, לטובת האצת יישומי ה-AI הסוכנית שלה.

Vera הוא מעבד שכולל 88 ליבות Olympus – טכנולוגיית עבודה בריבוי נימים מתקדמת במיוחד וזיכרון LPDDR5X שמספק רוחב פס של עד 1.2 טרה-בייט/לשנייה. לפי אנבידיה, המעבד מאפשר השלמת משימות מהירה עד פי 1.8 בהשוואה למעבדי x86 של אינטל בעומסי עבודה של AI סוכנית, וגם עיבוד נתונים.

התשתית המבוססת על מעבדים אלה, Vera Rubin NVL72, אמורה להשתלב בפלטפורמת הלוויין Starmind של SpaceXAI, ושתי החברות עובדות בשיתוף פעולה כדי לבצע את ההתאמות הנדרשות לדרישות המחשוב במסלול מחוץ לכדור הארץ.

לדברי איאן באק, סגן נשיא להייפרסקייל ומחשוב עתיר ביצועים באנבידיה, "ה-AI הסוכנית דורשת סוג חדש של מערכת מחשוב – כזו שנבנתה לא רק כדי לייצר תשובות, אלא כדי לפעול. Vera מעניק לסוכני בינה מלאכותית את ביצועי העיבוד הדרושים כדי לפעול בזמן אמת – להריץ קוד, לעבד נתונים ולתאם משימות מורכבות. SpaceXAI לוקחת את הארכיטקטורה הזו ממפעלי AI עצומים אל עידן המחשוב הבא בחלל".

"Vera מעניק לנו את ביצועי העיבוד ואת רוחב פס לזיכרון הדרושים להרצת כמויות עצומות של התאמה, קוד ועיבוד נתונים, בעוד המעבדים הגרפיים ממשיכים לעשות את מה שהם עושים הכי טוב. התוצאה היא סוכני AI שמספקים ביצועים גבוהים יותר, ויותר עבודה מועילה מכל וואט של מחשוב", אמר מייק ניקולס, נשיא SpaceXAI.