הרצה בלתי מוגבלת של LLMs: אימפלה גייסה 11 מיליון דולר

הסטארט-אפ אימפלה (Impala AI) הודיע היום (ד') על גיוס סיד בהיקף של 11 מיליון דולר, בהובלת הקרנות ויולה ו-NFX. החברה פיתחה שכבת תשתית חדשה להרצת מודלי שפה גדולים (LLM inference), שנועדה לאפשר לארגונים להריץ בינה מלאכותית בהיקף בלתי מוגבל, תוך הורדה דרמטית של העלויות ושמירה על הגמישות והשליטה.

אימפלה נוסדה מוקדם יותר השנה על ידי נועם זלינגר, לשעבר מנהל בכיר בגרנולייט, שמשמש כמנכ"ל החברה, ובועז טויטו, בוגר 8200, שמשמש כסמנכ"ל הטכנולוגיות. כמה חודשים בלבד לאחר הקמתה, אימפלה כבר עובדת עם חברות פורצ'ן 500, ומתכננת להתרחב גלובלית עם השלמת סבב הגיוס הנוכחי. ההשקעה תשמש את החברה להרחבת הצוות, העמקת יכולות המוצר והאצת הפריסה בשוק.

על פי אנשי אימפלה, הפלטפורמה נטולת השרתים של החברה מטפלת באתגרי ניהול כושר ה-GPU, מבלי להתפשר על שליטה ארגונית. הם יודעים לספר על חיסכון של עד פי 13 בעלות לכל טוקן, בהשוואה לפלטפורמות ההרצות הזמינות כיום. הפלטפורמה מנוהלת באופן מלא, והיא מרובת עננים ורב אזורית. המערכת נפרסת ישירות בענן הפרטי (VPC) של הלקוח ומאפשרת לו שליטה מלאה בנתונים, בעלויות ובבחירת הענן.

התעשייה עוברת יותר ויותר מאימון להרצת מודלי AI

הביקוש לתשתיות בינה מלאכותית, שגדל בקצב מהיר ושעולה על ההיצע, מביא לכך שארגונים מתמודדים עם אתגרים גוברים בהרצת עומסי עבודה של הרצות בקנה מידה גדול בצורה יעילה. התעשייה עוברת יותר ויותר מאימון להרצת מודלי AI, וזו הופכת לאתגר תקציבי ותפעולי בולט. לפי חברת המחקר ריסרץ' אנד מרקטס, שוק ההרצות צפוי להגיע השנה ל-106 מיליארד דולר ולצמוח עד 2030 ל-255 מיליארד. חברת המחקר קנליס ציינה באחרונה שבניגוד לאימון, שהוא השקעה חד פעמית, להרצות יש עלות תפעול חוזרת – מה שהופך אותן למגבלה בדרך למסחור ה-AI.

באימפלה מציינים כי החברה מנצלת את הביקוש ההולך וגובר ליחידות עיבוד גרפיות על ידי פתיחת יכולות ניצול שהינן מעבר לסטנדרט המקובל, ומביאה לשבירת צווארי הבקבוק של ההיצע. "בעולם שבו מודלים בקוד פתוח הופכים לסטנדרט דה פקטו בשימוש הארגוני, אימפלה מספקת את השכבה החסרה של הרצת Inference במקום שבו הנתונים נמצאים, עם השליטה והיעילות שארגונים גלובליים דורשים, ללא פשרות באמינות ובגמישות, וכל זאת באמצעות מנוע הרצה ייחודי", מוסיפים בחברה.

זלינגר אמר כי "אנחנו בפתחו של עידן חדש ב-AI, שבו ההרצה תהפוך למנוע הדומיננטי. אימפלה לא בונה עוד פלטפורמה, אלא את התשתית שתפעיל את הבינה המלאכותית. המשימה שלנו היא לאפשר לכל צוות בחברה למצות את מלוא הפוטנציאל של המודלים שלו באופן חכם, יעיל וחסכוני יותר מאי פעם, ולהפוך את ההרצות לבלתי נראות. כאשר צוות מחבר את הפלטפורמה שלנו לענן שלו, הוא לא צריך לחשוב על הקצאות, סקיילינג או אופטימיזציה של יחידות עיבוד גרפיות. אנחנו מטפלים בכל זה מאחורי הקלעים, כך שאנשי הצוות יכולים להתמקד לחלוטין בבניית מוצרי AI".