יבמ, גוגל ו-רד האט מציגות פלטפורמת AI חדשנית – חכמה, גמישה וחוסכת בטוקנים
מאת: ויטה בורטניקוב, IBM Fellow ומנהלת בכירה לחקר פלטפורמות AI במעבדת המחקר של יבמ בישראל
ניהול תקציבי פיתוח או תשתיות בארגון חושף אמת כואבת: לשימוש קבוע במודלי קצה (Frontier Models) החזקים והיקרים ביותר אין היתכנות כלכלית. חברות כבר הבינו שלא לכל משימה דרוש מודל של מאות מיליארדי פרמטרים, והן החלו להשתמש בסוכני AI שמריצים מודלים קטנים וממוקדים יותר (SLMs), ואף להטיל מגבלות על שימוש בטוקנים.
אלא שבנקודה הזו מתחילה בעיה חדשה של ארכיטקטורה מורכבת: איך מנהלים רשת מבוזרת של מודלים שונים, חלקם בענן וחלקם על התשתית המקומית?
טכנולוגיה חדשה שנולדה, בין היתר, במעבדת המחקר של יבמ (IBM) בחיפה, ועלתה כפרויקט קוד פתוח משותף של גוגל (Google), יבמ ו-רד האט (Red Hat) מנסה לתת פתרון לבעיה. llm-d היא פלטפורמה ששואפת לאפשר לכל חברה להריץ מודלים בסטנדרט פתוח, יעיל וזול, בענן או על התשתית המקומית, עם תוצאות מעולות ובלי לטבוע בעלויות גבוהות.
הפתרון שמציעה פלטפורמת llm-d
ניהול ארכיטקטורת מיקרו-שירותים (Microservices) קלאסית היא פרקטיקה שכיחה ומוכרת: בקשות נכנסות, מעובדות במילי-שניות, והשרת מתפנה לבקשה הבאה. בעידן ה-LLMs, כל חוקי המשחק משתנים: הבקשות מגיעות בגדלים משתנים, ויצירת טקסט היא פעולה שצורכת זמן ומשאבי מחשוב יקרים. כתוצאה מכך, ניהול יעיל של מאיצי GPU מסוגים שונים על אותה תשתית הופך למשימה מורכבת. ניסיון להתמודד עם המורכבות הזו בתוך התשתית הארגונית הוא משימה קשה, בעיקר משום שאין יכולת להרחיב את משאבי המחשוב הזמינים "בלחיצת כפתור", והאופטימיזציה של תהליכי העבודה הופכת קריטית לקיום הפרויקט.
כדי לפתור את האתגר הזה ולתת לארגונים יכולת להריץ מודלים עצמאית (Self-hosted) בצורה יעילה ובלי עלויות מנופחות, נוצר הפתרון של פלטפורמת llm-d.
לפלטפורמה כמה מרכיבים עיקריים:
המרכיב הראשון הוא הנתב החכם, ה-inference router של llm-d, שיודע לנתב את הבקשה לשרת הנכון שבו השירות יהיה הכי יעיל. בין השאר יודע הנתב להחליט, האם כדאי לחלק את הבקשה לשלבים – ל-Prefill, שהוא שלב של עיבוד הקלט של המשתמש, ו-Decode, שהוא שלב של ג'נרוט הטוקנים. מכיוון ששני השלבים הללו צורכים משאבי GPU בצורה שונה לחלוטין (אחד זקוק להרבה זיכרון והשני להרבה כוח חישוב), הנתב יודע לשלוח כל משימה לשרת המתאים והפנוי ברשת באותו רגע. התוצאה היא ניצול מקסימלי של משאבי ה-GPUs הארגוניים היקרים וקיצור דרמטי בזמני התגובה (Latency).
המרכיב השני הוא מנהל הזיכרון. אחד האתגרים הגדולים בריצת מודלים הוא ה-KV Cache – זיכרון המטמון ששומר את ההקשר של השיחה ולא מחשב הכל מחדש בכל הוספת קלט. ב-llm-d מופעלת ארכיטקטורה שמנהלת ומשתפת את ה-KV Cache בצורה חכמה בין בקשות שונות. למשימות שחוזרות על עצמן, או הנחיות מערכת זהות (System Prompts), הארכיטקטורה החדשה חוסכת את חישובי הביניים ומפחיתה משמעותית את רוחב הפס ודרישות הזיכרון מה-GPUs. היא גם מפנה את ה-GPUs לחישובים אחרים, כך שהתוצאה מתקבלת יותר מהר ובפחות משאבים.
המודלים הפרטיים בארגון (בענן הפרטי), שהם מקומיים ומאובטחים, מטפלים בבקשות המכילות מידע עסקי רגיש. מודלי הקצה שמחוץ לארגון מטפלים רק במשימות מורכבות במיוחד, הדורשות יכולות הסקה (Reasoning) קיצוניות, או עיבוד של קלט מורכב שלא קשור למידע רגיש. כך, המידע הרגיש נשמר בתוך הארגון, נפח העבודה ה"רגיל" מנוהל בעלויות נמוכות וביעילות מרבית על החומרה הפנימית והשימוש במודלי קצה הוא רק עבור משימות ספציפיות שמצדיקות את המחיר.
שיתוף הפעולה בין יבמ, גוגל ו-רד האט מאפשר לארגונים להריץ יכולות inferencing לבדם – באופן הגמיש ביותר – מהלך שצפוי לחסוך להם עלויות משמעותיות בניהול פעילות ה-AI שלהם.
