מרוב דיבורים על GPU ו-AI נשכח הרכיב הכי חשוב

כשמדברים על ביצועי AI, תשומת הלב מופנית בדרך כלל לרכיבים הבולטים ביותר במערכת: המאיצים, מספר המעבדים הגרפיים, גודל הקלאסטר או מספר הפרמטרים במודל. אלה כמובן מרכיבים חשובים, אבל הם לא פועלים לבדם. גם המעבדים והמאיצים החזקים ביותר אינם יכולים לבצע חישובים בלי לקבל את הנתונים שעליהם הם אמורים לעבוד. במהלך הרצת מודל AI, המערכת מעבירה כמויות גדולות של מידע, לרבות נתוני הקלט, הפרמטרים של המודל ותוצאות ביניים – בין הזיכרון, המעבד ורכיבים נוספים במערכת. ככל שהמודלים גדלים וככל שיותר יחידות חישוב פועלות במקביל כך גובר, בדרך כלל, העומס על מערכת הזיכרון ועל נתיבי העברת הנתונים.

לכן, צוואר הבקבוק במערכת בינה מלאכותית לא תמיד נובע ממחסור בכוח חישוב. לעיתים הבעיה היא שהמערכת לא מצליחה להעביר את הנתונים לרכיבי החישוב במהירות מספקת. כדי להעריך את ביצועיה האמיתיים, לא מספיק לבדוק כמה מהר היא יכולה לבצע חישובים. צריך לבחון גם עד כמה היא מסוגלת להביא לכל רכיב את המידע הדרוש לו, בזמן ובקצב המתאימים.

הזיכרון הופך לשיקול אסטרטגי

מעבדי ה-CPU, המשמשים כמעבדים מארחים במערכות AI, נדרשים כיום לתמוך במודלים גדולים יותר, בתצורות צפופות יותר של מעבדים גרפיים ובתהליכים שצורכים כמויות גדולות של נתונים. לצד החישובים שהם מבצעים בעצמם, המעבדים המארחים מסייעים להכין ולנהל את הנתונים, להפעיל חלקים מעומס העבודה שאינם מבוצעים במאיצים ולתאם בין רכיבי המערכת.

אחד המדדים המרכזיים בהקשר הזה הוא רוחב הפס של הזיכרון. במילים פשוטות, הוא מתאר את כמות הנתונים שאפשר להעביר בין זיכרון המערכת למעבד בפרק זמן נתון. ככל שרוחב הפס גדול יותר, המערכת יכולה להעביר יותר נתונים באותו פרק זמן, ולצמצם מצבים שבהם המעבד ממתין למידע הדרוש לו.

עם זאת, רוחב הפס הוא לא המדד היחיד שמשפיע על ביצועי הזיכרון. חשוב להביא בחשבון גם את זמן ההשהיה – כלומר, הזמן שחולף מהרגע שבו המעבד מבקש נתון ועד שהנתון מתחיל להגיע אליו. רוחב פס גבוה מאפשר להעביר כמות גדולה יותר של מידע, ואילו זמן השהיה נמוך מקצר את ההמתנה לתחילת קבלתו. השילוב בין השניים מסייע למערכת לספק לרכיבי החישוב את הנתונים הדרושים להם ביעילות רבה יותר.

מהירות הזיכרון חשובה, אך היא לא השיקול היחיד בתכנון תשתיות. גם זמינותם של מודולי הזיכרון ומוכנותה של הסביבה הטכנולוגית משפיעות על לוחות הזמנים של פרויקטים ועל היכולת לפרוס מערכת בקנה המידה הנדרש

מ-6,400 ל-8,000 מיליוני העברות לשנייה

את המשמעות המעשית של השיפור הזה אפשר לראות במעבר המתוכנן מזיכרון RDIMM בקצב של 6,400MT/s לזיכרון בקצב של 8,000MT/s בפלטפורמת Intel Xeon 6. בדגמים נבחרים, מעבדי Xeon 6700P מתוכננים לתמוך ב-RDIMM בקצב של 8,000MT/s ובתצורת DPC-1 – כלומר, מודול זיכרון אחד בכל ערוץ זיכרון.

RDIMM הוא סוג של זיכרון המיועד בעיקר לשרתים ולמערכות ארגוניות. האות R היא קיצור של Registered, והיא מתייחסת לרכיב המתווך בין בקר הזיכרון לשבבי הזיכרון. מבנה זה מפחית את העומס החשמלי על בקר הזיכרון ומסייע למערכות שרת לתמוך באופן אמין בקיבולות זיכרון גדולות.

MT/s הוא קיצור של Mega Transfers per Second – כלומר, מיליוני העברות בשנייה. לכן, 8,000MT/s מייצגים קצב נקוב של 8,000 מיליון העברות נתונים בשנייה. הנתון מתאר את מספר פעולות העברת הנתונים שהזיכרון יכול לבצע, ולא את מספר הבתים המועברים או את השיפור הכולל בביצועי השרת.

המעבר מ־6,400 ל-8,000MT/s מייצג עלייה של 25% בקצב ההעברות הנקוב של הזיכרון. עם זאת, אין פירוש הדבר שכל יישום או מערכת יהיו מהירים ב-25%. הביצועים בפועל תלויים גם במעבד, בתוכנה, בתצורת המערכת, במבנה הנתונים ובמידת התלות של עומס העבודה בגישה לזיכרון.

לצד העלייה בקצב ההעברות, בתצורה שנבדקה אינטל מדדה גם זמן השהיה נמוך ב-6% בהשוואה ל־RDIMM בקצב של 6,400MT/s.
עבור מנהלי תשתיות, המסקנה המעשית היא שאין די בהשוואת מספר הליבות, מספר המאיצים או נתוני הביצועים המרביים של כל רכיב בנפרד. צריך לבחון את המערכת כמכלול ולבדוק אם הזיכרון, המעבד, המאיצים, האחסון והרשת מותאמים זה לזה.

השלב הבא: עד 8,800MT/s

המעבר ל-8,000MT/s אינו סוף הדרך. ברבעון הראשון של 2027 מתכננת אינטל לאפשר תמיכה ב-MRDIMM מדור שני בקצב של עד 8,800MT/s במעבדי Xeon 6,900P.

MRDIMM היא טכנולוגיית זיכרון לשרתים, שנועדה לספק קצב העברת נתונים גבוה יותר מ-RDIMM רגיל: היא משלבת נתונים ממספר מקורות בתוך המודול ומעבירה אותם אל בקר הזיכרון בקצב גבוה יותר. הטכנולוגיה מיועדת בעיקר לפלטפורמות עתירות ליבות ולעומסי עבודה שבהם נדרש רוחב פס גבוה במיוחד. באופן זה, ארגונים יוכלו להגדיל את רוחב הפס של הזיכרון במקביל להגדלת צפיפות החישוב – צורך המשותף למערכות AI, לפלטפורמות אנליטיקה, למחשוב עתיר ביצועים ולעומסי עבודה תובעניים נוספים.

ביצועים הם רק חלק מההחלטה

מהירות הזיכרון חשובה, אך היא לא השיקול היחיד בתכנון תשתיות. גם זמינותם של מודולי הזיכרון ומוכנותה של הסביבה הטכנולוגית משפיעות על לוחות הזמנים של פרויקטים ועל היכולת לפרוס מערכת בקנה המידה הנדרש. ארגונים צריכים לוודא שהמודולים המתאימים יהיו זמינים, שיצרני השרתים יתמכו בהם, ושהתוכנה והקושחה יאפשרו להשתמש בהם באופן אמין – לצד שיקולי העלות, קיבולת הזיכרון הנדרשת ורציפות האספקה.

כאן נכנסת לתמונה הגמישות. תמיכה רחבה יותר בטכנולוגיות זיכרון ובמהירויות שונות מאפשרת לארגונים למצוא את האיזון המתאים בין ביצועים, קיבולת, עלות וזמינות, בהתאם לצורכי כל עומס עבודה. לא בכל מערכת נדרש הזיכרון המהיר ביותר: יישום שאינו רגיש במיוחד לרוחב הפס עשוי להפיק תועלת רבה יותר מתוספת קיבולת, ואילו יישום עתיר נתונים עשוי להרוויח דווקא מקצב העברה גבוה יותר. השאלה המעשית היא לא מהו הזיכרון המהיר ביותר, אלא איזו תצורה מתאימה בצורה הטובה ביותר לעומס העבודה.

הכותב הינו עמית בכיר (Intel Fellow) בקבוצת הדאטה סנטר של אינטל.