איך לעמוד בהוצאות העצומות של יישומי AI בעידן של אפליקציות ענק? 

ההתפתחות של יישומים מבוססי בינה מלאכותית (AI) צוברת תאוצה ברחבי העולם, ולא נראה שהמגמה תאט בקרוב. לפי נתוני של יבמ, יותר מ-40% מהחברות עם יותר מ-1,000 עובדים כבר משתמשות ב-AI בעסקיהן, ועוד 40% מתנסות בטכנולוגיה.

ככל שאימוץ ה-AI מתרחב, עם פלטפורמות כמו GPT-4o של OpenAI ו-ג'מיני של גוגל, שמציבות רף חדש של ביצועים, ארגונים מגלים יישומים חדשים לטכנולוגיות אלו, המאפשרים שיפור משמעותי בתוצאות העסקיות. עם זאת, ההטמעה של הטכנולוגיה בקנה מידה רחב מביאה איתה אתגרים חדשים. יותר ויותר תהליכי עבודה בארגונים משלבים קריאות למודלים אלו, מה שמגדיל משמעותית את השימוש בהם. אך האם הצרכים העסקיים באמת מצדיקים את ההוצאה ההולכת וגדלה על המודלים החדשים ביותר?

אימוץ AI משמעותו גם קבלת העלויות הכרוכות בשימוש במודלים אלו דווקא בתקופה שבה ארגונים רבים מנסים לצמצם עלויות. על רקע אי-הוודאות הכלכלית, העלייה בהוצאות התפעוליות והלחץ מצד בעלי העניין להציג החזר השקעה (ROI), עסקים מחפשים דרכים לייעל את התקציב ולמנוע הוצאות מיותרות. העלויות הגוברות של תשתיות AI עלולות ליצור מתח, שכן ארגונים רוצים להישאר תחרותיים ולנצל את כוחה של הבינה המלאכותית, אך במקביל עליהם למצוא איזון בין השקעות אלו לבין התנהלות פיננסית אחראית.

כדי להוסיף למורכבות, סוכני AI, שלפי חברת הייעוץ מקינזי נחשבים לדור הבא של AI יוצרת וצפויים להניע את גל היישומים הבא, עלולים להקפיץ משמעותית את השימוש במודלים הללו. זאת מכיוון שהם מסתמכים עליהם עבור שלבי התכנון והביצוע של בקשות המשתמש. בניגוד לקריאות API בודדות למודלים כמו אלו של OpenAI, ארכיטקטורות מבוססות סוכנים עשויות לבצע עשרות קריאות, מה שעלול להוביל לעלויות גבוהות מאוד. כיצד עסקים יכולים להתמודד עם העלייה בעלויות השימוש בנתונים, תוך כדי הפעלת יישומי AI הנחוצים להם?

"Semantic Caching היא טכניקה יעילה מאוד, שנועדה להפחית את עלויות חישובי ה-AI ולהגביר את מהירות ותגובתיות היישומים. מדובר בשמירה ושימוש חוזר בתוצאות חישוב קודמות על בסיס המשמעות הסמנטית שלהן"

הבנת עלות ה-AI בקנה מידה רחב

הפריסה המהירה של AI מובילה לעלייה בהוצאות במספר היבטים. ראשית, ארגונים משלמים על עלות חישובי AI Inference – זהו תהליך שבו מודל מאומן מבצע חיזוי או קבלת החלטות על בסיס נתונים שהוזנו אליו. לשם כך רוב הארגונים מסתמכים על APIs מספקים מובילים כמו OpenAI, אנתרופיק ראו ספקי ענן, כמו AWS וגוגל, ומשלמים לפי שימוש. לחלופין, חלק מהארגונים מעדיפים להפעיל את המודלים בעצמם ורוכשים או שוכרים יחידות עיבוד גרפיות (GPUs) כדי להפעיל מודלים בקוד פתוח כמו Llama של מטא

שנית, ארגונים רבים מעוניינים להתאים את מודלי ה-AI לצורכיהם הייחודיים על ידי תהליך של Fine-tuning, הכולל הכנת מערכי נתונים לאימון ושימוש במשאבי מחשוב – דבר שעלול להיות יקר מאוד.

לבסוף, ישנם ארגונים שירצו לבנות אפליקציות AI ייעודיות, מה שדורש רכיבים נוספים, כמו מסדי נתונים וקטוריים (Vector Databases). רכיבים אלו מסייעים לשלוף מידע רלוונטי ממקורות ידע קיימים ולשפר את הדיוק והרלוונטיות של תשובות המודל.

בחינה מעמיקה של הגורמים המרכזיים שמניעים את עלויות ה-AI, כמו חישובי inference, תהליכי אימון והתאמה אישית, ורכיבים נוספים כגון vector databases, יכולה לעזור לארגונים לצמצם את ההוצאות על AI ועם זאת לשפר את הביצועים של יישומי ה-AI שלהם.

ייעול עלויות באמצעות Semantic Caching

Semantic Caching היא טכניקה יעילה מאוד, שנועדה להפחית את עלויות חישובי ה-AI ולהגביר את מהירות ותגובתיות היישומים. מדובר בשמירה ושימוש חוזר בתוצאות חישוב קודמות על בסיס המשמעות הסמנטית שלהן.

במילים אחרות, במקום לבצע חישוב AI חדש לכל שאילתה, ה-Semantic Caching יכול לבדוק אם נשאלה שאילתה בעלת משמעות דומה בעבר ולהשתמש בתשובה קיימת – ובכך לחסוך עלויות. גישה זו מסייעת בהפחתת חישובים מיותרים ומשפרת את היעילות ביישומים כמו חיפוש או חישובי AI.

מחקרים מראים, כי עד 31% מהשאילתות ליישומי AI חוזרות על עצמן. כל קריאה מיותרת למודל AI מוסיפה עלויות שניתן להימנע מהן על-ידי שימוש ב-Semantic Caching שיכול  לצמצם את כמות הקריאות הללו ב-30% עד 80%. שיטה זו חיונית לפיתוח יישומי AI יוצרת וצ'אטבוטים בקנה מידה רחב עם ביצועים מיטביים. נוסף על הפחתת העלויות, השימוש ב-Semantic Caching גם מאיץ את זמני התגובה, ומאפשר לארגונים להשיג יותר עם פחות השקעה.

איזון בין ביצועים לעלויות

כדי להשתמש ביישומי AI מתקדמים מבלי להיקלע לעלויות תשתית בלתי ניתנות לשליטה, ארגונים צריכים לייעל את השימוש בטכנולוגיות AI והתשתיות שמשרתות אותן. טכניקות כמו Semantic Caching יכולות לשחק תפקיד מרכזי בכך.

עבור חברות המתמודדות עם אתגרי ההתרחבות של יישומי AI בצורה יעילה וחסכונית, ניהול נכון של העלויות הללו יהפוך לגורם בידול מרכזי אל מול המתחרות. המפתח להצלחה טמון באסטרטגיית חישוב ה-AI שלהן. ככל שמערכות של AI יוצרת הופכות למורכבות יותר, כל קריאה למודל שפה גדול (LLM) צריכה להיות אופטימלית ככל האפשר.

באמצעות יישום אסטרטגיות חכמות לניהול העלויות, לקוחות יוכלו לקבל את המידע שהם צריכים במהירות רבה יותר, ועסקים יוכלו לצמצם את ההוצאות שלהם – מבלי לוותר על הביצועים, התוצאות וחווית המשתמש שהן נותנות.

הכותב הוא סמנכ"ל בכיר להנדסת תוכנה ברדיס.