איך לצרוך AI באופן נכון כלכלית?

"באחד הארגונים, סוכן הבינה המלאכותית היה מאוד חרוץ. המנהל האנושי שלו הנחה אותו להכין עבורו מצגת בסוף השבוע. הוא אמנם עבד הרבה במילוי המשימה שהוטלה עליו, אבל גם עשה שימוש רב, ומיותר בחלקו – באסימונים (טוקנים). זה הביא לכך שהחשבון בסוף החודש שיקף עלויות מוגזמות ויקרות", כך אמר תמיר חסון, מנהל גריד דיינמיקס ישראל.

חסון דיבר במפגש של הפורומים C3 ו-CSC מבית אנשים ומחשבים, שנערך לפני ימים אחדים במשרדי דלויט ישראל בתל אביב. את המפגש הנחה רונן זרצקי, יו"ר פורום C3 ומנכ"ל BSD-IT, ופתח אותו פלי הנמר, יזם ונשיא אנשים ומחשבים. נושאו היה Three Voices, One Strategy (שלושה קולות, אסטרטגיה אחת), והוא עסק בדרכים לבניית אסטרטגיית IT אחת בעידן שבו AI, סייבר, חדשנות ועסקים חייבים לפעול יחד.

נושא הרצאתו של חסון היה "אסימוני הצללים – איך להשתלט על Shadow Tokenmaxxing". המונח טוקנמקסינג מתאר תופעה שבה עובדי טק צורכים, לעתים בכוונה, טוקנים רבים של בינה מלאכותית במהלך עבודתם – מה שמכביד על הוצאות הארגון (ניתן לקרוא על כך בהרחבה כאן). לדבריו, "ישנם לא מעט מקרים שבהם השימוש המופרז בטוקנים מביא לעלויות של אלפי ועשרות דולרים בחודש, ולעתים לסכומים גבוהים עוד יותר".

חסון ציטט מחקרים מהעולם, שלפיהם 56% מהמנמ"רים.ות בארגונים בודקים.ות את עלויות ה-IT בכלל, ואת עלויות השימוש ב-AI בפרט, רק בדיעבד. "נתון חמור יותר הוא ש-10% מהם.ן לא בודקים בכלל את העלויות של השימוש בזמן אמת ב-IT", הוסיף.

עבודה עם מודל זול היא לא בהכרח יקרה

"יש חשיבה שגויה בחלק מהשוק ש-'לעבוד עם מודל זול – זה יקר'. התוצאה של זה היא שפעמים רבות, אותם ארגונים עובדים רק עם מודלים מתקדמים – וזו טעות. ארגז הכלים של המנמ"ר.ית בעידן ה-AI צריך לכלול יכולת לניתוב דינמי: עבור שאלות פשוטות נדרש מודל פשוט, ואילו עבור שאלות מורכבות נדרש מודל מורכב. אין צורך במודל יקר לשאלות פשוטות – ולהפך", אמר חסון.

המלצה נוספת שלו היא להגביל – תמיד – את השימוש במשאב. "רק 69% מהמנמ"רים.ות עושים זאת", ציין. "אין סיבה להשתמש במודלים יקרים 'חופשי על הבר'. מודלים יקרים פחות מסוגלים לתת מענה ל-90% מהדרישות של המשתמשים ב-10% מהעלות. אנחנו, בגריד דיינמיקס, אסרנו על מפתחים להשתמש במודלים המתקדמים".

כמו כן, יותר מאשר לבחון כמה עולה טוקן, חסון ממליץ לבחון כמה עולה לפתור את הבעיה. "כאשר נעשה שימוש במודלים המתקדמים, התוצר של הקוד גדל ב-34%. בחנו את זה וגילינו שאמנם התקבל שיפור בתפוקה בפיתוח, אבל כמות הקוד עלתה ב-400%. מצב זה מייצר צווארי בקבוק, עם המון קוד מיותר", ציין.

לסיכום אמר חסון כי "ה-AI היא עובדת מצטיינת – אבל נטולת שכל. ארגונים צריכים לדבר עם הבוטים בשפה העסקית שלהם. על התשובות להיות קצרות, באורך של שניים-שלושה משפטים, כאשר כל משפט מכיל לכל היותר 10 מילים. כך ניתן לצרוך AI באופן שהוא נכון כלכלית עבור הארגון".