AI שתפעל בהשראת המוח: ביצועים גבוהים בצד חיסכון עצום באנרגיה

חוקרים אנגלים הציגו גרסת מיפוי לאימון AI, המשתמשת ב"גיזום" בהשראת פעולת המוח לזיקוק הקשר וחיבורים ● כך המודל שומר על דיוק ואף משפר אותו, תוך שימוש בחלק זעיר מהפרמטרים והאנרגיה הנדרשים מהמודלים כיום

חוקרים שדרגו AI כך תפעל בהשראתו. המוח האנושי.

באוניברסיטת סארי (University of Surrey) – אוניברסיטת מחקר ציבורית בגילדפורד, סארי, אנגליה – הציגו באחרונה גישה פורצת לקידום טכנולוגיית ה-AI.

לפי החוקרים, הדרך שפיתחו – ששמה "מיפוי טופוגרפי דליל" (TSM) – עשויה להפוך את מערכות הבינה המלאכותית למהירות ויעילות אנרגטית הרבה יותר, תוך שאיבה ישירה של השראה מרשתות נוירונים ביולוגיות במוח האנושי.

הפיתוח המסוים הזה, שיצא מקבוצת NICE (ר"ת Nature-Inspired Computation and Engineering) באוניברסיטה, מציע שינוי יסודי באופן שבו מערכות AI מחווטות בבסיסן. בעוד שמודלי למידה עמוקה קונבנציונליים, כמו אלה המשמשים לזיהוי תמונות, או מודלי שפה גדולים כדוגמת ChatGPT, מחברים כל נוירון בשכבה אחת לכל הנוירונים בשכבה הבאה – מה שמוביל לבזבוז אנרגיה – שיטת ה-TSM מחקה את הדרך שבה מערכת הראייה של המוח מארגנת מידע ביעילות. במסגרת המיפוי החדש, כך הוסבר על ידי החוקרים, כל נוירון מחובר אך ורק לנוירונים סמוכים או קשורים אליו. ארגון הרבה יותר "טבעי" זה מבטל את הצורך במספרים עצומים של חיבורים וחישובים מיותרים. בנוסף, הגרסה המשופרת של השיטה, המכונה "מיפוי טופוגרפי דליל משופר" (ETSM), מרחיקה לכת אפילו עוד יותר על ידי שילוב תהליך "גיזום" (Pruning) בהשראה ביולוגית במהלך האימון. תהליך זה דומה לאופן שבו המוח מחדד ומזקק בהדרגה את החיבורים הנוירולוגיים שלו בזמן שהוא לומד.

הצורך בשיפור היעילות – קריטי

שתי הגישות הללו, לדברי מפתחיהן, מאפשרות למערכות AI להגיע לרמת דיוק זהה או אף גבוהה יותר בהשוואה למודלים מקובלים, אך תוך שימוש בחלק קטן בלבד מהפרמטרים והאנרגיה הנדרשים לשם הפעלת AI כיום.

הצורך בשיפור היעילות הוא קריטי, נוכח העלויות הסביבתיות והכספיות הגדלות של אימון מודלי AI מודרניים. ד"ר רומן באואר, מרצה בכיר באוניברסיטת סארי, התייחס לנושא זה ואמר כי: "אימון רבים ממודלי ה-AI הגדולים הפופולריים של ימינו יכול לצרוך למעלה ממיליון קילוואט-לשעה של חשמל – שווה ערך לצריכה השנתית של יותר ממאה בתים בארה"ב, ולעלות עשרות מיליוני דולר. זה פשוט לא בר קיימא בקצב שבו ה-AI ממשיכה לצמוח". ד"ר באואר הדגיש כי "העבודה שלנו מראה שניתן לבנות מערכות אינטליגנטיות בצורה יעילה בהרבה, ולקצץ בדרישות האנרגיה מבלי לוותר על הביצועים".

המודל המשופר של סארי הגיע לרמת "דלילות" (Sparsity) של עד 99% – כלומר, הוא יכול היה להסיר כמעט את כל החיבורים הנוירולוגיים הרגילים, ובכל זאת להתאים או לעלות על דיוק הרשתות הסטנדרטיות במערכי נתונים. החוקרים הסבירו כי מאחר שהשיטה שפיתחו נמנעת מכוונון עדין וחיבור מחדש מתמידים, הנפוצים בגישות אחרות, היא מתאמנת מהר יותר, משתמשת בפחות זיכרון וצורכת פחות מאחוז אחד מהאנרגיה של מערכת AI קונבנציונלית.

מוחסן כמליאן ראד, דוקטורנט באוניברסיטת סארי והמחבר הראשי של המחקר, הסביר את העיקרון הביולוגי: "המוח משיג יעילות יוצאת דופן באמצעות המבנה שלו, כאשר כל נוירון יוצר חיבורים מאורגנים היטב במרחב. כאשר אנו משקפים את העיצוב הטופוגרפי הזה, אנו יכולים לאמן מערכות AI הלומדות מהר יותר, משתמשות בפחות אנרגיה ומבצעות בדיוק באותה מידה של דיוק". הוא הוסיף כי מדובר ב"דרך חדשה לחשוב על רשתות נוירונים, הבנויה על אותם עקרונות ביולוגיים שהופכים את האינטליגנציה הטבעית ליעילה כל כך".

בעוד שהמסגרת הנוכחית שפיתחו מיישמת את המיפוי בהשראת המוח רק על שכבת הקלט של מודל ה-AI, החוקרים דיווחו שהם בוחנים הרחבה של הגישה לשכבות עמוקות יותר, מה שיכול להפוך את הרשתות ל"רזות" ויעילות עוד יותר. כמו כן, הצוות חוקר כיום כיצד ניתן להשתמש בגישה זו ביישומים אחרים, כגון במחשבים נוירומורפיים מציאותיים יותר (מחשוב המדמה את תפקודי המוח), שם רווחי היעילות יכולים להיות בעלי השפעה גדולה אף יותר.

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים