בקטנה: גוגל עכשיו מאפשרת להריץ מודלי AI ישירות על הסמארטפון

בעקביה של ועידת המפתחים הגדולה שלה החודש, השיקה אמש (ב') גוגל בשקט גלריה של מודלי בינה מלאכותית שיכולים לרוץ באופן מקומי, ישירות על הסמארטפון שלכם – בשם AI Edge Gallery.

הרצה מקומית של מודלי בינה מלאכותית היא לא חדשה עבור מחשבים ניידים, וכתבנו עליה כאן כבר לפני כמה שבועות, אבל הרצה של מודלים ישירות על סמארטפון היא חדשה בהחלט.

האפליקציה הניסיונית, או מסגרת העבודה, שהושקה בגיטהאב, מאפשרת למשתמשי אנדרואיד (ובקרוב גם iOS) להריץ מודלי בינה מלאכותית שונים, ישירות על הטלפון שלהם וללא צורך בחיבור לרשת. האפליקציה מאפשרת להוריד מודלים ולהריץ אותם מקומית לחלוטין. בין המודלים להרצה מקומית אפשר למצוא ניתוח תמונה, יצירת טקסטים וקוד, צ'טבוטים בתצורה המוכרת לנו מהשירותים המקוונים וגם יכולת ניסיונית לכתיבה של שאילתות חופשיות.

הרשימה כוללת כרגע 18 מודלים שונים מבית היוצר של גוגל עצמה, אבל כוללת גם מודלים של מיקרוסופט, דיפסיק, Hugging Face ועוד כמה חברות מוכרות פחות, כמו אולמה ומייד אייג'נטס. כל מה שאתם צריכים לעשות זה לבחור, להוריד, להתקין מקומית ולהריץ את הכול מהטלפון שלכם.

בלב המערכת נמצא Gemma 3 של גוגל – מודל בן 529 מגה-בייט בלבד, שמסוגל לעבד 2,585 אסימונים (Tokens) בשנייה, תוך שהוא משתמש במעבדים הגרפיים של הסמארטפונים ומאפשר תגובתיות של פחות משנייה, שמשתווה לחוויית המשתמש של מודלים גדולים מקוונים.
ההשקה השקטה הזו היא חלק ממאמץ של גוגל ליצור דמוקרטיזציה של מודלים, להרחיב את הגישה לבינה מלאכותית ולהגביר את פרטיות המשתמשים, כך שהשאילתות והמידע נשארים על המכשירים המקומיים שלהם ולא נשלחים לענן. לארגונים, שבמקרים רבים בעבר היו צריכים לבחור בין פרטיות המידע לבין ביצועים, זוהי בשורה, שמאפשרת להריץ כלי בינה מלאכותית מבלי לדאוג שהמידע ייצא מגבולות הארגון או מכשירי העובדים. בגדול, זוהי התפתחות מעניינת, שסוללת את הדרך גם לעתיד שבו יהיו לנו סוכנים חכמים בכף היד ויכולת ליצור, לעבד מידע ולקבל תשובות לשאלות במהירות בכל מקום, גם אם אין לנו חיבור לרשת.

חיבור ה-USB-C של מודלים

ההשקה הזו של גוגל משלימה מגמה לוהטת אחרת – פרוטוקול ה-MCP (ר"ת Model Context Protocol), שהפך לסטנדרט דה פקטו של חיבור מודלי בינה מלאכותית עם מערכות מידע אחרות.

MCP, שפותח במקור על ידי אנת'רופיק, החברה שמאחורי קלוד – אומץ גם על ידי הענקיות האחרות, והוא סוג של "חיבור USB-C" למודלים, שמאפשר העברת מידע דו כיוונית בין המודלים ומערכות מידע אחרות, בתשתית אחידה ובקוד פתוח. MCP גם משמש כגשר בין, למשל, מערכת הקבצים המקומית בסמארטפון (או במחשב), בין אפליקציות מקומיות ובין בסיסי הנתונים.

הצעד של גוגל, עם מודלים קטנים להרצה ישירה ומקומית על הסמארטפון, לצד התפתחויות כמו הפופולריות הגואה של MCP, יוצרים את מפת הדרכים לאימוץ אפילו עוד יותר נרחב של בינה מלאכותית יוצרת, ויישומים מבוססי AI עם יכולת הבנת הקשר לארגונים ופרטים, מבלי הצורך לחשוף את המידע הפרטי והקנייני שלהם לצד שלישי או להעביר אותו לשרתים המקוונים של מודלים גדולים לצורך עיבוד. המודלים אולי קטנים, אבל זהו צעד גדול לבינה המלאכותית ופתח משמעותי להגדלת הנוכחות של גוגל גם ביישומים הנחשבים לרגישים, שאותם אי אפשר להעלות לענן.