"פשוט תגיד ל-AI מה לעשות": מתי חייבים התערבות אנושית?

ראיתם את הפוסטים. מישהו בנה בסוף השבוע סוכן שעונה לו על המיילים, סוגר לו עסקאות וכנראה גם מוציא את הכלב לטיול. היום בינה מלאכותית זה קל. צריך פשוט להגיד לה מה לעשות.

ואז היא פוגשת עבודה אמיתית. גרטנר צופה שיותר מ-40% מפרויקטי הבינה המלאכותית הסוכנית יבוטלו עד סוף 2027, ומציינת שרבים מהפרויקטים כיום מונעים בעיקר מהייפ ולעיתים קרובות מיושמים במקומות הלא נכונים.

הטענה פשוטה: סוכן שעובד הוא לא מערכת AI אחת שעושה הכול. הוא שרשרת של שלבים, שבה מכונות מבצעות את רוב העבודה, ובני אדם מבצעים את השלבים שבהם המכונות מתקשות או שנדרשים שיקול דעת ובקרה. למצוא את הנקודות האלה ולבנות את ההעברה ביניהן, זו העבודה האמיתית. והיא קשה גם ברמה הרעיונית וגם ברמה ההנדסית.

למה "לעשות הכול" נשבר?

במבחן הביצועים TheAgentCompany, הסוכן הטוב ביותר השלים בעצמו רק 30% ממשימות משרדיות מדומות. במשימות CRM של Salesforce, ההצלחה של הסוכנים המובילים ירדה מכ-58% בפנייה אחת לכ-35% לאורך כמה סבבי שיחה.ההסוכן הטוב ביותר במבחן TheAgentCompany, שהתבסס על Gemini 2.5 Pro, השלים באופן עצמאי 30% מתוך 175 המשימות שנבדקו. אולם, במשימות בתחומי הכספים, האדמיניסטרציה ומדעי הנתונים, שיעורי ההצלחה היו נמוכים בהרבה ונעו בין 8% ל-14%.

המתמטיקה לא סלחנית: סוכן שמצליח ב-95% מהמקרים בכל שלב ישלים שרשרת של עשרה שלבים רק בכ-60% מהמקרים. זהו חישוב הסתברותי להמחשה, בהנחה שהשלבים בלתי תלויים זה בזה, ולא מדידה של מערכת מסוימת.הבמבחן TheAgentCompany, הסוכן המוביל ביצע בממוצע 27 צעדים למשימה. בשרשרת כזאת, גם דיוק של 99% בכל צעד מותיר הסתברות של כ-76% בלבד להשלמת השרשרת ללא טעות, בהנחת אי-תלות בין השלבים.

Klarna למדה את זה בפומבי. ב-2024 היא הודיעה שעוזרת הבינה המלאכותית שלה מבצעת "עבודה שוות ערך ל-700 נציגים במשרה מלאה". ב-2025 אמר מנכ"ל החברה שהעלות הייתה שיקול דומיננטי מדי, וכי התוצאה הייתה איכות שירות נמוכה יותר. דוברת החברה סיכמה את חלוקת העבודה החדשה: "ה-AI פותרת את הדברים הקלים, והמומחים שלנו מטפלים ברגעים שחשובים באמת". זו בדיוק ההבחנה שארגונים צריכים לעשות כאשר הם מתכננים תהליכים המשלבים סוכנים אוטונומיים ועובדים אנושיים.

הולכים לאורך השרשרת: סוכן המכירות של חנות גינון

גוגל פרסמה סוכן לדוגמה שממחיש את הרעיון היטב. הסוכן, Project Pro, משרת את לקוחותיה של Cymbal Home & Garden, רשת חנויות דמיונית לשיפוץ הבית ולגינון. בהדגמה, לקוח בשם אלכס קנה צמחים עם תווית "חד-שנתיים אוהבי שמש", והוא אינו בטוח שהאדמה והדשן שבעגלת הקניות שלו מתאימים לצמחים שבחר. הסוכן אמור ללוות אותו לאורך כל תהליך הקנייה, משלב זיהוי הצמחים ועד להשלמת ההזמנה.

השרשרת כוללת ברכה אישית לאלכס לפי הפרופיל שלו במערכת ה-CRM, זיהוי הצמחים בשיחת וידאו והמלצה על מוצרים שמתאימים לאקלים של לאס וגאס. בהמשך, הסוכן מעדכן את עגלת הקניות, מטפל בהנחות ובהצעות של מתחרים, קובע שירות שתילה, שולח הוראות טיפול ומעדכן את מערכת Salesforce. רוב השלבים האלה הם שליפות מידע ופעולות שגרתיות, ומכונות מבצעות אותם היטב. אבל יש שני שלבים שונים, שבהם צריך לדעת מתי לעצור ולהעביר את הטיפול לאדם.

זיהוי הצמח: כל השלבים הבאים תלויים בזיהוי נכון של הצמח. במחקר שבחן חמש אפליקציות חינמיות לזיהוי צמחים, ההצעה הראשונה הייתה נכונה ב-69% מהמקרים. אולם, אחת האפליקציות, Seek, אישרה זיהוי רק כשהייתה בטוחה בו. זה קרה ב-66% מהתמונות, וכל זיהוי שאושר היה נכון במסגרת המחקר. זהו העיקרון התכנוני: כשהמכונה בטוחה, היא ממשיכה. כשהיא אינה בטוחה, שיחת הווידאו מועברת לאיש מקצוע במשתלה. החלק הקשה הוא לתת לסוכן דרך אמינה לזהות את חוסר הוודאות שלו.

ההנחה: הדוגמה מטפלת בנושא בשתי שכבות. כלל פשוט בקוד, ולא מודל הבינה המלאכותית, מאפשר אישור אוטומטי של הנחה בשיעור של עד 10%. כל הנחה גדולה יותר נשלחת לאישור מנהל. והמנהל הזה הוא אדם אמיתי. זו הנקודה המדויקת שבה אדם נדרש לקבל החלטה, במקום לנסות לגרום למכונה להפעיל שיקול דעת עסקי שאינו מתאים לה. זה אולי החלק המעניין ביותר בהדגמה.

למה ההעברה לאדם היא החלק המאתגר?

ברמה הרעיונית, מישהו צריך להחליט איפה עובר הקו. האם מדובר בהנחה של 10%, או בסף ביטחון מסוים של המערכת? אלה החלטות עסקיות שנכתבות בקוד, ולא רק בפרומפט. אם קובעים כללים נוקשים מדי, העובדים יטבעו בבקשות אישור. אם הכללים רופפים מדי, הסוכן עלול לחלק את הרווח של הארגון ללקוחות בלי שהייתה לכך כוונה עסקית. ברמה ההנדסית, המלכודת היא להניח שהמנהל עונה מיד. אלכס ממתין בשיחת וידאו חיה, אבל איזה מנהל נמצא במשמרת? ומה קורה אם המנהל מסרב לאשר את ההנחה, או אינו עונה במשך עשר דקות?

הסוכן חייב לדעת לעצור, לשמור את מצב התהליך ולהמשיך בדיוק מהנקודה שבה עצר. ערכת הכלים של גוגל מציעה יכולת לאישור אנושי, אך במקור שעליו מבוסס המאמר היא מסומנת כ"ניסיונית", ואינה פועלת עדיין עם שירותי גוגל לשמירת שיחות לאורך זמן. האתגר הזה ממחיש מדוע שליטה בהרשאות ובפעולות של סוכני בינה מלאכותית היא חלק בלתי נפרד מתכנון המערכת. כפי שעולה גם מהדיון על פיקוח על סוכנים הפועלים מול מערכות נתונים ארגוניות, השאלה אינה רק מה הסוכן מסוגל לבצע, אלא מי מפקח על הפעולות שלו ומתי נדרשת החלטה אנושית.

מקרה שימוש צר מאפשר למצוא את נקודות ההעברה

בגלל זה, מקרה שימוש צר מנצח. חוקרי MIT מצאו שהסטארט-אפים שמשיגים תוצאות מתמקדים במקרי שימוש צרים, אך בעלי ערך גבוה. בשרשרת צרה אפשר למנות כל שלב ולשאול שלוש שאלות: האם מכונה יכולה לבצע את הפעולה? איך היא תדע מתי היא אינה בטוחה? ומי יטפל במקרה כאשר היא אינה יכולה להמשיך?

הלקח האמיתי

בינה מלאכותית אינה עניין פשוט. המודל הוא החלק הקל, והחלק הקשה הוא התשתית שמסביבו: לדעת בדיוק היכן האדם חייב להשתלב, ולבנות את ההעברה כך שהלקוח לעולם לא ירגיש את התפר.

אבישי מרון הוא מנכ"ל ומייסד AM Consulting, בעל יותר מ-10 פטנטים בתחום הבינה המלאכותית. מהנדס AI ומוביל פרויקטים בחברות גלובליות. רז הייפרמן הוא יועץ בכיר לטרנספורמציה דיגיטלית ב-BDO Consulting. מרצה בתוכנית MBA בקריה האקדמית אונו ובקורס ניהול בכיר למנמ"רים בטכניון.