אנבידיה משיקה פלטפורמת אבטחה בקוד פתוח לסוכני AI

פלטפורמת Open Agent Safety של החברה נועדה להחיל מדיניות ואמצעי בקרה בכל שכבות החומרה והתוכנה, במטרה להבטיח תפעול בטוח ומבוקר של סוכני בינה מלאכותית בארגונים

השיקה את Open Agent Safety. אנבידיה.

בלב תקופה של סערות שמעלות שאלות רבות, ואף קשות, סביב היכולת של מודלי AI חדשים לפרוץ את גבולות הגזרה ולחמוק מהמסגרות שנקבעו בידי המפתחים, הכריזה אנבידיה (NVIDIA) על פלטפורמה חדשה בשם Open Agent Safety Platform, שלטענתה מאפשרת להחיל מדיניות ואמצעי בקרה בכל שכבות התוכנה, החומרה, המחשוב והמערכות הרובוטיות שמריצות סוכני AI, כולל של הפריסה בפועל שלהם ברחבי הארגון.

החברה מכוונת לשיתוף פעולה גלובלי, בין מפתחות מודלים, חברות שמייצרות את החומרה וכן ארגוני מחקר וחברות אבטחה, כדי למצוא את נתיב הזהב שיאפשר להחיל ולהכיל את ה-AI באופן בטוח.

"פוטנציאל ה-AI עבור החברה האנושית יתממש – רק אם נפתור את סוגיית הבטיחות"

"הפוטנציאל יוצא הדופן של ה-AI עבור החברה האנושית יתממש רק אם נפתור את סוגיית הבטיחות. בעודנו ממשיכים לגלות יכולות חדשות בחזית ה-AI, עלינו להאיץ את הגילויים גם בחזית הבטיחות שלה. בטיחות ואבטחה מחייבות עבודה הנדסית בכל שכבות המערכת. Open Agent Safety Platform מחברת בין התעשייה, חוקרים וארגונים במגזר הציבורי כדי לשתף שיטות עבודה מומלצות, להגיע להסכמה על שיטות הערכה ולקדם שיתוף פעולה בין-לאומי. יחד נוכל להעלות את רף הבטיחות של AI בעולם", הסביר ג'נסן הואנג, מייסד ומנכ"ל אנבידיה.

כדי להגדיל את הנגישות שלה, הפלטפורמה מוצעת כקוד פתוח, והיא מגיעה עם ארכיטקטורת ייחוס שפיתחה אנבידיה כדי לקצר את הדרך ליצירת פתרונות אבטחה עבור שוק ה-AI שלא עוצר לרגע, כך נראה, בדהרה שלו אל האופק. 

הפלטפורמה מציעה שני כלים עיקריים. הראשון ביניהם הוא תוכנת אבטחה בשם OpenShell, שאמורה לשים גבולות לפעילות של סוכני ה-AI במערכת, ובאנבידיה מספרים כי היא מסוגלת לשלוט בפעולות של סוכנים אוטונומיים, ולא משנה אם הם מבוססים על מודלים פתוחים או קנייניים. הגבולות מוגדרים מחוץ למודל ה-AI ולמעטפת התפעול של הסוכנים, וזאת מבלי לפגוע בתפעול השוטף שלהם. 

OpenShell מסופקת במערכת שמבוססת על מעבדי ה-Vera החדשים של אנבידיה, אבל לפי אנבידיה מכיוון שמדובר במוצר קוד פתוח, אפשר להתאים אותה לשימוש גם במערכות המבוססות על מעבדים של אינטל (Intel) או כאלה שמתבססים על הפיתוחים של Arm.

הכלי השני הוא ארכיטקטורת ייחוס שמכילה מערכת ניטור בשם Sentry, המבוססת על תוכנת DOCA של אנבידיה עצמה, ומורצת על מעבדי BlueField-4 DPU שפותחו באנבידיה ישראל.

הכלי הזה אוכף את מדיניות האבטחה הארגונית ברמת המעבד עצמו, ואם הוא מזהה סוכן AI שמנסה לחרוג מהגבולות שהוגדרו לו, הוא מבודד אותו ועוצר את הפעילויות במהירות גבוהה במיוחד שמגיעה לאלפיות-שנייה ולא יותר.

שיתופי פעולה עם אנת'רופיק, סיילספורס וסאפ – בין השאר

אנבידיה הציגה בעת ההכרזה שורה ארוכה של ארגונים וחברות שכבר משתפות עימה פעולה בהיבט של הפלטפורמה החדשה, כשאחת מהן היא אנת'רופיק (Anthropic). החברות הודיעו שהן משתפות פעולה כדי להוסיף שכבות של אבטחה ושליטה למערך סוכני ה-AI ב-Claude Managed Agents. 

מנהל המסחר הראשי של אנת'רופיק, פול סמית, אמר: "חברות מפקידות בידי סוכני AI חלק הולך וגדל מהמשימות החשובות ביותר שלהן, והן צריכות להנחות את הסוכנים ולבדוק מה הם עושים, במיוחד בסביבות רגישות. הכלי החדש מעניק תמונה ברורה של הפעולות שכל סוכן מבצע, והפלטפורמה של אנבידיה מוסיפה שכבה נוספת של פיקוח ובקרה בשכבות החומרה והתוכנה".

חברה אחרת שכבר משתמשת ב-OpenShell היא סיילספורס (Salesforce), ששילבה את הפלטפורמה החדשה לתוך כלי שיתוף הפעולה הארגוני שלה סלאק (Slack). היא מאפשרת לעקוב אחר פעילות הסוכנים ולאשר או לדחות בקשות של סוכנים להרשאות נוספות, כולל באירועי בדיקה יזומים.

גם סאפ (SAP) הודיעה כי היא מטמיעה את OpenShell בסביבת הרצה שהיא חלק מ-SAP Business AI Platform, במטרה לשלב פיקוח עסקי עם אבטחה בזמן הריצה. החברה גם תורמת בעצמה לפלטפורמת הקוד הפתוח שהוצגה ופועלת עם אנבידיה לקידום תקנים באופן הדדי.

הכרזה זו של אנבידיה היא חלק מתמיכה במטרות של Open Secure AI Alliance ושל קהילת בטיחות ואבטחת ה-AI שהיא הייתה אחת מיוזמותיה. התאגדות זו מורכבת מיותר מ-120 ארגונים והיא מנוהלת על ידי קרן לינוקס (Linux Foundation) ומפעילה מספר פרויקטים לחיזוק אבטחת ה-AI, כולל Shared AI Findings Exchange.

Open Agent Safety כבר זמינה דרך עמוד משאבי המפתחים של אנבידיה וב-GitHub.

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים