OpenShift AI: מניסויים מפוזרים ל-AI ארגוני בייצור

לקראת הכנס השנתי של רד האט (Red Hat), שוחחנו עם שרון אקשטיין, מנהלת פעילות רד האט במטריקס (Matrix), על האתגרים וההזדמנויות שבמעבר מניסויי AI נקודתיים לפתרונות AI ארגוניים בסביבת הייצור, ועל האופן שבו Red Hat OpenShift AI מאפשרת לארגונים לאמץ חדשנות, תוך שמירה על אבטחת מידע, שליטה וגמישות תפעולית.

לדברי אקשטיין, בתוך זמן קצר הפכה הבינה המלאכותית לדרישה עסקית מוחשית. השאלה כבר אינה אם לאמץ בינה מלאכותית, אלא כיצד עוברים מניסויים ופיילוטים ליישומי AI ארגוניים, מבוקרים ומאובטחים בסביבת הייצור.

האתגר: AI לכל הארגון, בלי לאבד שליטה

"AI כבר אינו פרויקט של צוות אחד, אלא שירות רוחבי שיחידות רבות מבקשות לצרוך: כספים, משאבי אנוש, שירות לקוחות, פיתוח ועוד", אומרת אקשטיין. "הארגון נדרש לתת לכל אלה מענה מרכזי, במקום שכל צוות יקים לעצמו 'AI פרטי' מחוץ לבקרה. תופעה זו, המכונה Shadow AI, חושפת את הארגון לדליפות מידע, לעלויות בלתי צפויות ולחוסר אחידות. כאן נכנסת לתמונה Red Hat OpenShift AI: פלטפורמה המבוססת על OpenShift ומרכזת תחת קורת גג אחת את מחזור החיים של AI ארגוני, מפיתוח ואימון מודלים ועד להגשתם ולניטורם בסביבת הייצור".

כיצד זה עובד?
"הפלטפורמה מריצה מודלים פנימיים בשרתי הסקה (Inference) מבוססי vLLM, ובאמצעות llm-d אף מחלקת את עומס ההסקה של מודלי שפה גדולים בין כמה שרתים. את הגישה למודלים מנהלת שכבת MaaS (ר"ת Models-as-a-Service), שהפכה לזמינה מסחרית (GA) בגרסה 3.4: נקודת גישה אחת למודלים שהארגון מנגיש, פנימיים וחיצוניים, עם ניהול מפתחות API, מכסות טוקנים, הגבלות קצב לקבוצות משתמשים ולוח בקרה המציג את צריכת הטוקנים".

סוכנים תחת שליטה

בתגובה לשאלה מה יהיה השלב הבא במהפכת ה-AI אומרת אקשטיין: "הגל הבא הוא סוכני AI המבצעים פעולות מורכבות במערכות הארגון ומחוצה לו, ומתחברים אליהן באמצעות שרתי Model Context Protocol – MCP".

"OpenShift AI מציעה קטלוג לניהול שרתי MCP ו-MCP Gateway, המרכז את הגישה לכלים דרך נקודת קצה אחת, עם בקרת הרשאות. במקביל, מנגנוני Guardrails בוחנים את הקלט והפלט של המודלים כדי לזהות ניסיונות Prompt Injection, דליפת מידע אישי (PII) ותוכן פוגעני. יכולות Tracing מבוססות OpenTelemetry מאפשרות להתחקות אחר שרשרת הפעולות של הסוכנים. הפלטפורמה מעמידה לרשות מדעני הנתונים סביבות עבודה (Workbenches) מוכנות, כמו Jupyter, Pipelines וכלים לאימון מודלים ולכוונון עדין (Fine-Tuning) של מודלי שפה".

מהם היתרונות של OpenShift כתשתית ל-AI?
"הפלטפורמה פועלת בסביבות On-Prem, בענן ואף בסביבות מנותקות מהאינטרנט (Air-Gapped), כך שניתן ליישם AI בלי להוציא מידע רגיש מרשת הארגון. סביבות ומודלים מנוהלים כקוד בגישת GitOps באמצעות Argo CD ו-Pipelines, והאבטחה מובנית: RBAC, בידוד בין צוותים (Multi-tenancy), מצב FIPS ופרופילי תאימות לתקנים כמו PCI-DSS ו-DISA STIG. ברמת החומרה, הפלטפורמה תומכת בשיתוף GPU ובמאיצים של AMD, אנבידיה (NVIDIA), אינטל (Intel) ויבמ (IBM). מערכת הניטור, מעבר למדדים הבסיסיים של פלטפורמת הקונטיינרים, מציגה נתוני ביצועים כגון מספר בקשות, Latency ו-Throughput, וכן נתוני ניצול של CPU, זיכרון וטמפרטורת ה-GPU. ארגונים שכבר מפעילים OpenShift יכולים להסתמך על תשתיות קיימות, וצוותי ה-IT ממשיכים לעבוד בכלים המוכרים להם".

ספרי על האתגר המרכזי בו אתם נתקלים, ועל העבודה המשותפת של מטריקס ו-רד האט.
"האתגר המרכזי שאנחנו מזהים בארגונים הוא המעבר מיוזמות AI נקודתיות לפתרונות הפועלים בסביבות ייצור, תוך התמודדות עם דרישות של אבטחת מידע, ניהול משאבים, אינטגרציה למערכות קיימות ויכולת התרחבות. OpenShift AI מספקת פלטפורמה אחודה לניהול מחזור החיים של מודלים ויישומי AI, תוך שימוש בתשתיות ובכלי הניהול הארגוניים. במטריקס אנחנו משלבים את היכולות של רד האט עם המומחיות שלנו בעולמות התשתיות, הענן, האוטומציה והאינטגרציה הארגונית, כדי לתכנן וליישם פתרונות AI המשתלבים בסביבת ה-IT הקיימת ובדרישות התפעוליות והעסקיות של הארגון. ככל שפתרונות Agentic AI ישתלבו בתהליכים ארגוניים – יגדל הצורך בפלטפורמות המשלבות ניהול מרכזי, אבטחת מידע, בקרה תפעולית ויכולת התרחבות בסביבות ייצור. מומלץ לבוא לבקר אותנו בכנס".