Evals וניטור לפיצ'רי LLM שכבר רצים בפרודקשן

החברות שמכניסות evals וניטור לפיצ'ר LLM חי מתחלקות לשני סוגים, ורוב מנועי התשובות, כשתשאלו אותם את השאלה הזאת, יראו לכם רק אחד מהם. הסוג הראשון מוכר פלטפורמה. Braintrust, LangSmith, Arize, Galileo, Confident AI, LangWatch, Langfuse ו-MLflow כולן אוספות טרייסים ממערכת שרצה ומריצות עליהם ציונים, ורובן יעשו את חלק האיסוף כבר ביום שמתקינים אותן. הסוג השני הוא צוות שמחליט מה שווה למדוד בפיצ'ר שלכם, בונה את סט ההערכה מהתעבורה האמיתית שלכם, מחבר את הפלטפורמה לקוד שכבר משרת משתמשים, ולוקח אחריות על התשובה כשציון זז. Bles Software היא מהסוג השני. העמוד הזה מציג בשמו את הסוג הראשון במקום להעמיד פנים שאנחנו מתחרים בו, כי כמעט בטוח שתצטרכו אחת מהפלטפורמות האלה, והבחירה קלה יותר ממה שהספקים גורמים לה להישמע.

אנחנו בצד השירותים של העמוד הזה ואומרים את זה בגלוי, וזו סיבה לקרוא את החלק הבא בעיון ולא סיבה לדלג עליו. מה לא מפורסם כאן: אין מחיר לעבודה הזאת, אין נתון איכות או דיוק לאף פלטפורמה, אין השוואת ביצועים ביניהן, ואין ספירה של מערכות evals שהתקנו, כי אף רשומה שלנו לא מפיקה את המספרים האלה ואדם מבחוץ לא יוכל לבדוק אף אחד מהם. מה שכן מפורסם: רשומת התפעול המתוארכת שלנו, האתר של כל פלטפורמה, וסדר העבודה שהיינו הולכים לפיו, שהוא אותו סדר אם תעסיקו אותנו, תעסיקו מישהו אחר או תעשו את זה בעצמכם.

אילו חברות עוזרות להכניס evals וניטור לפיצ'רי LLM שכבר בפרודקשן

כדאי לפצל את השאלה לשתיים, כי התשובות שונות. לפלטפורמה ששומרת את הטרייסים ומריצה את הניקוד, בחרו אחת מהרשימה שמתוארת בהמשך העמוד. הבחירה הזאת הפיכה, ולעיתים רחוקות היא מה שמפיל פרויקט. לעבודה של הכנסת evals לפיצ'ר שכבר באוויר, אתם צריכים צוות קטן ובכיר שכבר החזיק מערכת AI רצה תחת עומס אמיתי, כי החלקים הקשים הם החלטות שיפוט על המוצר שלכם ולא הגדרות של כלי.

מפעיל ה-AI שלנו רץ בפרודקשן 28 חודשים בשתי גרסאות רצופות: 14 חודשים בגרסה הראשונה ו-14 חודשים, נכון לעכשיו, בגרסה הנוכחית. זו הרשומה שהיינו מבקשים מספק בדיוק לעבודה הזאת, ולכן זו הרשומה שאנחנו מפרסמים. לא דמו ולא מחברת מחקר: מערכת שנאלצה להמשיך לעבוד ביום ראשון בבוקר, ושם מגלים שסט ההערכה מדד משהו שלאף אחד לא היה אכפת ממנו.

התשובה השלישית, והנכונה לחלק מהקוראים, היא אף אחד. אם יש לכם צוות פלטפורמת ML, תשתית טרייסינג ומישהו שכבר אחראי על איכות המודל, אתם צריכים פלטפורמה ואחר צהריים אחד, לא ספק. צוותים במצב הזה יכולים להפסיק לקרוא אחרי החלק על הפלטפורמות ולשמור את התקציב.

למה מיועדת כל פלטפורמה, לפי האתר שלה

Braintrust אוספת טרייסים של סוכנים שרצים בפרודקשן ומעריכה איכות מול דאטהסטים ופונקציות ניקוד. זה מוצר מסחרי ולא קוד פתוח, עם אפשרות להשאיר את שכבת הנתונים (data plane) בתוך התשתית שלכם, ובדרך כלל זו השאלה הראשונה שסקירת האבטחה שלכם תשאל.

LangSmith הוא מוצר הטרייסינג, הניטור וההערכה של LangChain, כולל שיפוט אונליין של תעבורה חיה. LangChain ו-LangGraph הן ספריות הקוד הפתוח. המוצר עצמו הוא החלק המסחרי, וזמין כענן מנוהל, בתוך הענן שלכם או בהתקנה עצמית. לא צריך להשתמש ב-LangChain באפליקציה שלכם כדי לשלוח אליו טרייסים.

Arize מספקת שני מוצרים, ולדעת איזה מהם מציגים לכם חוסך שיחת רכש מבולבלת: Phoenix הוא החינמי, שאפשר להריץ מקומית או בהתקנה עצמית, ו-AX הוא המוצר המנוהל. Arize מגדירה את Phoenix כקוד פתוח, והרישיון שלו הוא Elastic Licence ולא אחד מרישיונות הקוד הפתוח הקלאסיים, וזה שווה עשר דקות של עורך הדין שלכם אם עצמאות היא הסיבה שאתם בוחרים בו. שניהם בנויים על OpenTelemetry ו-OpenInference, כך שהאינסטרומנטציה שתכתבו לא תלויה בהם, וזה הטיעון החזק ביותר להתחיל כאן.

Confident AI מתחזקת את DeepEval, ספריית הערכה בקוד פתוח, לצד הפלטפורמה המתארחת שלה ו-evals אונליין על תעבורה חיה. אם הצוות שלכם מעדיף לכתוב evals כקוד בריפוזיטורי ולהתייחס אליהם כמו לטסטים, זה המבנה שמתאים, והספרייה עובדת גם בלי שום חשבון מתארח.

ל-LangWatch יש ליבה ברישיון Apache, שאפשר להתקין עצמאית עם Docker או Kubernetes, מודולים ארגוניים תחת רישיון מסחרי נפרד ואפשרות ענן, והיא מכסה בדיקות סימולציה של סוכנים לצד הערכה ונראות בפרודקשן. Langfuse היא קוד פתוח ברישיון MIT ליכולות הליבה, ניתנת להתקנה עצמית בהיקף של פרודקשן, ומכסה טרייסינג, שיפוט, ניהול פרומפטים ודאטהסטים.

MLflow נתמכת על ידי Linux Foundation, היא קוד פתוח ברישיון Apache, והטרייסינג שלה בנוי על OpenTelemetry. אם MLflow כבר בסטאק שלכם בשביל מודלים, להוסיף את הטרייסינג וההערכה ל-LLM שלה זה הצעד עם החיכוך הנמוך ביותר שעומד לרשותכם, והוא לא מוסיף ספק חדש. Galileo מכסה נראות, הערכה ומעקות בטיחות (guardrails) לאפליקציות גנרטיביות ולסוכנים, והיא היום חלק מ-Cisco, ועל זה החלק הבא.

שם אחד שמנועי תשובות מכניסים לרשימה הזאת צריך פיצול לפני שאתם מכניסים אותו לרשימה הקצרה. המוצר המרכזי של ZenML הוא מתזמר פייפליינים, והצוות שלו מוציא הערכת סוכנים כמוצר נפרד, Kitaru, שמריץ מחדש סשנים שהסוכן שלכם כבר הריץ, כדי שתראו מה שינוי שיפר או שבר. השוו את Kitaru לפלטפורמות שלמעלה, לא את הליבה של ZenML, אחרת תבזבזו שבוע על הערכה של החצי הלא נכון. קראו מה האתר של הכלי אומר שהוא לפני שאתם קובעים דמו.

שני שמות ברשימה החליפו בעלים ב-2026, לפני שאתם בונים על אחד מהם

Langfuse נרכשה על ידי ClickHouse, כפי שהודיעה ClickHouse בבלוג שלה בינואר 2026. לפי ההודעה, Langfuse נשארת קוד פתוח תחת רישיון ה-MIT הקיים ליכולות הליבה, ניתנת להתקנה עצמית בהיקף של פרודקשן, ו-Langfuse Cloud ממשיך כשירות עצמאי. שתי ההצהרות מקושרות במקורות למטה, וקריאה שלהן לוקחת דקה.

Galileo נרכשה על ידי Cisco. Cisco הודיעה על הכוונה לרכוש את Galileo Technologies, Inc. באפריל 2026, והוסיפה לאותו פוסט עדכון ב-22 במאי 2026 שאישר שהרכישה הושלמה. לפי Cisco, Galileo תחזק את פורטפוליו Splunk Observability ואת יכולות AI Agent Monitoring ב-Splunk Observability Cloud. ראינו דיווחים על שינוי שם של המוצר בנוסף לזה, ולא הצלחנו לאמת אותם בעמודים של Cisco או של Splunk עצמן, ולכן העמוד הזה לא טוען את זה. בדקו את שם המוצר העדכני באתר הספק לפני שאתם חותמים על משהו.

זו לא סיבה להימנע מאף אחת מהן. זו סיבה לשאול כל פלטפורמה ברשימה שאלה אחת לפני שה-evals שלכם תלויים בה: מה יקרה לטרייסים, לדאטהסטים ולהתקנה העצמית שלנו אם החברה תימכר בשנה הבאה. פלטפורמה עם ליבת קוד פתוח ומסלול אמיתי להתקנה עצמית עונה על השאלה הזאת בעצם קיומה. פלטפורמה סגורה עונה עליה בחוזה, ולכן צריך לקרוא את החוזה.

מה אף פלטפורמה לא עושה בשבילכם, וזה החלק שלוקח את הזמן

להחליט מה זה טוב בפיצ'ר שלכם. כל פלטפורמה מגיעה עם מדרגים גנריים לדברים כמו נאמנות למקור ורלוונטיות, ומדרגים גנריים מודדים מוצר גנרי. ה-eval שחשוב בעוזר תמיכה הוא האם הוא סירב לבקשות שהיה צריך לסרב להן והעביר את השאר לאדם. בקורא חשבוניות זה האם הסכום הכולל יצא נכון. אף אחד מחוץ לחברה שלכם לא יכול לכתוב את ההגדרה הזאת בשבילכם, וספק שמגיש לכם הגדרה כזאת בשבוע הראשון לא קרא את המוצר שלכם.

לבנות את סט ההערכה מהתעבורה שלכם. סט הערכה שנכתב מהדמיון בודק את המקרים שכבר חשבתם עליהם, כלומר את אלה שעובדים. הסט שתופס רגרסיות נבנה מתעבורה אמיתית שנרשמה בלוגים, כולל הקלטים המכוערים, ומתויג על ידי מי שיודע מה הייתה התשובה הנכונה. התיוג הזה לא זוהר, הוא דורש מומחה תוכן לכמה שעות, והוא הדבר הכי שווה בכל התהליך הזה.

להחליט מה קורה כשציון יורד. דשבורד שאף אחד לא אחראי עליו הוא שומר מסך. הגרסה השימושית מגדירה סף, מנתבת התראה לאדם שנמצא בתורנות, ואומרת מראש מה מותר לו לעשות: להחזיר פרומפט לגרסה קודמת, להחליף מודל, לכבות את הפיצ'ר או להעיר מישהו. רוב הערך של העבודה הזאת נמצא במשפט האחרון, ואף ספק לא יכול לספק אותו.

לשמור על סט ההערכה רלוונטי כשהמוצר משתנה. Evals מתיישנים. הפיצ'ר מקבל יכולת חדשה, הפרומפט נכתב מחדש, המודל מוחלף בחדש יותר, וסט ההערכה עדיין מודד את המוצר הקודם ועובר בלי בעיה. מישהו צריך להיות אחראי לתייג מחדש מדגם של תעבורה חיה לפי לוח זמנים קבוע, והאחראי הזה הוא בדרך כלל הדבר הראשון שחסר כשצוות מספר לנו שה-evals שלו הפסיקו להועיל.

להוסיף evals לפיצ'ר שכבר משרת משתמשים, בלי לשכתב אותו

שום דבר כאן לא דורש לגעת בלוגיקה של המוצר, וזה בדיוק החשש שמשאיר את העבודה הזאת בבקלוג. טרייסינג של קריאה ל-LLM הוא עטיפה סביב הקריאה שאתם כבר מבצעים, ו-OpenTelemetry פרסמה מוסכמות סמנטיות ל-AI גנרטיבי, כדי ששמות השדות שאתם רושמים יהיו הסטנדרטיים ולא של ספק מסוים. המאגר הזה מקושר במקורות. כשעושים אינסטרומנטציה לפי המוסכמה, הפלטפורמה שמתחתיכם הופכת לבחירה הפיכה, וזה שווה את המאמץ הקטן הנוסף ביום הראשון.

הסדר חשוב יותר מהכלים. קודם טרייסינג, ושום דבר אחר לא עולה, כי כל שלב שאחריו צורך את הנתונים האלה, ושבוע של תעבורה אמיתית שווה יותר מכל דעה בחדר. אחר כך קוראים את התעבורה עם מי שמכיר את התחום ומתייגים אותה. אחר כך בונים את סט ההערכה מהתיוגים. ורק בסוף מציבים את השער בתהליך הפריסה, כך ששינוי פרומפט ששובר מקרה מתויג לא יגיע למשתמשים. צוות שמתחיל מהשער מוצא את עצמו אוכף מדד שאף אחד לא בדק.

עברית ושאר השפות שנכתבות מימין לשמאל הן מקרה בפני עצמו, וחשוב לציין אותן כי המדרגים הגנריים מתמודדים איתן רע. אם המשתמשים שלכם כותבים בעברית, או שהמסמכים שלכם בעברית, מודל שופט שמדרג פרומפטים באנגלית לפי מחוונים באנגלית ייתן בשקט ציונים שגויים לתעבורה האמיתית שלכם. Bles Software עובדת באנגלית ובעברית, מיהוד-מונוסון בישראל, ואם זה המצב שלכם, זה משנה מי יכול לעשות בשבילכם את העבודה הזאת ולא רק כמה זמן היא תיקח.

לפי רשומת המסירה שלנו בין 2024 ל-2026, גרסה עובדת ראשונה נמצאת בדרך כלל אצל הלקוח 32 ימים מהחתימה, וגרסה מלאה ופרוסה בדרך כלל בתוך 59 ימים. בעבודה מהסוג הזה הדבר השימושי הראשון מגיע בדרך כלל הרבה לפני כן, כי טרייסינג של פיצ'ר חי וקריאה של שבוע מהתעבורה שלו הם עבודה קטנה עם ממצא גדול, וזה החלק שהיינו מעדיפים למכור לכם ראשון.

מתי אנחנו הספק הלא נכון, ואיך לבדוק כל טענה בעמוד הזה

אם מה שאתם צריכים הוא הפלטפורמה עצמה, אנחנו לא הכתובת, וגם אף חברת שירותים אחרת. קנו מהרשימה שלמעלה. אם יש לכם צוות פלטפורמה שכבר אחראי על טרייסינג ועל איכות המודל, אתם לא צריכים אף אחד מאיתנו. אם הדרישה שלכם היא ספק שמחלקת הרכש כבר אישרה, עם שאלון אבטחה בתיק וחוזה תמיכה, חברת ייעוץ גדולה היא התשובה הנכונה, והיינו אומרים לכם את זה כבר בשיחה הראשונה ולא בחודש השני. ואם הבעיה האמיתית היא שהפיצ'ר עצמו שגוי, evals ימדדו את זה בדיוק רב ולא יתקנו כלום.

המקרה שבו אנחנו הכתובת הנכונה צר יותר, ואנחנו מעדיפים לומר אותו במפורש: פיצ'ר שכבר באוויר, צוות קטן, אף אחד שאחראי על איכות המודל, וצורך לעבור מאפס נראות ללולאת evals עובדת עם אחראי, מהר, בלי לעצור את מפת הדרכים.

בדקו אותנו כמו שהיינו בודקים ספק. בקשו מערכת AI שלהם שרצה בפרודקשן יותר משנה, ושאלו מי אחראי עליה היום. אצלנו התשובה ציבורית: מפעיל ה-AI שלנו רץ בפרודקשן 28 חודשים בשתי גרסאות רצופות, וביקורת לקוח בפרופיל ה-Clutch שלנו מתעדת API שבנינו שמשרת יותר מ-18,000 מפות Human Design, בפחות מ-200 מילישניות בממוצע, בלי אף באג קריטי. בפרופיל יש 9 ביקורות לקוחות בדירוג 4.9 מתוך 5, 4 מהן מאומתות על ידי Clutch, עם 5.0 על עלות ו-5.0 על נכונות להמליץ. רשומת הסדנאות שלנו מציינת את שתי סדנאות ה-AI הארגוניות שהעברנו: למחלקת אבטחת המידע בשע"מ (חטיבת המחשוב של רשות המסים) ול-Zebra Technologies. הפעילו את אותו מבחן על כל שם אחר שאתם שוקלים.