סקירה כללית
נציג AI האוטונומי של CommBox מתוכנן להגיב לפניות לקוחות ברמת דיוק גבוהה, מגובה במדדי הצלחה הניתנים למדידה. מדריך זה מתאר את מנגנון הבטחת האיכות ותהליך ההערכה של נציג ה-AI.
הערה: נדרשות הרשאות מנהל מיוחדות.
מערכת הערכה
תהליך ההערכה פועל כדלקמן:
- מאגר הידע של הלקוח מועלה ונלמד על ידי נציג ה-AI.
- הלקוח מפיק לאחר מכן טבלת נתונים עם מינימום של 30 שאלות המכסות את כל הספקטרום של המידע במאגר הידע הזה, עם עמודה המציינת את התשובה המצופה הטובה ביותר.
- הטבלה מועלית, וה-AI נשאל את השאלות הללו. תשובות ה-AI מושוות ל"תשובות המצופות" שסופקו על ידי המידע שהועלה.
- הדוח מציג כמה טוב ה-AI ענה על השאלות בהתבסס על ההנחיות והפרמטרים שקבענו להערכה.
אנו מעריכים כל תגובה באמצעות ארבעה קריטריונים מרכזיים, המשוקללים לפי השפעתם על הביצועים הכוללים:
- דיוק המידע - מאמת את תוכן התגובה מול מאגר הידע של הלקוח. תגובות חייבות להיות מאומתות ב-100% כדי לעבור את בדיקת האיכות שלנו.
- כיסוי התשובה - מודד עד כמה התגובה מתייחסת ביסודיות לכל ההיבטים המרכזיים של הפנייה בהשוואה לתשובה המלאה הזמינה במאגר הידע.
- רלוונטיות התגובה - מבטיח שתגובות ממוקדות ומתייחסות ישירות לפנייה הספציפית.
- איכות תקשורת - מעריך את הבהירות, המבנה, הדקדוק, הכתיב והטון של כל תגובה.
אנו גם הערכנו מקרים של "לא ידוע" שבהם ה-AI לא ענה על השאלה כלל. אנו מבטיחים שחזרה על אותו תהליך הערכה תניב תוצאות טובות יותר כאשר ה-AI נחשף לאותן פניות או פניות דומות.
ביצועי בדיקה
שלב I: יצירת פריט מסד ידע AI
במרכז האוטומציה, בחרו בלשונית מאגר הידע, לחצו על כפתור + הוסף פריט בחלק העליון, ובחרו AI PDF מהתפריט.
הכניסו שם ייחודי לפריט ה-AI, גררו ושחררו מסמכים רלוונטיים, ולחצו על כפתור למד.
שלב II: יצירה והעלאה של שאלון
לחצו כאן להורדת פורמט טבלת Excel עבור השאלון שלכם.
עמודות נדרשות:
א. מזהה שורה
ב. שאלת בדיקה - שאלה מדומה שלקוח עשוי לשאול
ג. תשובה מצופה - הכניסו את התשובה הנכונה שאתם מצפים שהלקוח יקבל בהתבסס על המידע הנמצא בפריט מאגר הידע.
ד. הסבר - הצביעו על קטעים רלוונטיים ממאגר הידע שעליהם מבוססת התשובה המצופה. ציינו נקודות מפתח שחייבות להיכלל בתשובה המלאה.
במרכז האוטומציה, בחרו בכרטיסיית מאגר הידע, ולאחר מכן בכרטיסיית בדיקה ושיפור.
בפינה העליונה, לחצו על כפתור בדיקה חדשה.
בתיבת הדו-שיח, העלו את קובץ השאלון ולחצו התחל בדיקה.
הערה:
בהתאם לגודל הקובץ, תוצאות הבדיקה עשויות לקחת כשעה להפקה. לחצו על סמל התראה בדוא"ל והוסיפו את כתובת הדוא"ל שלכם כדי לקבל דוא"ל כאשר התוצאות מוכנות.
לחצו כאן לשאלון לדוגמה.
שלב III: תוצאות הבדיקה
לאחר השלמת הבדיקה, המידע המפורט של הבדיקה יופיע ברשימה, כולל:
- שם הבדיקה
- המנהל שביקש את הבדיקה
- תאריך ושעת התחלת הבדיקה
- סטטוס ביצוע הבדיקה
- מספר השאלות שנענו מתוך הסך הכולל שנשאלו
- ציון סופי לשאלות שנענו. כל ציון מתחת לשיעור הצלחה של 85% יופיע באדום.
לחצו על איקון הורדת המסמך בסוף מידע הסיכום לקבלת הדוח המלא.
אודות הדוח:
הטבלה שנוצרה כוללת את העמודות שהועלו עם תשובת הנציג לכל שאלה, ולאחר מכן ארבעת חלקי ההערכה שהוזכרו לעיל.
שתי העמודות האחרונות מציגות את הציון ושאלה נענתה כדי לראות האם התשובות מקובלות (מידע לא מדויק או אי-מתן תשובה יהווה כישלון אוטומטי).
חלק הסיכום מציג את שיעור הדיוק של השאלה שנענתה, ולאחר מכן את התוצאה הסטטיסטית המלאה המביאה בחשבון תוצאות שנענו במלואן, נענו חלקית או לא נענו.
לחצו כאן לתוצאות בדיקה לדוגמה.
שפרו את מאגר הידע שלכם:
לשיפור תוצאות הבדיקה, תוכלו לנקוט בפעולות הבאות:
- אמתו שהתשובות לשאלותיכם נמצאות בפריט מאגר הידע שהועלה. שאלות שלא נענו עשויות להצביע על חוסר קורלציה בין השאלות והתשובות שסופקו.
- חלקו מידע לתתי-חלקים קטנים יותר באמצעות רשימות ממוספרות (לדוגמה, 2א, 2ב, וכו').