315 - Mozzarella.ai #27 - Agent Customization and Performance (feat. Ran Ribenzaft)

Speaker A: היי, וברוכים הבאים לסדרת מוצרלה AI מבית מוצרלה. המקום שלכם להעמיק, להתמקצע ולהתעדכן על עולם המוצר בישראל. בסדרה אנחנו מתמקדים בהחלטות והאתגרים של בניית מוצר בעידן ה-AI, דרך שיחות עומק עם פאונדרים ואנשי מוצר שבונים בפועל. אני יוני, ואיתי נמצא רן, מייסד שותף ו-CTO של הסטארט-אפ הרמוני. היום בפרק נדבר על אתגר מוצרי שרן והצוות מתמודדים איתו בזמן אמת. איך מייצרים מערכת אג'נטים מותאמת אישית בצורה מספקת ללקוחות ואיך מודדים את הביצועים שלה לאורך זמן. אז יאללה, בואו נתחיל. שלום רן, מה קורה?

Speaker B: בסדר, מצוין. מה העניינים, יוני?

Speaker A: אני בסדר. ברוך הבא לפרק חדש שלנו במוצרי ל-AI. גרסת הסטארט-אפים.

Speaker B: כן, אני לא רגיל לפודקאסט שגם רואים אותי, אז אני צריך להיראות חיינני וסבבה ולא לעשות שטויות תוך כדי.

Speaker A: נכון, וזו תזכורת לכולם שמי שמאזין ולא נוהג יכול גם להסתכל עלינו, התחתכנו והתאפרנו.

Speaker B: כן, אפילו החלפתי חולצה רגע לפני, שיכולה להיות ארוני רשמית כזאת.

Speaker A: כן, אז היום אנחנו נתמקד בדילמה שמעסיקה אותך, אתכם, סדקה זה המוצר וכל העבודה עם הלקוחות בארגונים. בעצם כמה שליטה נותנים לצוותים כדי לעצב, לקסטן את המערכת שתהיה מותאמת אליהם, וגם פרט קטן כזה של איך מודדים ומראים שהמערכת באמת עושה עבודה טובה ביומיום, בעיקר בעידן הזה של ה-AI. אבל רגע לפני שככה נצלול לדילמות ולמה שאתם עושים בפועל, תשתף אותנו בקצת יותר קונטקסט על מי אתה, מה אתם עושים.

Speaker B: אז קצת רקע עליי ב-60 שניות מה שנקרא, אני נשוי, אבא לשלושה ילדים קטנים, תמיד שמח פה, הייתי שמונה שנים בצה"ל, ומיד אחרי שהשתחררתי הקמתי ביחד עם ניצן השותף שלי את אפסגון. אפסגון היה הסטארט-אפ הראשון שלנו, אני הייתי ה-CTO והוא המנכ"ל. התעסקנו בעולמות של ניטור, אובזרבביליטי, היה אחלה ריצה של שלוש וחצי שנים, מכרנו את הסטארט-אפ לסיסקו בקרוב ל-500 מיליון דולר. היה נחמד גם בקורפורט, למדנו כמה דברים בצורה קצת שונה, ויצאנו עם הרמוני בעצם לפני עשרה חודשים לסיבוב נוסף באותה פורמציה. ומה שאנחנו מנסים לעשות שם, או יותר נכון מה שאנחנו מצליחים לעשות שם, זה להנגיש AI לאנשי IT. נראה לי שזה די ברור לכולם שבאנג'ינירינג יש ניצחון, ואפילו אפשר אולי להגיד ניצחון בטוח של קלוד קוד, וההנגשה שם היא מאוד פשוטה, וכל המפתחים ברור להם שהם עובדים עם AI, או לפחות ברור להם שהם רוצים לעבוד עם AI. המצב הוא לא אותו דבר בארגוני IT. אני שם בצד רגע ארגונים טכנולוגיים של IT שהם מאוד מאוד מודרניים ושם בפרונט ארגוני IT שהם בני 20, 30, 40 שנה שמתעסקים בדברים ש-AI זה לא נפוץ בשבילהם. אני רגע אגיד ברמה הפרקטית מה אנחנו עושים, בעצם לעזור להם מעולם הטיקטים, הם מקבלים טיקט של עובד שננעל לו המחשב, שלא עובד לו משהו, למעשה גם לכל הארגון, מה הפוליסי הארגוני לימי חופש ואיך אני מגיש ונדור חדש לתוך המערכת. ה-IT אחראים על זה בתוך המערכת ועד לאיך הם מנהלים את כל האסטים, את כל התוכנות, כל המשימות היומיומיות. עכשיו באמת זה ארגונים שעובדים בצורה הכי ידנית שאפשר לחשוב, אקסלים במקרה הטוב, מסמכים, הכל נורא ידני, הכל נורא פשוט, אין שם אוטומציות, שוב אני יודע שאנחנו חושבים על AI ו-NATN ו-Make ופתרונות כאלה. אג'נטים של אופן קלו וכן הלאה, הארגונים האלה נמצאים 20 שנה אחורה. אז זה מה שאנחנו מתמקדים בו, בסופו של דבר, בשורה התחתונה, להנגיש AI סלאש אג'נטים לארגוני IT.

Speaker A: דיברנו על זה בשיחת הכנה שלנו, אמרת שיש אתגר של לקוחות, באמת צוותי IT, שרוצים שהמערכת תהיה מותאמת עבורם, א', האם בעידן העזל לא קורה ככה? אולי זה מה שהלקוחות חושבים, ולמה בכלל כזה, אתה יודע, מבקשים להתאים את המערכת בדיוק אליהם?

Speaker B: כן, זו שאלה טובה. תראה, בגדול, הרבה חושבים שהתחרות שלנו היא מול מה שנקרא incumbents, השחקנים הגדולים והמיושנים בעולמות ה-IT. כי הם, לפחות מהפן המרקטיאלי, מציעים AI מפה ועד להודעה חדשה, בפרקטיקה אנחנו יודעים שזה לא מאוד חזק, לא מאוד משמעותי. אף אחד לא אמר לנו כזה, כן, אני מעדיף את ה-AI של ג'ירה או של פרש סרוויס, לא משנה, תחרות כאילו, כי זה פשוט לא טוב. ואנחנו לא מנסים להשוות אותנו אליהם, כי זה עולם אחר לגמרי, אבל מה שאנחנו מנסים להשוות את עצמנו, ואנחנו רואים יותר ויותר לקוחות, זה להשוות אותנו לקלוד, להשוות אותנו לג'מיניי, להשוות אותנו לצ'אט ג'י פי טי. החוויה שם היא חוויה על גבול ה-B2C המדהימה. סתם לדוגמה, אני אתן רגע דוגמה קונקרטית. כשאתה מגיש בקשה לקלוד, או כאילו מה זה בקשה? כשאתה רוצה לעשות משהו, זה יחסית חדש מהחודשים האחרונים, שיכול להגיש לך בחזרה תשובה בתור שאלה. כאילו ממש טופס כזה שאתה ממלא בלייב, אתה יכול לכתוב, אתה יכול ללחוץ מהפרמטרים. לקוחות רוצים את זה גם אצלהם, כאילו לפחות היותר טכניים אומרים, רגע, אם אני שואל אותך טופס, אל תיתן לי להגיש בטקסט, תציג לי גם טופס יפה בתוך ה-UI כבר בילט אין. זה חלק מענייני הקסטומיזציה של האם אני מאפשר להציג את זה או לא, ואז מה קורה אם הוא כותב ככה או ככה. זה מתחיל להיות מאוד מורכב, אז התחרות שלנו היא שם, וכשהתחרות שלנו היא לפחות ברמת החוויה להיות on par עם קלוד וכן הלאה, קסטומיזציה נכנס לתוך זה, כי אני חושב שהדבר הראשון שעושים כמעט בכל כלי AI שהוא פלטפורמה, זה לבנות את הפרופיל, פרופיל, טון, אינסטרקשנס, סקילים, בכל מקום יש לזה שם קצת שונה, אבל בסוף אתה מקנפג את זה ורגילים לדבר הזה, רגילים ל... אני אגיד מה הדבר הכי בסיסי, מה השם של האג'נט שמדבר איתו, השם שלנו זה הרמוני, שיוזר מדבר, הוא עושה שטרודל הרמוני בסלאק, אבל האם אני יכול לתת ללקוח לקסטם את זה? אז בוא נגיד זה יחסית יותר קל, הוא רוצה את התמונה והשם שלו, זה יחסית דטרמיניסטי, אני יכול להגיד לאייג'ן שקוראים לו עכשיו מאסטרו או קליפי או כל אחד והשם שלו, יש שמות מצחיקים ומעניינים. אז זה נניח יחסית קל, אבל פתאום הוא רוצה לשנות את הטון. אני אומר רגע, אני כסתמתי את הטון להיות ספציפי, כי אני עובד עם מאות אלפי לקוחות קצה, זאת אומרת עובדים שעובדים בחברות שמשתמשים בהרמוני. ולא בטוח שאם הוא יעשה שינוי זה יהיה טוב. איך אני בכלל מאפשר לעשות שינוי שהוא לא יפגע בביצועים, תכף נדבר על ביצועים, אבל שלא יפגע בביצועים, שלא יפגע בחוויית הלקוח. אם הוא רשום שם שטויות, אם הוא רשום משהו לא נכון, האם אני שם עליו הגנות, האם בסוף אני מתעלם ממה שהוא כותב, מה האופציה שלי לתת לו יכולת קסטומיזציה, כי כולם רוצים. רוצים שהאיג'נט תהיה דוגמה קונקרטית, יש כאלה שרוצים שהחוויית צ'אט תהיה מאוד תכלסית. בלי סטייל קייבמנט כזה שמדברים עליו עכשיו, כזה פשוט תן לי תשובה בלי, לא לשאול אותי עוד שאלה ועוד שאלה, ויש כאלה שבדיוק הפוך, אומרים אני רוצה שתהיה מאוד נעים, מאוד איטי, תנחה את היוזר שלב אחרי שלב, תסביר לו כל דבר אקסטרה, איך אני מאפשר, האם בסוף אני אעשה טוגל כזה של כאילו מאוד אקספליינבל, תביא לי את התכלס, וזה הופך להיות אתגר, זה בלנס שהוא... החשש שלי היא פגיעה בביצועים ואיפשהו בווליום הזה, בספקטרום הזה בין, אמרתי לך על זה, אנדרואיד או אפל, כאילו אם אני מאפשר לפתוח הכל ושהיוזר יסתדר או חוויה סגורה, אני נוטה לחוויה הסגורה ולאט לאט לפתוח דברים אחרי שאני שומע אותם אחרי הרבה פעמים, אבל עדיין להשאיר את זה בספקטרום של חוויה סגורה.

Speaker A: כאילו זה נשמע ששוב בעידן AI גם אנשים יותר רוצים את הקסטומיזציה הזאת ויותר רוצים להרגיש שזה אומר שה-AI לומד אותי ומכיר אותי והוא בדיוק אני, שאלת פעמים הרבה שאלות שהם כל שאלה כזה הייתי רוצה לשמוע איך אתה חושב על זה, אבל באמת כזה איך אתם מחליטים ניקח כמה לתת לארגון מוצר שהוא מותאם אישית וגם איפה הוא טוב, סטופ המוצר שלנו לא מתאים לזה או לא תומך בזה או וואטאבה.

Speaker B: כן, הייתי אומר שבגדול אני מנסה לדחות כל פעולת קסטומיזציה, לא כי אני לא אוהב לקוחות אלא כי אני אוהב אותם ורוצה שהביצועים יהיו טובים, בסוף אני לא נמדד על עד כמה נעים היה האג'נט או עד כמה, אתה יודע, יש באמת גם דרישות מאוד איזוטריות של קסטומיזציה שאני לא רוצה להיכנס אליהן מלכתחילה, אבל בוא נגיד באמת טון זה עניין של חברה, כאילו כל אחד והטון שלך, יש כאלה שאמרו לי אני לא רוצה, אני רוצה שהאג'נט יגיב בווי, כאילו לא ב-I, לא אני האג'נט שמטפל, אלא ווי, אנחנו כחברה דואגים לך. אז יש כאלה כל מיני ניואנסים שעד שאני לא שומע את זה מכמה לקוחות, אני אנסה בעדינות לדחות את זה. כאילו אני אגיד ללקוח סבבה זה בבקלוג, כאילו אתה יודע קצת כמו פעם כזה. ברגע שאני אשמע כמה פעמים איזשהו איזושהי תמה שחוזרת על מה שאומרת תשמע רן חייב ככה לא יודע שלושה ארבעה חמישה לקוחות כבר חוזרים על זה. אז אני אעשה את זה, אני אגיד מנגד שיש לי הרבה דברים שהם אמנם לא קסטומיזציה פר סה של AI, אבל היא כן לשפר את חוויית ה-AI עצמו מבחינת ביצועים, מבחינת מה הוא יודע לעשות. אני אתן דוגמה, כשאני מתלונן שהמחשב שלי איטי, הדבר הכי פשוט שאני יכול להגיד לך, תרסט אותו, סבבה?

Speaker A: תוציא מהחשמל.

Speaker B: בדיוק, תוציא מהחשמל, תחזיר, כאילו משהו שסטטיסטית זה כנראה יעזור, אבל זה הכי חסר קונטקסט. אז פה אני כן עושה הרבה מהלכים קדימה שהם על גבול הפיוטריסטים. מה שאני עושה זה קודם כל להבין איזה מחשב יש לעובד, מתי הוא התחל בפעם האחרונה, איזה תהליכים רצים עליו עכשיו, מה לוקח הרבה זיכרון, כמה storage פנוי יש בדיסק, אפילו הרצות של ממש דגימה לייב של מה קורה עכשיו במחשב. כל זה זה סוג של קסטומיזציה שהיא, אני אומר זה החלום הרטוב של איש IT. כל איש IT היה אומר וואו, אם היית נותן לי את כל המידע הזה לפני שטיקט נפתח זה היה כאילו מדהים, אני אחרת... צריך לעשות את זה לבד. אז אלה, כנראה שאני אתייחס לזה בצורה שונה, אבל אנחנו, אני מנסה לשים את הגבול בנקודה שבה זה חשוב לכמה לקוחות, וזה לא איזה גחמה של לקוח אחד, כי זה קורה שיש גחמות כאלה.

Speaker A: כן, ומה באמת הסיכון שאתה רואה בקסטומיזציה גבוהה, נקרא לזה? שוב, זה בביצועים שנגעת, או בכלל במוצר עצמו? איפה אתם רואים את הסימפון שאיך, להגיד בסוף ללקוח, קח בטח, יש לך את המוצר שבדיוק בשבילך.

Speaker B: כן, אז אני אתן גם דוגמה ממש מהמוצר עצמו, המוצר בסוף יש לו סט של פעולות שהוא יודע לעשות לבד, האיג'נט שם בעצם יש לו סקילים שהוא יודע לעשות לבד, ויש נקרא לזה סוג של סקילים שהלקוח יכול לקסטם, אני אתן דוגמה לזה, למשל, האיג'נט יודע לאפס לך את הסיסמה, לרסט לך MFA כשקיבלת טלפון חדש ואתה צריך 2 פקטור אותנטיקיישן. נניח 30 משימות כאלה ששוב כל איש IT היה רוצה שיהיה לו. אבל נניח איש IT רוצה עכשיו טיקט של אונבורדינג לוונדור חדש, זה משהו שמאוד נפוץ בכל חברה. וזה מתחיל ב-A אני run, אני רוצה לעשות אונבורדינג לוונדור כזה, זה השם שלו, זה למתי אני צריך אותו, זה הסיבה. זה המסמך NDA, אתה יודע, אוסף של בקשות ספציפיות. זה הגיע לנקודה שבה כל לקוח אומר לי, תשמע, אני צריך יכולת לקסטם את הבקשות האלה, אני לא יכול שיהיה פינג פונג של היוזר יכתוב משהו ואז אני אענה לו תשובה, טוב, תשלח את המסמך הזה, הוא יכתוב לי משהו ואז אני אגיד לו, טוב, מה השם של הוונדור, פינג פונג, אני רוצה מראש לעשות תסריט לאג'נט או קטלוג אייטם שיבקש את X הפרטים האלו מראש. עד כה זה קל, כי אם היוזר מבקש, אומר שיש לו טלפון חדש והוא צריך לאפס את ה-MFA, או שהוא רוצה לעשות הונבורדינג וונדור חדש, ל-AI קל להפריד בין השתיים. אבל מה קורה אם אחת היכולות של ה-Agent, המובנות שאני נותן, זה לתת גישה לאפליקציה, ואז הלקוח אומר, רגע, אני רוצה שאחד מהקטלוג אייטמס זה לבקש גישה לכלי AI, ל-Cloud או ChatGPT, שזה מאוד נפוץ היום. זה למשל משהו שפגע לנו בחוויה של ה-agent, כי זה לא הלך למה שהלקוח עשה, זה הלך למה שאנחנו תכנתנו מראש, שמן הסתם זה לא היה טוב. אז עכשיו אני אפשרתי קסטומיזציה, והביצועים ירדו כתוצאה מזה, כי כל הבקשות הלכו למקום הלא נכון, או לא כל הבקשות, אחוז מסוים הבקשות, ועכשיו אני צריך לעשות פאט שאומר, רגע, אם הלקוח כתב את זה, אז קודם כל זה צריך ללכת דרך הלקוח, אבל רק למקרה הספציפי הזה, ולא למקרה כללי יותר שאני תכנתי. אז יש פה אפשרות לפגיעה בביצועים ואני צריך כל הזמן לנטר את זה עבור הלקוח, כי אני לא מצפה שהלקוח עכשיו יתחיל להסתכל על איבלים וביצועי AI ועד כמה ה-confidence שלו גבוה, הלקוח לא יודע את זה, הוא לא שילם על זה, הוא לא, כאילו מבחינתו רוצה לעשות משהו, וזה פשוט יעבוד.

Speaker A: כן, עכשיו הזכרת מקודם את ההשוואה בין כזה אפל לאן, בדיוק, אז איך אתם רואים את זה וגם באמת איך הגעתם לגישה הזאת של... זה המוצר שאנחנו רצים איתו.

Speaker B: כן, אני באופן כללי מאמין מאוד במוצר שהוא מה שנקרא פתרון ולא פלטפורמה. אני רוצה להביא פתרון ללקוח, אני רוצה כמה שיותר קל. היום אונבורדינג עם לקוח לוקח לנו חצי שעה. זה אנשי IT, אונבורדינג שהם רגילים אליו זה שבועות, חודשים, הטמעות יכולות לקחת שנה. ופתאום יש כאלה שעושים איתנו התקנה חצי שעה ואומרים, זהו כאילו, אני לא צריך להתקין איזה פאוור של סקריפט, אני לא צריך להרים איזה שרת בדאטה סנטר כדי שתוכלו לעבוד, ואנחנו אומרים לו לא, פשוט זה עובד. אז זה אני, באופי שלי, זה אני וניצן כמובן, זה אנחנו החברה, זה ה-say שאנחנו רוצים לתת לארגוני ה-IT, שוב, אני לא מדבר על סטארט-אפ של אלף עובדים שהוא מאוד מודרני, על החברת, לא יודע, ה-Finance Institution כזה, שקיימת עכשיו 30 שנה, ואנשי ה-IT שם זה לא האנשים הכי, אליט באזורי ה-IT, אז אני רוצה לשים להם משהו מאוד מאוד פשוט, משהו שהוא בולט פרוף, ושייתן להם value כמה שיותר מהר, בשביל זה אני צריך לשמור את המתח, זה מוכן, זה עובד, אל תיגע בזה, תיהנה ממה שזה נותן, ואני אגיד שהרבה אנשי IT הם לא ככה, הרבה אנשי IT בגלל שהם רגילים לזה, לבנות, לקסטם, להגדיר טבלה, לבנות את הסקריפט, להגדיר את האוטומציה. אז יש גם חינוך שוק שהוא לא קטן לשחרר, זה AI, הרצנו אותו על הרבה יותר יוזקיסים ממך, זה פשוט עובד.

Speaker A: ואיך אתם באמת עושים את זה? כאילו איך אתם מחנכים את הצוותים האלה, או אפילו, ניקח את זה צעד קדימה, איך אתם אוכפים את הגבול הזה של כזה, אל תיגע.

Speaker B: כן, זה לא קל, תראה, מן הסתם הראשונים, זה היה יותר קשה, היינו צריכים את ה-Early Adopters בקורסינג דה קאזם, והיה לנו כאלה. עכשיו זה כבר נהיה סוג של, אני חושב שיותר ויותר העולם הולך לשם, זה יכול לעבוד, כאילו לפני שנה או שנתיים, אתה יודע, היה אחלה, אבל אף אחד לא האמין שאתה יכול לזרוק AI וזה יעבוד, היום לדעתי כבר יש יותר הבנה, ובסוף אתה מראה להם לוגוים של חברות מסטארט-אפ של 100-200 עובדים ועד לחברות של 5,000 עובדים שמשתמשות בהרמוני עם K-Studies והכל. ואומרים אוקיי כאילו אם x יודעים לעשות את זה טוב אז כנראה שזה מתאים גם לי באיזשהו מובן ושוב אני נותן יכולות קסטומיזציה אנחנו לאט לאט משחררים יותר ויותר. פשוט אלה האזורים שאני הכי מפחד מהם כי כשאני רואה איתם סקייל אני יודע שאני צריך מישהו שישב על הבעיות שיבואו. אני אתן עוד דוגמא עם לקוחות שבאים אלינו מסרוויס נאו שזה כאילו המוצר של אייטי זה כמו לא יודע אם אתה מפתח זה הקלוד קוד שלך זה הג'ירה זה הגיטאב. סיילספורס לאנשי מכירות וכן הלאה, זה המוצר שהוא הכי קסטומבילי שאפשר, זה סוג של פלטפורמת לגו שבונים שם הכל, ושם תמיד לוקח לי הכי הרבה חינוך שוק, חינוך לקוחות לעשות, כדי להעביר אותה מסטייט אוף מיינד של, למי שלא מכיר סרוויס נאו זה בגדול סטייל, אני אגיד רגע מאנדי בהפשטה למי שלא מכיר, כי זה לבנות טבלאות, לבנות טפסים ולבנות וורקפלואים, כשמגיע עובד חדש, טופס של כל הפרטים האלה, כשהוא מילא את הטופס תכניס את זה לטבלה, כששדה מסוים, לא יודע, התאריך שהוא מתחיל מגיע ליומיים לפני, תטריג וורקפלואו שפותח טיקט שעושה ככה, כאילו בסוף הכל, והם רגילים להגדיר ממש כל שדה, כל עמודה, מה אפשר להגיש שם, מה לא, ואם הוא בחר את זה, אז שיהיה ככה, ואם הוא ככה. ופתאום הם צריכים לשחרר, אני שם רגע בצד אפילו את הרמוני, פתאום הם צריכים לשחרר ולהגיד, רגע, אני פשוט כותב לאג'נט של אונבורדינג לעובד חדש עם השם שלו וזה פשוט עובד, הוא ידע לחלץ את הפרטים? עזוב את זה, אני אומר להם אפילו, אתם לא צריכים להגיד, אני התחברתי כבר ל-HR שלכם, ל-Workday, ל-Bambu, ל-Hi Bob, אני אביא את כל הפרטים, אני אביא את מה שצריך, אני אעשה ניתוח על עובדים דומים שהתחילו. שדומים לפרופיל הזה ואני אגיד לכם כבר מה צריך, אני אגיד איזה מחשב אפשר להזמין לו, אני אגיד לא יודע מה צריך בעמדה שלו, אני אגיד איזה הרשאות צריך לתת לו, כי אני יודע ואני אתן לכם, אני אגיד רגע גם ברמת הביצועים, אני תמיד אתן בסוף Human in the Loop שיעשה Approve, שרק יגיד אחלה, זה מה שאתה רוצה, כן.

Speaker A: אני עובר ככה לחלק של הפרפורמנס, איך אתם יודעים שהאיג'נט עושה עבודה טובה? תכלס, בפרקטיקה, לא בעקרונות.

Speaker B: תשמע, אני חייב להגיד ששוב, עשרה חודשים רגע, אז בוא נגיד את האג'נט שחררנו אחרי שלושה חודשים מההתחלה, זאת אומרת, האג'נט שלנו קיים שבעה חודשים. החודשיים שלושה הראשונים שכבר היו לקוחות משלמים שעובדים עם האג'נט, אני יצרתי דוחות ידנית. הייתי עובר על כל המידע, מנתח אותו, מבין האם האג'נט עשה עבודה טובה או לא. נותן דוח ללקוח אומר לו הנה הוא פתר טוב הוא לא פתר טוב הוא היה אחלה אני מדבר על לא כאילו עשרה טיקטים אני מדבר על מאות ואלפי טיקטים שכאילו הייתי פשוט מסתכל אני יודע שזה לא אידיאלי אבל לבנות ניתוח של האג'נט לדעתי בלי שעובר עליו אדם כמובן שהשתמשתי גם קצת ב-AI כדי לעשות קטגוריזציה והכל. אני הייתי מודד. כי אני הייתי רוצה לדעת שבשורה התחתונה, במבט של בן אדם, אתה מסתכל על פלואו של שיחה של טיקט, והבן אדם שמח. בלי עכשיו ניתוח סנטימנט כללי, או אני חושב שעזר, כי יש כל כך הרבה מקרי קצה. נניח אם אני שואל מה הסיסמה לווי-פיי, סבבה, אני אתן את הקוד. אבל אם אני שואל שאלה קצת יותר מורכבת, שיש בתתי סטאפיות המחשב שלי איתי ונתתי לו טיפ, האם זה עזר לו? האם זה לא עזר לו? האם הוא נטש את השיחה? זה גם קורה, יוזרים שמתחילים לכתוב ואז נוטשים את השיחה. האם זה בגלל שהוא לא שם לב ששלחתי לו נוטיפיקציה בסלאק? האם זה כי כבר אין לו בעיה? האם זה באמת עזר לו? אולי בכלל לא? אולי הוא התעצבן עלינו ופשוט זרק את ארמוני לפח ואמר די אני לא רוצה להשתמש בזה יותר? יש כל כך תתי הסתעפויות שאתה רוצה לנתח ולהבין. היום למזלי זה כבר אוטומטי, יש לנו ממש פייפליין שמנתח את הכל ומייצר תוצאות. היום אנחנו עומדים על 56% של פתרון תקלות בממוצע על פני כל הלקוחות שלנו, זאת אומרת שתדמיין שיש לך 1,000 פניות בחודש, 560, הרמוני יודעת to deflect, אין בן אדם. ואני לא מדבר על דברים בנוסף שלקוחות בונים לעצמם כדי לקחת עוד אחוזים, ארמוני אני מתקין, שעה אחרי זה לצורך העניין אם אני אעשה איזה דיפלוי לכל הארגון, יותר מחצי מהטיקטים נפתרים בקונפידנס מאוד מאוד גבוה, בקונפידנס של 95% ומעלה. יש אתגר איך אני בכלל משקף את זה ללקוח, כן? כי רגע הוא יגיד, אוקיי, תראה לי, תוכיח לי. זה לא משהו, כי בסוף עוד שנה מהיום סבבה, אולי יהיה קל למדוד והכל. אבל עכשיו אתה חושב שאני עושה פירסים לקוח, נניח זה שבועיים שלושה חודש, הוא לא רואה את ההבדל בצורה כזאת מיידית, עד כמה שההבדל נשמע דרמטי, הוא עדיין על הכל.

Speaker A: זה נשמע עשרות אחוזים, אבל כאילו בתכלס מה אני עושה עם זה?

Speaker B: אז תראה, אני אגיד גם, חשבנו גם לדבר על זה בפרק, בסוף הפרומיס היה פעם שאתה מוכר AI, פעם, לפני שנה או משהו כזה, שאתה מוכר AI ואז אתה יכול לפטר אנשים. אף אחד נראה לי כבר לא נמצא בבועה הזאת של אני אביא כלי ואפטר אנשים, אלא במקרה הטוב זה אני אביא כלי והאנשים האלה יוכלו לעשות משהו יותר טוב עם הזמן שלהם. זה באמת, אני אומר, המקרה הטוב. המקרה הפחות טוב זה, או יותר נכון, מה שאנחנו מנסים למצוא, זה איך אני נותן לך חוויית שירות יותר טובה בתור ארגון IT שנותן שירות פנימי. איך אתה תקבל ציון יותר טוב, איך הפרודוקטיביות של העובדים תהיה יותר טובה, איך גם תוכל להתעסק בדברים יותר חשובים, לבנות יותר דברים, ואיך אני אתן לך גם מערכת שתהיה קייפבל להשיג את הדברים שתמיד רצית ולא הצלחת. בסוף אנחנו מדברים פה הרבה על טיקטים, אבל יש גם את היום-יום של איש IT שגם את זה אנחנו לוקחים, שלא קשור לטיקט. אז אני אומר, אתה יודע, ל-CIO או ל-VPIT, בוא תראה, כל הדברים האלה שחלמת שתעשה, הם קיימים בהרמוני, אז לא תוכל לפנות זמן כדי לבנות את הדברים האלה, אלא יש לך את הדברים האלו. אז הביצועים רגע ברמת ה-proper AI זה איך אני מצליח להראות לו שהוא מקבל יותר ממה שהוא היה רגיל אליו עכשיו, וזה בהרבה פרמטרים קטנים, וזה לאט לאט מחלחל לווידג'ט שלנו בדשבורד שהלקוח יכול לקסטם. וזה גם להתחיל לעשות ברייקדאון, כי אוקיי, לקחתי 56 אחוזים נניח בממוצע, איפה זה מתפלג? טיקטים, עבודה יומיומית, איזה סוג של טיקטים, נכנסים לזה יותר ויותר.

Speaker A: ומה הדבר שעדיין קשה לכם למדוד באמת בביצועים של האג'נטים וכל המערכת כולה?

Speaker B: תראה, אז קודם כל, כל הקטע של אכס. כאילו קסטומיזציה, אנחנו לא מודדים, זה כאילו כרגע באחריות הלקוח, עשית קסטומיזציה, תסתכל על זה, זה לא טוב, אבל מן הסתם אנחנו נגיע לשם. לקוח בנה עכשיו את הקטלוג הזה של ה-Vendor Onboarding, אין לי דשבורד בשבילו שאומר כמה היו, כמה זמן זה חסך לו באיזה שהוא עשה את זה, האם זה היה טוב או לא טוב, האם זה פספס, כי זה מפספס, אני מסתכל על חלק מהלקוחות ידנית ורואה שזה מפספס. אז אין לי איזה משהו שאומר לו, עשית את זה, זה נכון, קח 10 שעות בשבוע. אידיאלית זה מה שהייתי רוצה להראות לו, הנה, עד עכשיו עשית את זה והשקעת 10 שעות בשבוע, אני גם לא יודע כמה זמן הוא באמת השקיע על כל דבר, שזה גם, המדד הוא קשה, וגם כשהוא עושה את זה, כמה בדיוק אני חוסך לו, כאילו, סבבה, עשיתי אוטומציה וניתחתי והבנתי ואני משגר בקשה ל-API, אז אני חושב שה... הנגשה של זה בצורה עסקית, של עזוב רגע כמה אחוזים וכמה זה, עסקית, מה הרווחת, מה ה-ROI, בסוף אני הולך ל-CFO שלך, אנחנו הולכים ביחד וצריכים להסביר למה הרמוני עולה 50 אלף דולר, 200 אלף דולר או יותר, וזה לא טריוויאלי, שם אנחנו עדיין נתקעים, ואתה יודע, תמיד יש, אני אגיד רגע מה אנחנו מנסים, לשים את הדולר value, על מה שאנחנו עושים וקצת ברור לכולם שזה קשה לשים דולר value בוא זה כאילו מה אני אעשה איך השאבת את זה רגע זה איש זה איש IT זול או איש IT יקר באמת חסכת לי מהטיקט הזה שעה עבודה או שזה יכול להיות 10 דקות עבודה. זה שכתבת את האינטגרציה אז אוקיי אז הייתי כותב את זה פעם אחת זה היה לוקח לי חודש ו... אז יש פה הרבה מספרים שמאוד קשה לכמת ובכל זאת בסוף צריך לנסות למצוא את זה וזה האתגר שלנו.

Speaker A: כן, ונשמע שגם הדשבורד עצמו זה כזה עוד תת מוצר וגם שם נגעת, האם אני עושה את זה קאסטום לכל לקוח או יש לי איזה דשבורד, כאילו זה ארמוני דשבורד, איך אתם מצליחים לשלב את זה וגם מה אתה מראה היום, מה אני לא מראה, אני יכול לבחור כלקוח.

Speaker B: כן, האמת שזה אזור שאנחנו באים מעולם המוניטורינג, כאילו AKA כזה, גרפנה, דאטה דוק וכן הלאה, ושם אתה חייב לתת קאסטום דשבורד שכל לקוח יכול לבנות לעצמו. אז גם פה עשינו את זה, כי דרך אגב, בשיחות ולידציה שלנו בשלב ה-ideation, אחד האתגרים הכי גדולים היה ריפורטינג. עזוב, אני שם בצד AI, פשוט ריפורטינג בעולמות הטיקטינג. כל המוצרים לא טובים בזה, לא עושים את זה טוב, לא מאפשרים קסטומיזציה, אז הבאנו את עולם המוניטורינג הקלאסי, עם דשבורדים, עם ווידג'טים, שאתה עושה דרג אנד דרופ, שאתה בוחר מטריקה ואיזה פעולה והכל. שם יש פול... קסטומיזציה לבנות כל מה שאתה רוצה וכמובן גם את הדשבורד הבלתיין הראשוני של הרמוני ושם יוזרים בונים לעצמם, שם יוזרים כבר רגילים לזה והם בונים לעצמם. כן, אני אגיד, הדברים הטריוויאליים של כמה טיקטים יש או מי פתח הכי הרבה טיקטים וזה, זה קל. אבל מה אם, סתם אני אתן שאלה, האם ה-Knowledge Base שלי טוב? יש לי בסוף knowledge base ארגוני של איך אני עושה ככה ואיך אני מאפס את הסיסמה ואיך אני עושה ככה וששואלים ככה מה אני עונה, איך אני אומר לבן אדם, ללקוח שלי, שמע, ה- knowledge base שלך טוב או לא טוב, זה כן טוב, זה לא טוב, בסוף יש הרבה מסמכים בכל חברה של איך עושים ככה ומה לעשות כשצריך ככה ולמי מגישים בקשה כשעושים ככה, איך אני אומר לו שזה טוב או לא טוב, עזוב רגע איך אני אומר לו, ידנית נניח אני אצליח לעשות את זה, אבל איך אני מציג לו וידג'ט שאומר לו, אלה טובים, 99% מהפעמים פגעו טוב, ואלה לא טובים, לך תעדכן אותם, או אפילו אני אציע לך מה העדכון. עדכנים שאנחנו תמיד נכנסים אליהם וזה לא פשוט.

Speaker A: איך אתם מחליטים על מה לשים את הפוקוס יותר? שוב, יש את המוצר של האג'נט שפותר את הטיקטים של ה-AI ועושה את העבודה בפועל, ויש את הדשבורד שמראה את ה-value.

Speaker B: שאלה מצוינת, ובאמת לפני... חודש בערך, הגדרנו לעצמנו kpi מוצרים שאנחנו רוצים לגעת בהם. ממש בקצרה, אחד זה אחוז ה-Ticket Deflection, כאילו אותו מצב, מה שיש לנו היום 56 אחוזים, אידיאלית הייתי רוצה 100, זה לא יהיה 100, אבל בוא נגיע, אם זה 56 אחוזים, בוא נגיע ל-75 אחוזים עד סוף הרבעון. בוא נגיע אחרי זה ל-80, כאילו ככל שגם מגיעים לזה, זה פרטו כזה, היוזקיסים הנוספים הם יותר ויותר קשים וגם פחות נפוצים. מלקוח ללקוח, אז זה אחד, כשזה North Star Metric, אז ברור לי מה אני רוצה לעשות, אני רוצה לעשות יותר Agents Out of the Box, אני רוצה שהם יהיו יותר פשוטים, שהם יתפסו יותר use cases וכן הלאה. השני, שלא דיברתי עליו הרבה, זה לגדול מעולמות ה-IT Service Desk. כאילו IT Service Desk זה המקום שבאים אליו כשרוצים מחשב חדש, שהמחשב איטי, כשלא הצלחתי להתחבר, כשאני צריך גישה לתוכנה וכן הלאה. אבל בארגונים הגדולים, למי שיצא פה להיות בארגון של נניח 1,000 עובדים ומעלה סדר גודל, כשיש לכם שאלה על משכורת, אתם פונים ל-service desk. זה לא לאנשי IT, זה פשוט לאנשי HR או Finance. כשאתם רוצים לעשות אונבורדינג לוונדור חדש, אז אתם תעברו דרך service desk של legal. רוצו, לא יודע, משהו מה-DevOps, גם לזה יש service desk, אני רוצה ריסורס חדש על הענן. ואני רוצה... שיהיו לי יותר use cases שהם לא IT. מבחינתי ככל שאני מתרחב בארגון ל-use cases נוספים כאלה, אני בעצם מייצר, נקרא לזה retention יותר גבוה, כי אם זה להחליף רק מוצר IT, לא שזה קל, אבל זה יותר קל מאשר להחליף מוצר שכל העובדים משתמשים בו, שכל הארגון תלוי בו, גם מהצד שנותן שירות פנימית וגם מהצד שמקבל שירות פנימי. ואז זה אומר שאני רוצה לעשות עוד אג'נטים למשל שאני רוצה יום חופש תחשוב איזה כיף אם היית כותב בסלאק אני יוצא לחופשה שבועיים תגיש לי חופש תגיש לי ימי חופש במערכת ה-hr. או אני רוצה לעשות אונבורדינג דה ונדור חדש אני עד עכשיו לקוחות שלנו כותבים את זה לעצמם אבל אוקיי אני מבין מה הפרוסס אצל הלקוח ואני מייצר לך פלואו שמבקש את כל הדברים דואג להעביר את זה דואג לעשות את הניתוח כאילו. יוסקיסים שהם לא IT only, אז לתת שירות כזה שהוא טוב בצורה רחבה, גם זה עוזר לנו להכווין מה הפוקוס המוצרי שאנחנו צריכים לתת ומה הפיצ'רים עם הפוקוס.

Speaker A: ומה באמת כזה התכלס הכי קשה היום, או מתסכל אותך באמת באיפה שאתה רוצה או מדמיין לבין היום ברמת הגמישות וגם הביצועים? ניקח את שני ה... עולמות האלו.

Speaker B: תראה, אני חושב ש... אני אומר ממש, אני מדבר מהימים האלה, כן? שני דברים שעדיין קשים לי, אחד, כל מה שאני מדבר על ביצועים של האג'נטים, זה בסדר, זה עוד לא מושלם. הייתי רוצה אפילו לצורך העניין שלקוח יוכל לשאול שאלה ב-AI, וזה היה מרכיב לווידג'ט מדויק, אל תעשה לי ברייקדאון של כל הטיקטים ואיפה עזרת בהם ואיפה אתה יכול להשתפר. אתה יודע, מוציא לו דוח, הייתי רוצה, זה לא קיים. עולם שני זה כל האזור של, אני אגיד את זה ככה, ביצועים שהם לא קשורים ל-AI אבל של AI. כמה זמן ריספונס טיים מהרגע שיוזר כתב לי הודעה עד הרגע שהחזרתי לו תשובה. פעם היינו ממש גרועים בזה, כן, זה היה לוקח גם דקה עד שהיית עונה. ושוב, אני מחזיר אותך לתחילת הסשן שלנו. אני לא משווה את עצמי לשחקנים מיושנים מלפני 20 שנה, אני משווה את עצמי לקלוד או צ'אט שי פי טי, בוא'נה הדברים האלה עונים ממש מהר, מישהו השווה אותי לקו פיילוט של מייקרוסופט, שהוא מוצר הרבה יותר בסיסי, אתה זורק לו knowledge base והוא רק יודע לענות מתוך knowledge base, כאילו זרקת לו pdf כמו נוטבוק אלהם כזה והוא יודע לענות והוא אומר לי, שמע תראה זה טס שתי שניות לתשובה, שלוש שניות לתשובה ואז כזה הוא כותב בהרמוני והיה לוקח איזה 60 שניות ואתה יודע הייתי מסתכל בכזה. אז היום אנחנו יותר טובים זה 10 שניות אבל א' כל זה לא תמיד 10 שניות לפעמים זה קצת יותר מהיר אבל בp99 אחוזון 99 זה יכול לקחת גם 30 שניות. ואני בכלל רוצה להוריד את זה למטה אני רוצה שהp99 יהיה 5 שניות כאילו שהוורסט קייס סנאריו כמעט ללקוח יהיה 5 שניות שהוא מחכה ובשאר זה יהיה 2-3 שניות. האם זה אפשרי? אני לא יודע כי האייג'נט שלנו הוא מאוד מורכב הוא עושה כל כך הרבה דברים ש... לא בטוח שאפשר להגיע לשם. אז אלה הדברים שמאוד אכפת לי מהם כרגע.

Speaker A: כן, לשפר את הביצועים בכל העולם.

Speaker B: כן, החוויה המוצרית בסוף, זה למה לקוחות באים אלינו, וזה מה שיכול להיות הוואו פקטור, שיגידו אחרי יומיים וואו, כאילו, מה, אתם ממש כבר לקחתם, כאילו אם יש קלוד קוד או קלוד דיזיין או קלוד מיתוס של הסקיוריטי, זה הקלוד IT, זה כאילו the best I can think of ל-IT. בסוף גייסנו כמה עשרות מיליוני דולרים, ובאמת המטרה שלנו לבנות פה סיפור גדול, אנחנו לא רוצים באיזה משהו נישתי. כמובן מגייסים מפתחים, מגייסים PM'ים, במקרה הגעתם עד לפה והקשבתם, אז רק שתדעו.

Speaker A: אז זה הרגע. כן, אני לא יודע, זה באמת רגע לפני סיום, הרמת רגע לפני השאלה של הסיום. כן. נתת פה המון, שוב, מהזווית שלך, שלכם בהרמוני. מזקק את זה לאיזשהו טיפ, מסר לאומה, מה לדעתך באמת הדבר שמי שמאזין או מאזינה או צופים לוקח?

Speaker B: אז אני אגיד משהו שנפל לי עליו ההבנה מהשבועות האחרונים, שכאילו הארגון ממש גדל. אם פעם לשחרר פיצ'ר ללקוח היית יכול להתכונן ולהכין כזה צ'קליסט של נשים את זה בניוזלטר, וככה, אני זוכר היה לנו צ'קליסט ממש מסודר וכזה, הכל טוב. היום, אני כאילו, צוואר בקבוק זה להודיע ללקוח. אני יודע שיש שם עשרות פיצ'רים במוצר, שלקוחות לא יודעים, לא השתמשו בהם, לא הספיקו להגיע אליהם, לא חשופים אליהם. חלק מהלקוחות שמחים על זה, יש לנו לקוחות שמתחברים ואומרים, איזה כיף, שחררתם את זה, כאילו לקוחות שהם... ולכאורה מודיעים לנו על פיצ'ר שאנחנו שחררנו, שגם לפעמים אני לא יודע, כן? כאילו אני מסתכל בצ'אנל עם לקוח ואני רואה כזה, אה, שחררתם את זה? ואני אומר, אה, איזה כיף, באמת חיכיתי לזה, אני אלך ואודיע ללקוח אחר. אז עיקר המיקוד שאני רוצה לתת אליו טיפ, היום כשקל יותר לשחרר פיצ'רים, תוודאו שהדרך אל הלקוח היא סקלבילית בהתאם. בין אם זה in product announcements, בין אם זה, יש לי, אני קורא לזה agent, אבל תכלס זה workflow שעובר כל יום על כל הפיצ'רים שיצאו ללקוחות, שתבין, זה ברמה יומית, על כל הפיצ'רים שיצאו לכל הלקוחות, מחולק לפי לקוח, ואני דואג לעדכן את הלקוחות. כאילו, היי חבר'ה, יצא ככה וככה שביקשתם, רק תדעו. אבל it doesn't scale, כן? אני לא מערכת פריזה יומית שפונה לבין שלושה לעשרה לקוחות לעדכן אותם על משהו שהם ביקשו. אז צריך לחשוב על משהו ש... אם יש לכם דרך אגב רעיונות אני אשמח לשמוע, כאילו אני מאוד אשמח לדעת איך אחרים פותרים את זה, אבל הטיפ שלי הוא לשים על זה דגש, כי אם אתם משחררים הרבה פיצ'רים, חשוב שהם, הדרך אל הלקוח תהיה סלולה וברורה ולא פשוט לשחרר כי זה קילו של פיצ'רים כאילו בחודש שאף אחד לא משתמש בו.

Speaker A: כן, האמת שזה מעניין בעיקר באמת בעידן הריום שיחסית יותר קל היום לייצר את הפיצ'ר ולמסור את ה... אבל מה קורה מהפרודקשן לשימוש?

Speaker B: ממש.

Speaker A: טוב, אז רן, היה לי סופר כיף. באמת, היו פה זוויות מאוד מעניינות, והדרך שלכם בכלל בהרמוני שנשמעת מטורפת. אז כיף שככה הצלחנו והגענו לרגע. אז תודה רבה.

Speaker B: איזה כיף. תודה על האירוע.

Speaker A: בכיף, ותודה לכם, לכל המאזינים, המאזינות, הצופים, הצופות, כולם. ותרגישו חופשי לשתף את הפרק עם כל מי שרק צריך לשמוע ומתעסק באתגרים האלה של לקסטם ואיך אני מודד את האג'נט ובכלל מתעסק במוצרי AI.

Speaker B: וכמובן חמישה כוכבים גם בספוטיפיי וגם באפל פודקאסט, נכון?

Speaker A: כן, כן, רן, תמשיך איתי לפרק הבא, אנחנו...

Speaker B: הייתי אומר שישה כוכבים, אבל הם עוד עובדים על הפיצ'ר הזה.

Speaker A: חמישה פלוס, אז כן, אז תודה רבה ונתראה בפרק הבא.