תסמונת הסטארטרק ו-2 המלכודות של ארגונים בהטמעת סוכני AI

עדיין לא משוכנעים שסוכן-על הוא לא התשובה? בואו לראות איך ארכיטקטורת Multi-Agent מספקת דיוק גבוה, ומייצרת שקט נפשי גם ללקוחות וגם לרגולטור

כאשר ארגונים ניגשים להטמיע סוכני AI בתהליכי חקירה, הם נוטים ליפול באחת משתי שגיאות (דימוי: Dreamstime)

מאת עידו לוסטיג

גם בעידן של אוטומציה מתקדמת, כשקופצת התראה על סכנת ציות, אנליסט הסיכונים יודע שהשלב הבא מחייב בדיקה ידנית. ההתראה עשויה לפעול בעקבות מגוון סימנים מחשידים, כגון קפיצה חדה ופתאומית בהיקף העסקאות בחשבון. ברגע הזה האנליסט נכנס לתמונה: הוא בוחן את פרופיל העסק, סורק את האתר, מנתח את נתיבי זרימת הכספים ומבצע השוואה לחברות מקבילות בענף. רק בתום ניתוח מעמיק אפשר לקבוע אם מדובר בפעילות שגרתית, או בחשד מבוסס לעבירה.

ההתראה הזו מגיעה בסופו של תהליך ניטור וזיהוי אוטומטי ארוך. כיום, השלבים שקודמים לה כבר מכוסים היטב על ידי מגוון כלים: מחוקים דטרמיניסטיים ("אם הסכום עולה על X – הדלק נורה אדומה"), ועד מודלים הסתברותיים, כמו רשתות נוירונים וזיהוי אנומליות, המחשבים סבירות להונאה מתוך מכלול משתנים. לכן, גיוס סוכני AI דווקא למשימות הסטנדרטיות האלו יהיה יקר ולא יעיל. הבשורה האמיתית שהם מביאים נמצאת בשכבה שמעל הכלים האלה: במקומות שבהם האוטומציה הקלאסית לא מצליחה לפצח את המקרה, ומפנה את מקומה לשיקול דעת אנושי. בדיוק שם נכנסים סוכני AI לתמונה.

למה פתרונות LLM בודדים נכשלים?

כאשר ארגונים ניגשים להטמיע סוכני AI בתהליכי חקירה, הם נוטים ליפול באחת משתי מלכודות:

1. מלכודת ה-Fine-Tuning המאסיבי: ניסיון לאמן או לעשות Supervised Fine-Tuning למודל שפה על גבי עשרות אלפי תיקי חקירה היסטוריים. כלומר, להזין לסוכן אלפי מקרים שאנליסטים כבר קיבלו החלטה עבורם, ולצפות ממנו ללמוד מהם כיצד לפעול בעתיד. זה נשמע מפתה, אך בפועל מדובר בפתרון יקר ולא יעיל – הסוכן נדרש לסרוק כמויות אדירות של מקרים פרטניים ומבזבז כוח מחשוב יקר רק כדי להסיק מסקנות. בנוסף, אין היגיון בשימוש בכלי ניבוי סטטיסטי כדי לפתור בעיות מורכבות שהכלים הסטטיסטיים ממילא נכשלו בהן.
2. מלכודת ה-Prompt Overloading: ניסיון להתייחס לסוכן כאילו היה אנליסט חדש שהצטרף לצוות. "LLMs מצוינים בקריאת מסמכים? מעולה, נזין להם את כל הפרוצדורות שלנו – ושילמדו לבד". הזרמת מאות עמודי נהלי קומפליינס לתוך ה-Context Window צפויה להניב כישלון: ההתראות האלו מלכתחילה הגיעו לבדיקה אנושית מפני שנדרש עבורן שיקול דעת אנושי. המציאות מוכיחה שלא משנה כמה מפורטים וברורים הנהלים הכתובים, תמיד יישארו מקרי קצה עמומים שדורשים מעורבות אנושית. מעבר לכך, חלק ניכר מהידע הארגוני כלל לא מעוגן במסמכים, אלא שמור כ"תורה שבעל פה" של הארגון.

הפתרון למגבלות האלה הוא לא סוכן-על בודד שמנסה לבצע את כל משימת החקירה מקצה לקצה – מה שמוביל לעומס קוגניטיבי על המודל, הזיות ו-Context Window Drift. הפתרון הנדסי הנכון הוא פירוק משימות במערך Multi-Agent.

וזה בדיוק מה שעשינו. במקום לנסות לפתור הכל בבת אחת, פירקנו את הבעיה לחלקים קטנים ובנינו סוכן ייעודי עבור כל אחד מהם. בארכיטקטורה הזאת, כל סוכן קיבל מאיתנו פרומפט מקצועי מוגדר, כלים ספציפיים וגישה למקורות מידע שהגדרנו מראש: סוכן אימות עסק סורק את אתר החברה, בוחן את קטלוג המוצרים והתקנון; סוכן ניתוח פיננסי מנתח את נתיבי המזומנים והמקורות הבנקאיים; וסוכן מודיעין ורישיונות מצליב נתונים מול רשמי חברות ומאגרי מידע חיצוניים. כל סוכן מחזיר תובנה מחלק אחר של הבעיה, ויחד הן יוצרות תמונה שלמה.

למה גישת Multi-Agent עובדת טוב יותר? יש לכך כמה סיבות:

• התמחות ודיוק: סוכן שמוגדר אך ורק לביצוע משימה אחת יעשה אותה בצורה הרבה יותר יסודית ומדויקת מסוכן-על כללי.
• בקרת איכות מובנית: סוכנים יכולים לבקר זה את זה. לדוגמה, סוכן א' כותב קוד, וסוכן ב' – שתפקידו הוא רק בדיקת קוד – בוחן אותו ומחזיר לתיקונים במקרה הצורך.
• הפחתת עומס: כל סוכן מקבל רק את המידע וההנחיות הרלוונטיים אליו, מה שמונע ממנו להתבלבל ולשכוח פרטים.
• עבודה במקביל: ניתן להריץ כמה סוכנים במקביל כדי לקצר משמעותית את זמן הביצוע של פרויקטים מורכבים.

המבנה התלת-שכבתי של מערכת Multi-Agent

מערכת ה-Multi-Agent פועלת במבנה היררכי מבוקר, שמבטיח שרשרת קבלת החלטות סדורה:

← שכבת הבסיס – Specialized Insight Agents: סוכנים מבוזרים מחלצים עובדות ותובנות מבוססות דאטה מתוך מקורות מידע שונים במקביל.

← שכבה שנייה – אורקסטרציה והערכת סיכונים: סוכן שמנתח את כלל התובנות ומזהה בהן דגלים אדומים וירוקים.

← שכבה שלישית – נרטיב והמלצה: סוכן שלוקח את רצף הפתרונות, ההחלטות והתובנות, ומגבש אותן לכדי נרטיב. הוא מנסח דוח חקירה שקוף ומנומק, הכולל המלצה אופרטיבית עבור האנליסט האנושי.

השיטה הזאת הופכת את זיהוי מקור הבעיה לקל בהרבה, ומייצרת Modular Maintainability. כך, אם אנליסט מזהה שהסוכן טעה, נניח בסיווג ה-Line of business, אין צורך לאמן מחדש את המערכת כולה – מכווננים או מחליפים אך ורק את הסוכן הספציפי שנועד למשימה זו.

איך מנטרים את תהליך העבודה של מערכת Multi-Agent?

"איך אתם יודעים שזה עובד?" תהיה השאלה הראשונה של הרגולטור, וגם שלנו. התשובה שלנו מגיעה מהעולם הישן של הבקרה, ואנחנו עובדים לפי שלוש מתודות:

1. Golden Set & Automated Benchmarking: הרצה מתמדת של הצעות הסוכנים מול סט נתוני ייחוס היסטוריים מתויגים שטרם נחשפו למודל. ובמילים פשוטות: בתוך המקרים האמיתיים שעליהם עובדים הסוכנים, אנחנו שותלים סט מקרים מתויג מראש שהם מעולם לא ראו. ירידה במדדי הדיוק מתחת לסף מוגדר מראש מקפיצה התראת System Drift ומחזירה את המודל לגרסה הקודמת.
2. דגימה: דוגמים אחוז מהמקרים, שבמקביל לעבודת הסוכן עוברים לבחינה ותיוג של אנליסטים אנושיים. כך אנחנו מרוויחים פעמיים: גם בקרה של עבודת הסוכנים, וגם שמירה על כשירות האנליסטים.
3. Consensus & Self-Consistency Voting: מכיוון שמודלי שפה אינם דטרמיניסטיים, המערכת מריצה שאילתות קריטיות דרך מספר סוכנים במקביל או באמצעות מספר מסלולי חשיבה. זהו שלב חשוב, מכיוון שאם נשאל את אותה שאלה פעמיים נקבל תשובות דומות, אך לא זהות. לכן, הרצת אותו המקרה כמה פעמים, או הרצה של שני סוכנים במקביל על אותו המקרה, תעיד אם ההחלטה יציבה. דרגת השונות בין התשובות משמשת כמדד לוודאות.
4. HITL & Continuous Feedback Loop: כל תיקון על ידי אנליסט אנושי נרשם במערכת ה-Observability. מידע זה משמש ל-Reinforcement Learning ולעדכון הפרומפטים הארגוניים. כלומר, בכל פעם שאנליסט מזהה פער ומתקן סוכן, מתבצעת למידה שתקרב את הסוכנים עוד ועוד לרמת הדיוק של החלטות אנושיות.

הסטנדרט החדש בתעשייה

בפרק "התפוח" בסדרת "Star Trek" מתואר כוכב שתושביו הפקידו את כל מערכות ההגנה שלו בידי מחשבי-על, עד ששכחו כיצד לתחזק אותן בעצמם. יום אחד ההגנה מתקלקלת, ואיש לא יודע כיצד לתקנה. בעולם הסיכונים הפיננסיים, תרחיש שבו מכונה מקבלת החלטות חקירה באופן אוטונומי לחלוטין עדיין אינו ישים בשום צורה – לא טכנולוגית, ולא רגולטורית. עוד אין בתעשייה ודאות מספקת שתוציא את האדם מהלולאה, קופסת ה-AI עדיין שחורה וגם הרגולטורים עוד לא התחילו לעכל את האירוע.

הסטנדרט התעשייתי המוביל כיום הוא Augmented Intelligence: מערך סוכני AI שמבצע את העבודה השחורה של איסוף, הצלבה, סריקה וניסוח הנרטיב הראשוני, ומגיש לאנליסט תיק חקירה מעובד. ברגע שמחלקים את המשימות בצורה נכונה ומנהלים את הסוכנים בארכיטקטורה מודולרית ומבוקרת, מקבלים את הטוב משני העולמות: מהירות ועיבוד נתונים של מכונה, לצד אחריות ושיקול דעת אנושי.