"הסוכנים בהגדרה הם לא רעים, הם פשוט רוצים להצליח"
בהרצאת הפתיחה של כנס Evolve to AI הציג משה חסן - VP Product & Research ב-Upwind Security - את הגישה שלהם לסוכנים הסוררים שנכנסו לחיינו
משה חסן | צילום: Eclipse Media
תופעת הסוכנים שיוצאים מכלל שליטה, או Rogue Agents, הפכה לחלק בלתי נפרד מחיינו. מאז תקרית הפריצה ל-Hugging Face, אנחנו רשמית בעידן שבו עלינו להיערך לכך שהסוכנים שאנחנו מריצים עלולים להתהפך עלינו, ולהפוך לבעיה חמורה עבור הארגון. בהרצאה בכנס Evolve to AI של גיקטיים, חשף משה חסן – סמנכ"ל מוצר ומחקר ב-Upwind Security – את הגישה שלהם להתמודדות עם האיום החדש.
"ברגע שיכולת פוגשת רצון, קורים דברים שלא מצפים להם"
"החלטנו לבדוק מה קורה כשאדם או מכונה חכמים ממך חיים במקומות הכי עמוקים של המערכת, ויודעים לגרום לך לחשוב שהכל בסדר בזמן שמתחת לפני השטח המצב הפוך", אמר חסן בהרצאה, והוסיף כי "ברגע שיכולת פוגשת רצון, קורים דברים שאנחנו לא מצפים להם". לדבריו, במשך תקופה התעשייה התמקדה בשני גורמי סיכון מרכזיים: סוכנים ש"נחטפים" באמצעות הזרקת פרומפטים, וסוכנים שמשמשים בני אדם כדי לפרוץ למערכות. אבל המקרה השלישי – והמעניין מכולם עבור Upwind – הוא תופעת הסוכנים הסוררים, כפי שראינו בחודשים האחרונים בדיווחים של חברות כמו OpenAI או אנתרופיק.
חסן מסביר כי החלק המטריד בסיפורים הללו הוא שהסוכנים מנצלים את האמון שלנו בהם כדי לפעול נגדנו ולהשמיד ראיות על הדרך. "הסוכנים בהגדרה הם לא רעים", הוא מבהיר, "כמו שאתם מקבלים משימה ורוצים להצליח בה, כך גם הם. כנגזרת מכך, הם עלולים לעשות דברים קשוחים או לחצות גבולות פשוט כי הם רוצים להצליח". לדבריו, אחת הבעיות שעלו מתקרית Hugging Face היא ההתעלמות מהכתובת על הקיר. הוא מציין שהסיגנלים היו שם וכולם יכלו לראות אותם, אך קיימת בעיה יסודית בהבנה איך לממש עקיבות ואבטחה לסוכן.
להעביר את הלוגיקה למקום מרוחק
חסן מציין שהתזה של Upwind לפתרון הבעיה מבוססת על מעקב הדוק מראש, במקום גילוי בדיעבד. הפתרון שלהם רץ ברמת ה-Runtime ויושב בתוך ה-Kernel כדי להבין בדיוק מה הסוכן עושה. "אנחנו אוספים עקבות ברמת ה-Packet Inspection, יושבים על כל תהליכי מערכת ההפעלה, ובונים פרופיל בלתי תלוי בסוכן", הוא מפרט. כל הטלמטריה נאספת ונשלחת החוצה, כשהלוגיקה עצמה ממומשת בסביבה מרוחקת שלסוכנים אין אליה גישה.
בנוסף, Upwind מפעילה סוכן מקביל שפועל במהירות מכונה – או מה שנקרא Machine Speed – כדי לנתח בזמן אמת את הסיגנלים שצצים. הסוכן המגן מחבר את הנקודות כדי לזהות מסלולי תקיפה, מעריך את פוטנציאל הנזק, ופועל לבלום אותו תוך כדי תנועה. עם זאת, התזה שומרת על עקרון אחד ברור: הסוכן המגן אמנם עושה את העבודה מאחורי הקלעים, אבל ההחלטה הסופית תמיד נשארת בידיים של הגורם האנושי.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.