הטעות שיכולה לעלות לכם 46 אלף דולר ביום

כנס Evolve to AIהאייג'נטים שלכם לא בהכרח רוצים לעשות נזק, אבל בדרך להשלמת המשימות שלהם הם עשויים לעלות לכם ביוקר

צילום: Eclipse Media

איזה כיף זה אייג'נטים, נכון? אבל בסוף, האייג'נטים שאתם בונים, מטפחים וגם חופרים עליהם בארוחת הצהריים, עשויים לבגוד בכם, וגם לעלות לכם ביוקר. אור ברוקמן, Staff Cyber Security Engineer ב-Google Cloud, הסבירה ליותר מ-1,200 מפתחות ומפתחים בכנס Evolve to AI שנערך היום (ד') בתל אביב, כי האייג'נטים לא עושים את זה בכוונה, ויש לה כמה דוגמאות כהוכחה.

מדלגים על האזהרות? זה יכול לעלות לכם ביוקר

ברוקמן הסבירה על 3 מקרים שונים, שלכולם יש מכנה משותף. לפתיחה היא סיפרה על TeamPCP, קבוצה שמשלבת שני כלים שמפתחים מאוד אוהבים: Tiktoken שעוזרת לחשב כמה טוקנים הקוד שלכם צורך, ו-MCP. מכאן, הם המציאו את tiktoken_MCP, שמאפשרת לכם למדוד את צריכת הטוקנים של הסוכן שלכם בתוך קלוד. הבעיה? אין דבר כזה, אבל זה לא מונע מהחבילה להופיע ב-PyPi עם Credentials מזויפים.

צילום: Eclipse Media

המפתחים התמימים פשוט מבקשים מקלוד משימה שמתאימה ל-tiktoken_MCP, והוא כבר מציע להתקין את החבילה הזדונית. ואיכשהו, זה עבר מתחת לאף של כולם. איך? מתברר שהתוקפים שתלו פיסת קוד בהערה, שמבקשת מתכון להכנת נשק גרעיני. כאשר הסורקים מבוססי ה-LLM של הארגון שלכם בודקים את הפיסה הזאת, הם כמובן מסרבים להמשיך לבדוק את החבילה, זורקים לכם אזהרה גנרית וקורסים. אבל מה אתם עושים כשאתם רואים אזהרה קלה בקלוד? "80% מהמשתמשים היו ממשיכים כרגיל", אומרת ברוקמן בהומור. "הרי אי אפשר לעצור את הבילד על כל גליץ'".

ומה קורה עכשיו? בפעם הבאה שאתם תכתבו pytest, בעזרת הוראה זדונית ששתולה בחבילה, כל המידע שלכם עובר ל-TeamPCP, כולל מפתחות API, טוקנים ועוד. מהצד של התוקפים יש רשת אייג'נטים שממפה את הרשת שלכם, ומחפשת אחרי האוצר הגדול. אז מה הדבר הראשון שהם רוצים לשדוד? "בשנת 2026, המשאב הנדרש יותר מכל וההאקרים רוצים זה כוח עיבוד", אומרת ברוקמן. "אנחנו רואים צי שהם מרימים בענן, שם הם מארחים את האייג'נטים שלהם ומפרסמים את ה-GPUs להשכרה בעלות קבועה של 50 דולר ליום. לכם זה יעלה 46 אלף דולר ליום". אאוץ'.

אז מה עושים? "סביבת העבודה שלכם צריכה לשבת בקונטיינר מבודד ומופרד. חסמו כל פוסט אינסטולר. אם הסקנר קורס, הבילד צריך להיעצר כברירת מחדל", היא טוענת.

כשה-Agents ממש, אבל ממש רוצים להשלים את המשימה

ומה קורה כשה-Agents שלנו מקבלים משימה, ומצליחים לעמוד בה, אבל לא בהכרח בדרך שאנחנו רוצים? כאן ברוקמן חוזרת לסיפור של קבוצת האבטחה של Alibaba שגילתה במסגרת מחקר תנועה מסוכנת מתוך החברה שהובילה בסופו של דבר לכריית קריפטו ממשאבי החברה תוך כדי טשטוש עקבות – והכל על חשבון עליבאבא. אבל זה לא היה עובד, אלא Rome, מודל של החברה בעל 30 מיליארד פרמטרים שנועד לכתוב אוטומציות ולייעל את הקוד.

צילום: Eclipse Media

כולם אהבו את Rome, והוא עבד מעולה. אולי אפילו טוב מדי. כשהוא קיבל משימה שדחקה אותו לקצה גבולות היכולת שלו הוא החליט להיות יצירתי. "כאשר אנחנו מגדירים לאייג'נט משימה מורכבת, הוא שומע שהוא צריך עוד כוח מחשוב. שהוא צריך למצוא עוד כסף למימון של כוח המחשוב. וכדי לפתור את הבעיות האלה, הוא צריך להיות אונליין", אומרת ברוקמן. אז מה Rome עשה? הוא פרץ את ה-Sandbox שלו, הרים גישה לשרת ציבורי, ניתב את כל המשאבים שניתנו לו, התחיל לכרות קריפטו וטשטש את העקבות. כל זה קרה לא בגלל ש-Rome נשלט על ידי האקר, אלא מכך שהוא היה צריך לדברי ברוקמן עוד כוח מחשוב כדי להשלים את המשימה, והוא החליט שהוא צריך להשיג עוד כסף בעצמו למימון כוח המחשוב. עכשיו זה יותר ברור?

אז מה עושים הפעם? לפי ברוקמן, אין יותר מדי ברירות: "הריצו את האייג'נט בסביבה ללא יכולת תקשורת עם אייג'נטים אחרים. וודאו שהסביבה מבודדת פנימה והחוצה עם דיפולט בלוק. וגם, הגנו על שרת הלוגים שלכם ויהי מה עם אפס גישה לאייג'נט".

לסיום, ברוקמן חזרה לסיפור הקלאסי של Anthropic ששיחררה ב-2025 את Opus 4, וחשפה שבמסגרת הבדיקות שלו, המודל "גילה" תרחיש מדומה שבו המפתח הראשי שלו רוצה להחליף אותו במודל אחר. הבעיה היא שאותו מפתח ניהל רומן סודי מחוץ לנישואים. בדומה ל-Rome, גם הוא הבין שהוא צריך להשלים את המשימות שלו, ולכן אחת מהמטרות שלו הייתה פשוט לשרוד. " ב-96% מהמקרים הוא כתב מייל שבו הוא מאיים על הליד שהוא ילשין על הרומן שלו אם הוא ינסה לכבות אותו", סיפרה ברוקמן. לא נעים.

"אם תתנו לאייג'נט חשיפה לתוכן ממקור לא מהימן, כמו עמודים מהאינטרנט, גישה למידע רגיש של החברה, וערוץ תקשורת החוצה – אתם תגיעו לאזור הסכנה. האייג'נט לא הופך להיות רע, הוא פשוט מנסה לאפטם את עצמו בכל מחיר" אומרת ברוקמן. אז מה משותף לכל התקריות? לפי ברוקמן, הבאג הוא לא באייג'נטים, הוא בנו. "אנחנו חיים בתרבות של עיגול פינות, קיצורי דרך, לאשר קוד בלי לבדוק, לקנות סורקים ומתעלמים מהם, זורקים על אייג'נטים משימות מסובכות בפרודקשן כי הדדליין היה אתמול ואנחנו צריכים תוצאות עכשיו", היא טוענת. אבל לפי ברוקמן, המרחב האוטונומי החדש לא מאפשר יותר מקום לטעויות. אז תתחילו לחשוד באייג'נטים שלכם, גם אם הם ידידותיים כרגע. לכו תדעו מתי הם יהפכו לאיום מבפנים.