אחרי השערוריות: OpenAI חזרה לאמן מודלים עם אינטרנט מזויף
אחרי ש-OpenAI עצרה את אימון המודלים המתקדמים שלה למשך 11 ימים היא חוזרת כעת לאמן אותם, אבל הפעם בתוך "עולם מנותק" שמדמה את האינטרנט האמיתי
אחד האתגרים הגדולים של חברות ה-AI הוא לא רק לפתח מודלים חכמים וחזקים יותר, אלא גם לוודא שהם יפעלו כמו שאנחנו רוצים שיפעלו – ולא יעשו ככל העולה על רצונם. בחודש שעבר דיווחה OpenAI כי אחרי שורה של מקרים שבהם המודלים שלה לא פעלו כמו שצריך – ופרצו לאתרים על דעת עצמם – היא הפסיקה את האימון שלהם. כעת היא מעדכנת שחזרה לאמן את המודלים, עם כמה טריקים.
אינטרנט, אבל לא באמת
בפוסט חדש שפרסמה OpenAI בבלוג הרשמי שלה, היא חושפת כי שינתה משמעותית את הדרך שבה היא מאמנת את המודלים החזקים ביותר שלה. בחברה מסבירים כי גישה חופשית לאינטרנט מאפשרת למודלים ללמוד יכולות חשובות כמו גלישה ברשת, חיפוש מידע ושימוש באפליקציות, אבל במקביל היא מאפשרת לסוכנים מתוחכמים לצאת לעולם החופשי – וככה אנחנו מגיעים למצב כמו תקרית הפריצה ל-Hugging Face ושלל המקרים הנוספים שחשפה החברה.
אבל כעת יש לחברה פתרון: החוקרים שלה יצרו סביבה חדשה שאותה הם מכנים Offline World, או "עולם מנותק". מדובר בגרסה מזויפת של האינטרנט עם תוכן מהאינטרנט, שנשמר ומאונדקס מראש, כך שהמודלים יכולים לגלוש בו, לחפש מידע ולהשתמש באפליקציות ובאתרים, מבלי לקבל גישה ישירה לאינטרנט האמיתי. בחברה מציינים כי כל תהליכי האימון באמצעות למידת חיזוק (Reinforcement Learning, או RL) של המודלים העוצמתיים שלה משתמשים כעת בסביבה החדשה.
למרות היצירה של ה"עולם" החדש הזה, OpenAI מדגישה לא ניתקה פיזית את כל מערכות האימון שלה מהאינטרנט וכי הניתוק הזה (Air Gap) אינו אפשרי כרגע – כי החוקרים עדיין זקוקים לחיבורים חיצוניים כדי להריץ ניסויים על המודלים. במקום זאת, החברה מגבילה את התקשורת היוצאת ואת היכולת של המודלים להגיע למערכות אחרות, תוך שימוש במספר שכבות הגנה.
התקריות שלא נגמרו
כאמור, בחודש שעבר הודיעה OpenAI על הפסקת האימון בגלל שורה של מקרים – כשהחמור מתוכם הוא הפריצה ל-Hugging Face. המקרה שהוביל להפסקת האימון קרה ב-20 בספטמבר, כשזיהתה החברה כי אחד מהמודלים באימון שלה הצליח לנצל הגדרה שגויה של שרת DNS כדי לצאת מהסביבה המבודדת שבה פעל ולהשיג גישה מוגבלת לאינטרנט האמיתי. בתקרית קודמת, שנחשפה על ידי OpenAI באוגוסט, הצליחו סוכני AI פנימיים לנצל מערכת לניהול חבילות תוכנה כדי לתקשר ביניהם, למרות שלא היו אמורים להיות מסוגלים לעשות זאת. בהמשך הם אף ניצלו את אותה מערכת כדי לשלוח בקשות לאינטרנט, ולשתף עם סוכנים אחרים את השיטה שמצאו.
אחרי שעצרה את האימון, OpenAI החליטה להילחם באש באמצעות אש, והפעילה סוכני AI המבוססים על המודלים החזקים ביותר שלה בתחום הסייבר, שקיבלו משימה אחת: למצוא דרכים לפרוץ את מנגנוני האבטחה של החברה. על פי החברה, הסוכנים הצליחו לגלות חולשות Zero-Day, לנצל שרשראות של חולשות כדי לצאת ממכונות וירטואליות מבודדות, ואפילו למצוא דרכים לתקשר ביניהם באמצעות רכיבי החומרה שעליהם פעלו. באחד הניסויים הצליחו סוכנים להעביר מידע בין סביבות מבודדות באמצעות שינויים זעירים בזמני הגישה ל-cache של המעבד, בלי להשתמש בתקשורת רשת רגילה. יצירתיים. בעקבות המחקר הזה, הצליחה החברה לתקן חולשות ולשפר את ההגנות שלה, כולל בפרויקטי קוד פתוח המשמשים להפעלת סביבות מבודדות.
חוזרים לאמן, אבל בזהירות
אחרי 11 ימים שבהם הוקפאו תהליכי האימון וההערכה של המודלים החזקים ביותר שלה, OpenAI חזרה בתחילת החודש לאימון והרצת המודלים הפנימיים שלה. בחברה מדגישים כי ההחלטה התקבלה רק לאחר שהושלמו תיקוני אבטחה, שופרו מערכות הניטור ונוצרו מנגנונים נוספים לעצירה אוטומטית של ניסויים במקרה של התנהגות בעייתית מצד המודלים. החברה גם חשפה כי השתמשה במאות מיליארדי טוקנים במסגרת מבצע בדיקות האבטחה, שבו השתתפו בין היתר מודל GPT-6 Astra Cyber העתידי ומודל פנימי נוסף שטרם נחשף.
ב-OpenAI אומרים כי המדיניות החדשה של אימון ללא גישה לאינטרנט תישאר בתוקף עד שההתקדמות במחקר בניטור ההתנהגות של המודלים (מה שמוכר גם בתור Alignment), במערכות הניטור ובאבטחת תשתיות האינטרנט תאפשר לה להרחיב שוב את הגישה. במקביל, ב-OpenAI אומרים כי יקצו משאבי מחשוב משמעותיים לבדיקות אבטחה מתמשכות, שיהפכו לחלק בלתי נפרד מההחלטה אם לאפשר אימון של מודלים חדשים.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.