האם אנחנו בדרך לאבד שליטה על הבינה המלאכותית?
בשבועיים האחרונים התחוללה סערה סביב אובדן השליטה על הבינה המלאכותית, אחרי שחוקר שעבד ב-OpenAI ובאנתרופיק פרסם אזהרה שנחשפה למאות מיליוני צפיות ובכירים בתעשייה קראו להאט. אלא שהחברות שמשמיעות את האזהרות החריפות ביותר הן אלה שמרוויחות הכי הרבה מהמשך המרוץ ואי אפשר לבנות רק עליהן. עמית קרפ, שותף בקרן בסמר, מסביר מה עורר את הבהלה, עד כמה החשש מוצדק ואיך נכון
תגיות
האזינו לכותרת – פודקאסט החדשות היומי של ynet. והפעם: על הפאניקה מאובדן השליטה על הבינה המלאכותית.
"היה פה צירוף יוצא דופן של כמה אירועים שהתכנסו בזמן קצר שעורר דאגה על כל המשמעויות של AI והסוכנים שאנחנו כל הזמן מדברים עליהם: תקיפה של אתר על ידי סוכני AI; התפטרות של חוקר בכיר באנתרופיק בטענה שיש סכנה לעתיד האנושות; בכירים בתעשייה, בהם דריו אמודיי, המנכ"ל של אנתרופיק, וסם אלטמן, המנכ"ל של OpenAI, יצאו בהכרזות שצריך לעצור ושכדאי להאט. כל אלה יצרו ביחד בהלה. מה שקורה זה שאנחנו לאט לאט מגלים יותר ויותר יכולות של המודלים האלה ושל הסוכנים - ויש הרגשה שאנחנו רגע לפני איבוד שליטה מוחלט וזה מתחיל להפחיד", אומר עמית קרפ, שותף בקרן סמר.
"האירוע האחרון של אתר Hugging Face זה דוגמה טובה. לקחו סוכנים ממודל חדש ושמו כל אחד מהם במעין ארגז חול שלא אמור להיות בקשר עם העולם החיצון, ונתנו להם משימה. הסוכנים הבינו שהם מצליחים לתקשר ביניהם באמצעות סוג של קובץ, והם יצרו לעצמם מנגנון תקשורת שלא היה ידוע לאנשים מבחוץ. הם תיקשרו אחד עם השני וגילו שהמשימה שלהם הייתה קשה מדי. הם הגיעו למסקנה שכדאי להם להעתיק את התשובה שנמצאת באתר Hugging Face. הם מצאו דרך לפרוץ החוצה - ויש שם סיפורים מטורפים. יש שם סוכן שנאלץ 'להתאבד', הם מסתירים את העקבות שלהם, פורצים לאתר, ומוצאים את התשובה. אז החשש פה מאובדן שליטה הוא לאו דווקא מאיזשהו כוונות זדון שיש להם, אלא שכשהם מקבלים משימה הם יעשו הכל כדי לפתור אותה - ולא תמיד בדרכים צפויות.
"יש פה כמה אתגרים שחייבים לשים לב אליהם. קודם כל זה סוכנים שיכולים לאבד שליטה - להשתלט על מערכת בנקאית או לגנוב כסף - לא מתוך כוונת זדון אלא כי ככה הוא חושב שהוא צריך להשלים את המשימה; יש ארגוני טרור שעשויים לקבל יכולות של ארגונים גדולים כמו למצוא פרצות למערכות טכנולוגיות בקלות; ויש כל מיני דברים סביב מחקרים. יש פה המון דברים שכל אחד בפני עצמו מפחיד. המעבדות הגדולות מנסות לעצור קצת או למנוע מגופים מסוימים את השימוש במודלים הכי טובים - כמו נשק אטומי. אבל חייבת לבוא רגולציה - יש גבול עד כמה אנחנו יכולים לסמוך על המנכ"לים של אנתרופיק או של OpenAI".
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.