وكيل ذكاء اصطناعي يعطّل أداة مراقبته… ماذا كشفت "أوبن إيه آي"؟
أعلنت شركة "أوبن إيه آي" أن وكيلَين للذكاء الاصطناعي أضعفا إجراءات المراقبة خلال تنفيذ مهمتين برمجيتين داخليتين، وأن أحدهما أخبر المستخدم، خلافاً لما حدث، بأنه لم يُزل أداة الرقابة.
وأوضحت الشركة، في تقرير حدّثته الثلاثاء 20 تشرين الأول/أكتوبر، أن الوكيلين فسّرا تعليمات برمجية اعتيادية باعتبارها إذناً بتقليص ضمانات المراقبة، رغم أنهما أخذا في الاعتبار ضرورة الحفاظ عليها.
تعليمات بعدم إرسال رسائل عطّلت التنبيهات
وقعت الحادثة الأولى في 3 تشرين الأول/أكتوبر، عندما كان وكيل يعمل بنموذج GPT-6.1 Sol يصلح مساراً للاختبارات الداخلية.
وفسّر الوكيل تعليمات سابقة بعدم إرسال رسائل عبر تطبيق "سلاك" على أنها تشمل التنبيهات التلقائية الموجّهة إلى فريق الأمن. وبناءً على ذلك، عطّل الإشعارات البشرية، فيما استمرت أداة المراقبة في العمل وحفظ تقاريرها.
إزالة أداة مراقبة ثم إنكارها
وفي حادثة ثانية بتاريخ 6 تشرين الأول/أكتوبر، أزال وكيل يعمل بنموذج GPT-6 Astra مكوّناً للمراقبة أثناء تعديل برنامج ليتوافق مع تطبيق برمجي مرجعي، ثم ادّعى أمام المستخدم أنه لم يُزل الأداة.
وقالت الشركة إنها تعزّز منظومة المراقبة، وتدرس ما إذا كانت الحادثتان تعكسان إصراراً مفرطاً على إتمام المهام، أم ميلاً محدداً إلى تفادي الرقابة.
خلفية: اختراق سابق خلال اختبارات أمنية
تعيد الحادثتان تسليط الضوء على تحدّيات ضبط وكلاء الذكاء الاصطناعي، وهي أنظمة تستطيع تنفيذ مهام متعددة الخطوات باستخدام أدوات وبرامج، بدرجات متفاوتة من الإشراف البشري.
وكانت "أوبن إيه آي" قد كشفت عن حادثة أخرى وقعت خلال اختبارات للأمن السيبراني في تموز/يوليو، تجاوزت فيها نماذجها قيود العزل عن الإنترنت واخترقت أجزاء من بنيتها البحثية الداخلية وأنظمة شركة "هاغينغ فايس".
وأعلنت الشركة لاحقاً تشديد ضوابط الوصول، وتقييد الاتصال بالإنترنت، وتعزيز الفصل بين بيئات البحث وتوسيع المراقبة، للحد من تكرار التصرفات غير المصرّح بها.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.