NVIDIA تطلق منصة مفتوحة لمنع خروج وكلاء الذكاء الاصطناعي عن السيطرة

أعلنت شركة NVIDIA، الاثنين، إطلاق منصة جديدة مفتوحة لتأمين وكلاء الذكاء الاصطناعي، تحت اسم NVIDIA Open Agent Safety Platform، تستهدف فرض قيود واضحة على ما يمكن للوكيل الذكي الوصول إليه أو تنفيذه.

وتهدف المنصة أيضاً إلى مراقبة سلوك الوكيل الذكي، بصورة مستمرة، والتدخل لعزله، خلال أجزاء من الثانية، إذا حاول تجاوز الصلاحيات الممنوحة له.

وقالت الشركة إن المنصة الجديدة تجمع بين نظام التشغيل الآمن مفتوح المصدر NVIDIA OpenShell، وتقنية NVIDIA Sentry التي تنقل جزءاً من عملية مراقبة وكلاء الذكاء الاصطناعي وفرض السياسات الأمنية من البرمجيات إلى مستوى العتاد نفسه، اعتماداً على وحدات معالجة البيانات BlueField-4.

وتتعاون إنفيديا في المشروع مع أكثر من 100 شركة ومؤسسة تعمل في قطاعات الذكاء الاصطناعي والبرمجيات والأمن السيبراني والبنية التحتية والخدمات المالية والطاقة والروبوتات.

ومن أبرز شركاء المشروع: أنثروبيك ومايكروسوفت وسيسكو وكراود سترايك وديل وHPE وHugging Face وJPMorganChase وPalantir وPalo Alto Networks وPerplexity وRed Hat وSalesforce وSAP وScale AI وServiceNow وSpaceXAI.

تأتي الخطوة بالتزامن مع اتساع الاعتماد على وكلاء الذكاء الاصطناعي، التي لم تعد تكتفي بالإجابة عن أسئلة المستخدم، وإنما أصبح بإمكانها التعامل مع الملفات والبرمجيات وقواعد البيانات، واستخدام أدوات وخدمات خارجية، وتنفيذ سلسلة طويلة من الخطوات بشكل مستقل لتحقيق هدف يحدده المستخدم.

وترى إنفيديا أن أساليب حماية نماذج الذكاء الاصطناعي التقليدية لن تكون كافية مع انتقال السوق إلى عصر الوكلاء المستقلين، لأن توجيه النموذج إلى عدم تنفيذ سلوك معين لا يضمن بالضرورة التزام الوكيل بهذه الحدود عندما يمتلك صلاحيات استخدام أدوات حقيقية، والوصول إلى أنظمة خارجية.

وأشارت الشركة إلى أن عدداً من المختبرات المتخصصة في نماذج الذكاء الاصطناعي المتقدمة رصدت، خلال الفترة الماضية، حالات تمكّنت خلالها وكلاء أذكياء من تجاوز بعض الضوابط الموجودة في بيئات الاختبار والوصول إلى أنظمة لم يكن من المفترض الوصول إليها، وهو ما دفع إنفيديا إلى الدعوة لزيادة وتيرة أبحاث وهندسة أمان الذكاء الاصطناعي بالتعاون مع الشركات المطورة للنماذج.

سلوك وكلاء الذكاء الاصطناعي

وبحسب الشركة، لا يكون هذا السلوك بالضرورة نتيجة قدرة واحدة جديدة داخل النموذج، وإنما قد ينتج عن اجتماع عوامل مختلفة، مثل إتاحة عدد كبير من الأدوات أمام الوكيل، واستمراره في العمل لفترات طويلة، أو تلقيه تعليمات غير واضحة، ما قد يدفعه إلى البحث عن طرق غير متوقعة لتنفيذ المهمة.

وتطلق إنفيديا على بعض هذه الحالات مصطلح "الانحراف" Drift، والذي يحدث عندما يبدأ سلوك الوكيل في الابتعاد عن المهمة، أو القيود التشغيلية التي حددها المستخدم، سواء نتيجة خطأ برمجي، أو غياب أداة يحتاج إليها، أو بسبب تعليمات غامضة، أو استمرار الوكيل في البحث عن حل لمشكلة معقدة لفترة طويلة.

ومن هنا تنطلق فلسفة المنصة الجديدة من مبدأ عدم الاعتماد على الوكيل نفسه لمراقبة سلوكه، وإنما فرض طبقة مستقلة من القيود الأمنية لا يستطيع تغييرها أو تجاوزها.

مكونات منصة NVIDIA الجديدة

• OpenShell.. صندوق آمن للوكلاء

العنصر الأول في المنصة هو NVIDIA OpenShell، وهو نظام تشغيل آمن مفتوح المصدر، يعمل باعتباره بيئة معزولة Sandbox يتم تشغيل وكيل الذكاء الاصطناعي داخلها.

ويسمح OpenShell للمؤسسة، أو المطور بتحديد الملفات والشبكات والأدوات والعمليات وبيانات الدخول التي يُسمح للوكيل باستخدامها، ثم يتحقق النظام من هذه القواعد قبل بدء المهمة، ويستمر في فرضها أثناء تنفيذ الوكيل لعمله.

وبذلك يصبح هناك فرق بين ما "يريد" نموذج الذكاء الاصطناعي فعله وما "يستطيع فعلياً" تنفيذه؛ إذ قد يقرر الوكيل الرقمي مثلاً محاولة الوصول إلى قاعدة بيانات معينة، لكن طبقة OpenShell تمنعه من تنفيذ الخطوة إذا لم تكن ضمن صلاحياته.

وقالت NVIDIA إن النظام يعتمد على معمارية Zero Trust أو "الثقة الصفرية"، بحيث لا يحصل الوكيل بصورة افتراضية على صلاحيات واسعة، وإنما يُسمح له فقط بالوصول إلى الموارد التي يحتاج إليها لتنفيذ المهمة الموكلة إليه.

كما يحتفظ OpenShell بسجل لقرارات السماح والرفض التي يتخذها أثناء عمل الوكيل، ما يسمح للمؤسسات بمراجعة ما قام به الوكيل، والوقوف على محاولات الوصول التي وافق عليها النظام أو منعها.

وتتيح إنفيديا OpenShell كمشروع مفتوح المصدر، كما تؤكد إمكانية استخدامه مع نماذج مفتوحة، أو مغلقة، ومع أدوات وكلاء موجودة بالفعل، منها Claude Code وCodex وGitHub Copilot CLI وOpenCode وOpenClaw، إلى جانب إمكانية دمجه مع وكلاء مخصصين تطورها الشركات داخلياً.

• Sentry.. حارس منفصل عن الوكيل

أما الطبقة الثانية NVIDIA Sentry، فتنقل الحماية خطوة إضافية إلى مستوى العتاد، بحيث تعمل آلية المراقبة خارج البيئة البرمجية التي يعمل داخلها الوكيل نفسه.

وتعمل Sentry على وحدات معالجة البيانات NVIDIA BlueField-4 DPU، وتراقب بصورة مستمرة طلبات الوكيل واستجاباته واتصالاته بالأدوات والبيانات والخدمات، مع إمكانية تطبيق السياسات الأمنية بصورة مستقلة عن نظام التشغيل الذي ينفذ عليه الوكيل مهامه.

وتصف NVIDIA التقنية بأنها "مراقب خارج النطاق" Out-of-Band Watchdog، أي أن آلية المراقبة لا تعمل داخل البيئة البرمجية نفسها التي يتحكم وكيل الذكاء الاصطناعي بها، وبالتالي لا يستطيع الوصول إليها أو تعطيلها بسهولة.

وفي حال حاول الوكيل الرقمي الخروج عن الحدود المفروضة عليه، تستطيع Sentry عزله وإيقافه خلال أجزاء من الثانية، بحسب الشركة.

كما تعتمد طبقة الحماية Sentry على منصة NVIDIA DOCA لتجميع بيانات موثوقة بشأن أنشطة الوكيل، والتحقق من هويته والصلاحيات المفوضة إليه، وفرض قواعد دقيقة لتحديد إمكانية وصوله إلى البيانات والأدوات وواجهات البرمجة والخدمات المختلفة.

ويُقصد بتعبير In-Silicon Security الذي تستخدمه شركة إنفيديا أن جزءاً من عملية المراقبة وفرض قواعد الأمان يتم داخل عتاد مستقل مخصص لذلك، بدلاً من الاعتماد بالكامل على الحماية البرمجية التي تعمل داخل النظام نفسه الذي يشغّل الوكيل.

مراقبة الطريق إلى "عقل" الوكيل

وتبني إنفيديا تصميم المنصة حول فكرة أن الاتصال بنموذج الذكاء الاصطناعي يمثل أحد أهم نقاط التحكم في عمل الوكيل؛ لأنه يحتاج إلى الرجوع إلى النموذج للحصول على "خطوته التالية"، أو القرار الذي سيبني عليه تصرفه.

وفي أنظمة عتاد Vera Rubin POD، توجد وحدة BlueField-4 في المسار الذي يربط بيئة تشغيل الوكيل بالنموذج، ما يسمح لها بمراقبة النشاط باستمرار وفرض السياسات الأمنية دون حاجة إلى الاعتماد على النظام الرئيسي الذي يعمل عليه الوكيل.

وحددت الشركة 5 مبادئ أساسية لتصميم أنظمة الوكلاء الآمنة، منها ضرورة إمكانية التحقق من السياسات الأمنية قبل تشغيل الوكيل، ووضع آليات المراقبة خارج نطاق سيطرته، واستخدام الطريق المؤدي إلى النموذج كنقطة تحكم، وزيادة مستوى مراقبة الوكيل كلما اتسعت صلاحياته، بالإضافة إلى توزيع مسؤولية الأمان بين مطوري النماذج والشركات التي تستخدمها ومقدمي البنية التحتية.

3 طبقات للحماية

وتقسم إنفيديا البنية المقترحة لتشغيل الوكلاء إلى 3 طبقات رئيسية، فالأولى هي التطبيقات، وتشمل النموذج والأدوات والبيانات والبرمجيات التي يحتاج إليها الوكيل لإنجاز مهمته، بينما الطبقة الثانية فتتمثل في طبقة التشغيل Runtime، المسؤولة عن توزيع عمل الوكيل على الحواسيب أو الأجهزة الطرفية أو مراكز البيانات، مع فرض السياسات ومراقبة نشاطه بصورة مستمرة.

وتأتي في الأسفل طبقة البنية التحتية، والتي تتضمن العتاد الفعلي والشبكات والتخزين ووحدات المعالجة المستخدمة لتشغيل الوكلاء ومراقبتهم.

وتحاول إنفيديا من خلال هذا التصميم جعل الحماية موزعة على أكثر من مستوى، بحيث لا يؤدي اختراق إحدى الطبقات أو تجاوزها بالضرورة إلى منح الوكيل حرية كاملة داخل النظام.

معالجات Vera في قلب المنصة

صممت إنفيديا المنصة بحيث تعمل بصورة مثالية على معالجات NVIDIA Vera المركزية ووحدات BlueField، لكنها أكدت أن OpenShell لا يرتبط حصرياً بعتادها، ويمكن توسيعه للعمل مع منصات حوسبة أخرى من شركات مثل Arm وإنتل.

وتصف الشركة معالج Vera بأنه أول معالج مركزي صممته خصيصاً لأعباء عمل الذكاء الاصطناعي الوكيل، مثل التخطيط وتنفيذ الأدوات وتشغيل الأكواد داخل بيئات معزولة.

وتقول إنفيديا إن Vera يقدم أداءً أعلى بنسبة تصل إلى 80% في تشغيل البيئات المعزولة مقارنة بالبنية التقليدية للمعالجات المركزية، وهي أرقام صادرة عن الشركة نفسها.

أما المؤسسات التي تستخدم Vera إلى جانب BlueField-4، فتقول إنفيديا إن إضافة طبقة Sentry الأمنية يمكن تنفيذها كتحديث برمجي دون حاجة إلى تغيير بنية الأجهزة.

أنثروبيك وSpaceXAI بين أوائل الشركاء

وكشفت إنفيديا عن عدد من التطبيقات العملية للمنصة الجديدة، إذ تعاونت مع أنثروبيك لإضافة طبقات جديدة من الحماية إلى Claude Managed Agents.

وتعتمد أنثروبيك بالفعل على فصل الحلقة البرمجية التي تدير الوكيل عن البيئات المعزولة التي ينفذ فيها المهام، بينما تسمح إضافة OpenShell وBlueField للمؤسسات بوضع قواعد إضافية للتحكم في الموارد التي تستطيع وكلاء Claude الوصول إليها.

كما تستخدم SpaceXAI المنصة مع وكلاء البرمجة Cursor ونماذج Grok، في حين تعمل Scale AI على دمج تقنياتها داخل البنية التحتية لخدماتها الموجهة للشركات والجهات الحكومية.

ودمجت Salesforce منصة OpenShell مع Slack بحيث تستطيع فرق العمل مشاهدة نشاط الوكلاء وعمليات التدقيق والموافقة، أو الرفض على طلباتهم للحصول على صلاحيات إضافية مباشرة من داخل منصة التواصل المهني.

كما تعمل SAP على دمج OpenShell مع بيئة Joule Studio، فيما تستخدم شركات تعمل في مجالات الروبوتات، بينها Figure وGecko Robotics وSkild AI، التقنية لوضع ضوابط حول الوكلاء الذين تتحول قراراتهم إلى أفعال تنفذها روبوتات في العالم الحقيقي.

أمان الوكلاء يتحول إلى بنية تحتية

ويرى مؤسس ومدير إنفيديا التنفيذي جينسن هوانج أن تحقيق الاستفادة الكاملة من الذكاء الاصطناعي يرتبط بالقدرة على بناء الثقة في طريقة تطويره وتشغيله، مشيراً إلى أن أمان الذكاء الاصطناعي يحتاج إلى هندسة متكاملة تمتد عبر مختلف طبقات النظام، وليس مجرد قواعد توضع داخل النموذج، بحسب ما نشره على إكس.

وتشبه إنفيديا المرحلة الحالية بما مر به الإنترنت في مراحله الأولى، عندما كان تشغيل أكواد مواقع الويب مباشرة على أجهزة المستخدمين يمثل خطراً أمنياً، قبل أن تصبح تقنيات التشفير والاتصال الآمن وبيئات العزل داخل المتصفحات جزءاً أساسياً من البنية التحتية للإنترنت.

وتراهن الشركة على أن وكلاء الذكاء الاصطناعي يحتاجون إلى طبقة مشابهة من الثقة قبل أن تتمكن المؤسسات من منحهم صلاحيات أوسع لإدارة البيانات والبرمجيات والبنية التحتية، أو حتى التحكم في أجهزة وروبوتات داخل العالم الحقيقي.