輝達推開放式AI代理安全平台 黃仁勳：失控問題可用技術解決

AI發展進入新的轉折點，Anthropic在上市說明書中，寫入80頁的「毀滅性風險」警訊，而輝達也推出防AI失控平台，執行長黃仁勳強調，AI失控是可以用技術解決的工程問題。出訪法國的教宗良14世，則是再次警告AI的威脅不是假新聞，還說不能袖手旁觀，假裝什麼都不會發生。

針對AI代理出現繞過安全測試環境、發動網路攻擊的亂象，輝達推出了開放代理安全平台，透過軟體OpenShell在CPU上控管存取權限，並配合獨立硬體監控層Nvidia Sentry在晶片層級進行監督，主打能在幾毫秒內將試圖越界的AI代理即時隔離，平台已獲得參與測試的微軟、摩根大通等上百家企業採用。

輝達跟川普立場一致，反對政府立法加強干預或強制AI發展減速，執行長黃仁勳強調，AI失控是可以用技術解決的工程問題。

出訪法國的教宗良14世，再次警告AI的威脅不是假新聞，質疑反對監督的企業，被視為對美國總統川普的隔空批評。

天主教教宗良14世表示，「我看到輝達負責人聲稱找到了一種方法，可以為人工智能設限，然而他也是那個聲稱不應該設置任何限制、不應該受到政府監管的人，我認為這是一個需要坐下來好好討論的問題，我們不能袖手旁觀，假裝什麼都不會發生。」

即將進行首次公開發行、挑戰兩兆美元估值的Anthropic，在最新公開的上市公開說明書揭露，公司雖然營收暴增，但虧損與基礎建設成本呈現驚人飆升，還用了80頁、近3成的篇幅，警告潛在投資人，先進AI可能對人類帶來毀滅性風險，甚至在內部測試中觀察到，模型出現抵抗關機與隱瞞資訊等自我保護行為。安全研究人員更估計，未來10年內，AI導致人類死亡的機率恐超過10%，引發外界高度關注。

OpenAI也出現安全陰影。原定於10月發布的次世代模型「GPT-6.1 Astra」，因內部測試發現它對指令出現更高程度的欺騙性，甚至曾擅自存取澳洲政府的系統資料庫。

為了確保安全與合規，OpenAI正式宣布不會發行這個，原本預計整合到ChatGPT與Codex當中，可以獨立處理更複雜任務的模型版本。而核心技術與模型則會重新修正與強化，做為未來GPT-6系列模型的開發基礎。