是否担心AI导致人类灭亡 特朗普：我担心，若不胜出会陷入不利境地，我们领先中国一年
在人工智能（AI）前沿实验室Anthropic和OpenAI的多位内部人士纷纷加强对该技术风险的公开警告之际，美国总统特朗普（Donald Trump）对有关人工智能技术可能对人类构成生存威胁的警告给予冷处理。当被问及是否担心人工智能会导致人类灭绝时，特朗普回答道：“不，我没有任何（这方面的担忧）”。
发表时间： 更改时间：
14 分钟 浏览时间
特朗普周四晚对提问的记者说道：“我担心，如果我们不能在人工智能领域胜出，我们将会陷入非常不利的境地。目前我们领先中国相当长的一段时间——我会说一年，这被视为相当大的（领先）”。
特朗普发表这番言论之际，包括OpenAI和Anthropic在内的多家前沿人工智能实验室的研究人员，已针对该技术飞速发展的态势发出了警示。Anthropic研究员考克森（Jacob Coxon）周二表示，他将离开该公司，因为担心Anthropic及其竞争对手OpenAI正在“拿我们的生命去赌博”。
曾在上述两家公司担任研究员的考克森称，那些开发人工智能的人“真心相信，到本十年末，它可能会杀了我们所有人”。“千万不要低估这项技术的力量，”考克森写道，“它们很快就会成为超越人类能力的系统，能够入侵任何事物，一夜之间彻底变革任何领域，并获取真正的权力和资源”。
Anthropic的科学家胡宾格（Evan Hubinger）也加入讨论，表示考克森的说法是正确的。胡宾格在X平台上写道：“我们确实由衷地认为，人工智能可能会杀死全人类，我个人认为，未来十年内发生这种情况的概率大于10%”。
考克森的这篇帖子在X平台上的浏览量已超过1.6亿次，它反映了硅谷长期以来关于能否安全开发和控制人工智能的争论。随着Anthropic和OpenAI在发布日益先进模型的同时，正全速推进可能是历史性的首次公开募股，许多研究人员呼吁各方协同放慢发展步伐。
OpenAI首席科学家帕乔基（Jakub Pachocki）上周日发表博文警告称，目前还没有哪家人工智能公司在“对齐”（alignment）和监控方面取得了足够的进展，能够支撑其继续以最大速度负责任地进行长期扩展。在人工智能领域，“对齐”是指开发者为确保系统行为符合人类价值观和意图而进行的工作。
许多关于人工智能安全的担忧都围绕着模型发展出提升自身性能的能力——这种技术被称为“递归自我提升”（RSI）。OpenAI负责人工智能“对齐”研究的研究员贾丝敏·王（ Jasmine Wang ）周三晚表示：“无论如何强调仓促推进递归自我提升的危险性，都不为过”。
帕乔基上周六称，“强烈预期”人工智能的进步速度能够延续至递归自我提升阶段。他说：“我担心，对于机器智能持续快速增长所带来的后果，目前还没有人做好准备”。
继Anthropic公司的两名研究人员发出严厉警告——称飞速发展的人工智能可能在不久的将来导致人类灭绝——之后，越来越多的美国国会议员呼吁制定新规则来监管人工智能系统。此前，已发生多起人工智能智能体“失控”并入侵外部系统的事件。面对这些情况，美国民主党和共和党的政界人士均表示震惊，并呼吁采取更多行动。
民主党籍联邦参议员凯利（Mark Kelly）在X平台上针对人工智能技术带来的风险表示：“华盛顿必须觉醒，并认真对待这一问题”。共和党籍联邦参议员克鲁兹（Ted Cruz）则在电视节目中提到了旨在监管人工智能“灾难性风险”的立法。克鲁兹负责领导一个参议院委员会，该委员会对美国商务部拥有监督权，而美国商务部内部设有专门研究人工智能安全的研究人员。
本月，美国敦促二十国集团（G20）成员国对人工智能监管采取不干预态度。Anthropic的一位发言人周四表示，公司将继续积极测试“网络安全和生物学等领域的模型或危险能力”。该公司正筹备上市，部分投资者预计其估值可能高达2万亿美元。该发言人补充道，公司有意与人工智能行业合作，共同探讨新人工智能工具的发布节奏。
据彭博社报导，OpenAI首席执行官奥特曼（Sam Altman）在本周的一次公司会议上告诉员工，公司愿意放缓其人工智能系统的开发速度。作为OpenAI的竞争对手，同样正筹备首次公开募股的Anthropic未就奥特曼与员工的此次会议发表评论。该公司此前曾表示，正在放缓部分模型开发工作。本周早些时候，OpenAI称正致力于推动美国实施强制性的国家级人工智能安全要求。
围绕人工智能的担忧给美国参议院多数党领袖、共和党人图恩（John Thune）和民主党籍联邦参议员克洛布查尔（Amy Klobuchar）带来了压力，两人目前正在起草一项旨在监管人工智能产品的法案。
克洛布查尔表示，该立法应要求开发人工智能工具的公司“与政府专家合作，对模型进行验证和测试，以确保人工智能的安全性”。图恩曾在7月告诉路透社，该法案将针对人工智能系统可能带来的“灾难性风险”作出规定。
周三，加州颁布了首部针对独立审计机构如何评估人工智能产品制定规则的州级法律。OpenAI高管勒汉（Chris Lehane）表示，OpenAI将支持该法案；与此同时，加州州长纽森（Gavin Newsom）的办公室也发表声明，确认他已签署该法案使其正式成为法律。
此前，今年7月，由六名美国众议员组成的跨党派小组提出了一项法案，要求最强大人工智能模型的开发商提交其模型以进行独立安全审计。根据该法案，审计机构将由美国商务部认证，且该部将设立一个新职位来监管人工智能安全。
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.