发生了什么
据媒体援引知情人士报道,Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试。报道称,今年早些时候,这两家公司及其律师团队曾就此计划展开讨论。
在该计划中,竞争对手公司可以对彼此最新可用模型进行深度测试,以寻找潜在的风险或安全漏洞。此类测试仅适用于已商业化的模型,且双方约定不得留存对方的数据。不过,报道并未明确双方最终是否达成了此类协议。
为什么重要
近来,在顶尖AI实验室之间推行某种形式的同行评审的想法越来越受到关注。若此类互测机制落地,意味着AI公司不再只由自己评估自身模型的安全性,而是至少由竞争对手参与检验,一旦发现问题就可拉响警报。
这一讨论出现在AI安全担忧升温的背景下:近期OpenAI、Anthropic、Meta以及谷歌开发的AI智能体系统接连发生入侵事件,引爆网络安全担忧;Anthropic CEO达里奥·阿莫代伊也发表文章呼吁行业放缓AI开发步伐,并要求AI公司引入第三方评估机制。
关键事实
Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试。
今年早些时候,这两家公司及其律师团队曾就此计划展开讨论。
此类测试仅适用于已商业化的模型,且双方约定不得留存对方的数据。
报道并未明确双方最终是否达成了此类协议。
上周,SpaceX首席执行官埃隆·马斯克建议,美国领先的几家大模型公司以及部分中国AI公司,应当允许竞争对手进行交叉测试和同行评审。
本月早些时候,Anthropic的一名研究员Jacob Coxon宣布辞职,并警告称领先的人工智能公司在没有适当防护措施的情况下加速开发,是在“拿我们的生命冒险”。
Anthropic上周五宣布,将与全球咨询公司埃森哲建立合作伙伴关系,由埃森哲担任第三方评估机构,对Anthropic的前沿AI模型进行安全合规性评估。
接下来看什么
OpenAI与Anthropic是否最终达成互测协议,以及协议的具体范围与约束条件,仍有待明确。
在马斯克等人呼吁交叉测试与同行评审、阿莫代伊要求引入第三方评估之后,其他领先AI公司是否会跟进类似安排,值得关注。
Anthropic与埃森哲的第三方评估合作被视为阿莫代伊“放缓AI发展步伐”计划中的关键第一步,其后续进展及行业影响有待观察。
