【新智元导读】AI版「狼人杀」巅峰局开大ღ◈ღ★!全球七大顶尖LLM狂飙演技ღ◈ღ★,210场高能对战ღ◈ღ★,GPT-5最终一举夺冠ღ◈ღ★,GPT-OSS垫底ღ◈ღ★。暗算ღ◈ღ★、心理战轮番上演女子大尿放大集合ღ◈ღ★,场面一度失控ღ◈ღ★。
这是最新基准——Werewolf Benchmarkj9九游会官方网站ღ◈ღ★,对全球开/闭源LLM尖子生女子大尿放大集合ღ◈ღ★,开展的社交推理AI强压测试女子大尿放大集合ღ◈ღ★。
游戏设定ღ◈ღ★,分列为「2位狼人」和「4个村民」两大阵营ღ◈ღ★,6人局中还有两位特殊角色ღ◈ღ★:女巫ღ◈ღ★、预言家ღ◈ღ★。
去年j9九游国际真人ღ◈ღ★,在狼人杀游戏中ღ◈ღ★,谷歌研究院通过社交推理评估过LLMj9九游国际真人ღ◈ღ★,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架ღ◈ღ★。
随着它们在关键任务中承担起更多的责任和自主性ღ◈ღ★,大家有必要深入理解它们的行为模式ღ◈ღ★、决策过程以及社交互动的复杂性ღ◈ღ★。
每对模型将进行10场比赛ღ◈ღ★:其中5场比赛中ღ◈ღ★,一个模型控制狼人角色ღ◈ღ★,而另一个模型扮演村民角色ღ◈ღ★;在另外5场比赛中ღ◈ღ★,角色互换ღ◈ღ★。
在此ღ◈ღ★,它建立了一个严苛的J9游会真人游戏第一品牌ღ◈ღ★,ღ◈ღ★、基于证据的发言框架ღ◈ღ★,要求每位玩家必须「拿出实证」九游会J9ღ◈ღ★,ღ◈ღ★、「引用原话」ღ◈ღ★,并提出可被证伪的论断」ღ◈ღ★。
它并不直接指控对手身份ღ◈ღ★,而是通过「程序性瑕疵」让无辜玩家被定罪ღ◈ღ★,比如回避问题品牌故事ღ◈ღ★、发言前后矛盾等ღ◈ღ★。
再来看Gemini 2.5 Proღ◈ღ★,狼人杀博弈中ღ◈ღ★,它是一位务实且具备场控力的社交「掠食者」ღ◈ღ★。
Gemini 2.5 Pro首要武器是「叙事重定向」ღ◈ღ★,面对质控ღ◈ღ★,不纠缠于事实本身j9九游国际真人ღ◈ღ★,而是关注指控者的可信度ღ◈ღ★、动机ღ◈ღ★、逻辑漏洞ღ◈ღ★。
这一次ღ◈ღ★,依旧是GPT-5登榜首ღ◈ღ★,不过第二名Gemini 2.5 Pro与其实力可以相提并论ღ◈ღ★。
作为村民ღ◈ღ★,GPT-5瞬间化身为一位冷静ღ◈ღ★、超理性的司法组织者ღ◈ღ★,纯粹的逻辑+严苛的程序化思维ღ◈ღ★,将混乱的社交博弈转化为有序的案件ღ◈ღ★。
它将其他玩家的发言j9九游国际真人ღ◈ღ★,视为待验证的假设女子大尿放大集合j9九游国际真人ღ◈ღ★,而非真正的陈述ღ◈ღ★。总的来说ღ◈ღ★,GPT-5就是村庄的AI最强大脑ღ◈ღ★,带领村民赢得胜利ღ◈ღ★。
然而ღ◈ღ★,Gemini对纯粹逻辑的坚定信仰ღ◈ღ★,也是其最易被利用的弱点ღ◈ღ★。面对精心构造但本质虚假的逻辑论点j9九游国际真人ღ◈ღ★,极易被操控ღ◈ღ★。
第三回合ღ◈ღ★,Gemini 2.5 Pro还选择了沉默ღ◈ღ★,成了一种自信而不施压的信号ღ◈ღ★,最终巩固了联盟ღ◈ღ★。
这需要它具备框架化ღ◈ღ★、在盘问下编故事和应对反击的能力ღ◈ღ★。这自然地测试了标准基准测试中很少出现的说服技巧女子大尿放大集合ღ◈ღ★。
当模型扮演村民角色时ღ◈ღ★,它必须从零开始积累知识ღ◈ღ★,以对抗操纵ღ◈ღ★。这包括保护关键角色ღ◈ღ★、拒绝早期框架化ღ◈ღ★,并仅根据可验证的信号更新信念ღ◈ღ★。
自我毁灭(Auto-sabotage)ღ◈ღ★:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例j9九游国际真人九游会官方网站ღ◈ღ★,j9.comღ◈ღ★!ღ◈ღ★。
首日协调检测(Day 1 coordination detection)ღ◈ღ★:衡量模型在首日作为村民时ღ◈ღ★,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力女子大尿放大集合ღ◈ღ★。
操纵成功指标是一个简单的代理指标ღ◈ღ★:当模型扮演狼人时j9九游国际真人ღ◈ღ★,在某一白天阶段ღ◈ღ★,村民淘汰了村民而不是狼人的比例ღ◈ღ★。
操纵成功率(第一天/第二天)= 当模型扮演狼人时ღ◈ღ★,村民淘汰了村民而不是狼人的白天阶段的百分比
GPT-5在这方面表现突出ღ◈ღ★,其在第一天和第二天作为狼人时ღ◈ღ★,成功误导村民投票淘汰无辜村民的比例均约为93%ღ◈ღ★。
该指标衡量模型作为村民时ღ◈ღ★,在第一天成功淘汰狼人的游戏比例ღ◈ღ★。这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力ღ◈ღ★。
不过ღ◈ღ★,这次的测试预算有限ღ◈ღ★,还远未达到终点ღ◈ღ★。研究员计划将测试扩展到更多的模型ღ◈ღ★,以及更长时间ღ◈ღ★、更复杂的游戏场景ღ◈ღ★。
j9国际站|(集团)点击登录| http://www.zjyyfh.com