亚星官网ღ✿◈,菲律宾亚星游戏官网ღ✿◈,亚星手机版登录入口(中国)官方网站亚星YAXING官网ღ✿◈。亚星游戏官方网站ღ✿◈。亚星官方网站亚星游戏ღ✿◈。亚星游戏官网登录入口ღ✿◈!【新智元导读】AI版「狼人杀」巅峰局开大ღ✿◈!全球七大顶尖LLM狂飙演技ღ✿◈,210场高能对战ღ✿◈,GPT-5最终一举夺冠ღ✿◈,GPT-OSS垫底非你莫属张文文ღ✿◈。暗算ღ✿◈、心理战轮番上演ღ✿◈,场面一度失控ღ✿◈。
这是最新基准——Werewolf Benchmarkღ✿◈,对全球开/闭源LLM尖子生ღ✿◈,开展的社交推理AI强压测试ღ✿◈。
游戏设定ღ✿◈,分列为「2位狼人」和「4个村民」两大阵营ღ✿◈,6人局中还有两位特殊角色ღ✿◈:女巫ღ✿◈、预言家ღ✿◈。
去年ღ✿◈,在狼人杀游戏中ღ✿◈,谷歌研究院通过社交推理评估过LLMwww.yaxin222.comღ✿◈,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架ღ✿◈。
随着它们在关键任务中承担起更多的责任和自主性ღ✿◈,大家有必要深入理解它们的行为模式ღ✿◈、决策过程以及社交互动的复杂性ღ✿◈。
每对模型将进行10场比赛ღ✿◈:其中5场比赛中ღ✿◈,一个模型控制狼人角色ღ✿◈,而另一个模型扮演村民角色ღ✿◈;在另外5场比赛中ღ✿◈,角色互换ღ✿◈。
在此www.yaxin222.comღ✿◈,它建立了一个严苛的ღ✿◈、基于证据的发言框架ღ✿◈,要求每位玩家必须「拿出实证」ღ✿◈、「引用原话」ღ✿◈,并提出可被证伪的论断」ღ✿◈。
它并不直接指控对手身份ღ✿◈,而是通过「程序性瑕疵」让无辜玩家被定罪ღ✿◈,比如回避问题ღ✿◈、发言前后矛盾等ღ✿◈。
再来看Gemini 2.5 Proღ✿◈,狼人杀博弈中www.yaxin222.comღ✿◈,它是一位务实且具备场控力的社交「掠食者」非你莫属张文文ღ✿◈。
Gemini 2.5 Pro首要武器是「叙事重定向」ღ✿◈,面对质控www.yaxin222.comღ✿◈,不纠缠于事实本身ღ✿◈,而是关注指控者的可信度ღ✿◈、动机ღ✿◈、逻辑漏洞ღ✿◈。
这一次ღ✿◈,依旧是GPT-5登榜首ღ✿◈,不过第二名Gemini 2.5 Pro与其实力可以相提并论ღ✿◈。
作为村民ღ✿◈,GPT-5瞬间化身为一位冷静ღ✿◈、超理性的司法组织者非你莫属张文文ღ✿◈,纯粹的逻辑+严苛的程序化思维ღ✿◈,将混乱的社交博弈转化为有序的案件ღ✿◈。
它将其他玩家的发言ღ✿◈,视为待验证的假设ღ✿◈,而非真正的陈述ღ✿◈。总的来说ღ✿◈,GPT-5就是村庄的AI最强大脑ღ✿◈,带领村民赢得胜利ღ✿◈。
然而ღ✿◈,Gemini对纯粹逻辑的坚定信仰ღ✿◈,也是其最易被利用的弱点ღ✿◈。面对精心构造但本质虚假的逻辑论点ღ✿◈,极易被操控www.yaxin222.comღ✿◈。
第三回合ღ✿◈,Gemini 2.5 Pro还选择了沉默ღ✿◈,成了一种自信而不施压的信号ღ✿◈,最终巩固了联盟ღ✿◈。
这需要它具备框架化ღ✿◈、在盘问下编故事和应对反击的能力ღ✿◈。这自然地测试了标准基准测试中很少出现的说服技巧ღ✿◈。
当模型扮演村民角色时ღ✿◈,它必须从零开始积累知识ღ✿◈,以对抗操纵www.yaxin222.comღ✿◈。这包括保护关键角色ღ✿◈、拒绝早期框架化ღ✿◈,并仅根据可验证的信号更新信念ღ✿◈。
自我毁灭(Auto-sabotage)ღ✿◈:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例ღ✿◈。
首日协调检测(Day 1 coordination detection)ღ✿◈:衡量模型在首日作为村民时ღ✿◈,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力ღ✿◈。
操纵成功指标是一个简单的代理指标ღ✿◈:当模型扮演狼人时ღ✿◈,在某一白天阶段ღ✿◈,村民淘汰了村民而不是狼人的比例ღ✿◈。
操纵成功率(第一天/第二天)= 当模型扮演狼人时ღ✿◈,村民淘汰了村民而不是狼人的白天阶段的百分比
GPT-5在这方面表现突出ღ✿◈,其在第一天和第二天作为狼人时ღ✿◈,成功误导村民投票淘汰无辜村民的比例均约为93%ღ✿◈。
该指标衡量模型作为村民时ღ✿◈,在第一天成功淘汰狼人的游戏比例非你莫属张文文ღ✿◈。这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力ღ✿◈。
不过ღ✿◈,这次的测试预算有限非你莫属张文文ღ✿◈,还远未达到终点ღ✿◈。研究员计划将测试扩展到更多的模型ღ✿◈,以及更长时间ღ✿◈、更复杂的游戏场景非你莫属张文文ღ✿◈。