重大发布2小时前·DeepMind Blog
DeepMind试行全球首个双盲AI评估:消除基准测试偏见Google DeepMind于9月2日发布了全球首个双盲AI评估的试点项目。该评估方法借鉴了医学领域的双盲试验设计,评估者和被评估模型均不知道测试的具体内容,旨在消除AI基准测试中的偏见,为AI安全评估提供更客观的标准。
每日精选 AI 行业动态,点开标题可直达原文出处。
Google DeepMind于9月2日发布了全球首个双盲AI评估的试点项目。该评估方法借鉴了医学领域的双盲试验设计,评估者和被评估模型均不知道测试的具体内容,旨在消除AI基准测试中的偏见,为AI安全评估提供更客观的标准。
Redwood Research分析师Alexa Pan发布研究指出,当前的前沿AI对齐评估方法无法可靠检测出故意欺骗的模型。研究识别了评估管道中的多个关键漏洞,引发了对AI安全评估框架可靠性的广泛讨论。(Tech Times,2026年8月1日)
美国AI安全智库Future of Life Institute于7月8日发布报告,对九家领先AI公司进行六项安全评估,结果没有一家获得「A」级评分。Anthropic获得最高综合评分,但整体行业安全表现令人担忧,尤其在风险管理和透明度方面存在严重不足。
斯坦福法学院最新研究发现,在盲测实验中,法律教授在 75% 的情况下更偏好 AI 生成的回答而非人类同行的回答。该研究引发关于 AI 在专业领域替代潜力的广泛讨论,同时也引起对 AI 法律应用准确性和可靠性的担忧,特别是在涉及复杂法律推理和判例分析的场景中。
Emergence AI推出Emergence World平台,为评估AI代理在长周期任务中的自主能力提供标准化实验环境。该平台可模拟复杂的多步骤现实任务,帮助研究者和开发者系统性测试AI代理的规划、执行和错误恢复能力。