Google对其Android Bench基准测试进行了重大更新,新增Fable 5等多款AI编程代理模型。然而测试结果显示,Google自家的Gemini模型在Android应用开发任务上仍落后于竞品,凸显了Google在AI编程能力上的追赶压力。(据Ars Technica 2026年7月8日报道)
AI 资讯
每日精选 AI 行业动态,点开标题可直达原文出处。
每日精选 AI 行业动态,点开标题可直达原文出处。
Google对其Android Bench基准测试进行了重大更新,新增Fable 5等多款AI编程代理模型。然而测试结果显示,Google自家的Gemini模型在Android应用开发任务上仍落后于竞品,凸显了Google在AI编程能力上的追赶压力。(据Ars Technica 2026年7月8日报道)
据Tech Times报道(2026年6月29日),普林斯顿大学发布的CEO-Bench基准测试让14个AI模型用100万美元模拟运营一家SaaS创业公司500天。结果大多数模型破产或亏损,仅Claude Fable 5、Opus 4.8和GPT-5.5实现盈利,而无AI的规则基线策略也获得正回报。
Snorkel AI于2026年7月2日发布了Senior SWE-Bench开源基准测试,用于评估AI编程代理是否能像高级软件工程师一样解决复杂的真实世界编码任务。该基准在Hacker News上获得67分和57条评论的热烈讨论。
AI 编码基准测试 MirrorCode 公布结果:Claude Opus 4.7 自主重建了一个 60,000 行的解释器,综合得分 56%,完成了人类工程师需要数周才能完成的任务,突破了此前 AI 自主编码的能力上限。(据 Tech Times 报道,2026年6月27日)
据VentureBeat于2026年6月12日报道,月之暗面(Moonshot AI)发布Kimi K2.7-Code代码模型,声称将推理token消耗减少30%并提供API无缝替换路径。但独立基准测试显示存在内核回归问题,且该模型未提交DeepSWE评测。从业者反映实际表现与官方宣传存在差距,凸显AI模型基准测试可信度问题。
据 SiliconANGLE 于2026年6月3日报道,OpenAI 在一份政策文件中表达了对白宫 AI "基准测试"计划的担忧。OpenAI 政策负责人 Lehane 向 Politico 表示,政府主导的基准测试可能导致对前沿模型评估方式的混淆,并可能与行业现有的评估体系产生冲突。这显示了 AI 公司与政府之间在监管路径上的深层张力,如何在安全保障与创新自由之间取得平衡成为核心议题。
Emergence AI推出Emergence World平台,为评估AI代理在长周期任务中的自主能力提供标准化实验环境。该平台可模拟复杂的多步骤现实任务,帮助研究者和开发者系统性测试AI代理的规划、执行和错误恢复能力。