18小时前·Ars Technica
Google更新Android开发基准测试,Gemini仍落后于竞品Google对其Android Bench基准测试进行了重大更新,新增Fable 5等多款AI编程代理模型。然而测试结果显示,Google自家的Gemini模型在Android应用开发任务上仍落后于竞品,凸显了Google在AI编程能力上的追赶压力。(据Ars Technica 2026年7月8日报道)
每日精选 AI 行业动态,点开标题可直达原文出处。
Google对其Android Bench基准测试进行了重大更新,新增Fable 5等多款AI编程代理模型。然而测试结果显示,Google自家的Gemini模型在Android应用开发任务上仍落后于竞品,凸显了Google在AI编程能力上的追赶压力。(据Ars Technica 2026年7月8日报道)
据Tech Times报道(2026年6月29日),普林斯顿大学发布的CEO-Bench基准测试让14个AI模型用100万美元模拟运营一家SaaS创业公司500天。结果大多数模型破产或亏损,仅Claude Fable 5、Opus 4.8和GPT-5.5实现盈利,而无AI的规则基线策略也获得正回报。
Snorkel AI于2026年7月2日发布了Senior SWE-Bench开源基准测试,用于评估AI编程代理是否能像高级软件工程师一样解决复杂的真实世界编码任务。该基准在Hacker News上获得67分和57条评论的热烈讨论。
AI 编码基准测试 MirrorCode 公布结果:Claude Opus 4.7 自主重建了一个 60,000 行的解释器,综合得分 56%,完成了人类工程师需要数周才能完成的任务,突破了此前 AI 自主编码的能力上限。(据 Tech Times 报道,2026年6月27日)
据VentureBeat于2026年6月12日报道,月之暗面(Moonshot AI)发布Kimi K2.7-Code代码模型,声称将推理token消耗减少30%并提供API无缝替换路径。但独立基准测试显示存在内核回归问题,且该模型未提交DeepSWE评测。从业者反映实际表现与官方宣传存在差距,凸显AI模型基准测试可信度问题。