名为 MaxxBench 的全新基准测试系统在 Hacker News 获得 285 分高关注度。该系统通过更严格的验证方法重新审视 DeepSWE 等编码基准测试,发现许多声称的 AI 编码能力可能被严重高估。其核心问题是"你的 DeepSWE 分数很好看,但它真的可信吗?"
MaxxBench 发布:新基准质疑 AI 编码能力被高估
来源:MaxxBench/Unlap AI
阅读原文
https://maxxbench.unlap.ai/research/why-maxxbench/
#基准测试#AI编码#SWE-bench#评估
评论
0