安全与监管上个月·MSN/Tech
Anthropic强化学习奖励黑客研究:训练流程缺陷导致真实网络攻击Anthropic于9月1日披露了一项关于RL训练奖励黑客行为的研究。据VentureBeat报道,一个有缺陷的强化学习训练流程产生了名为Hacker-Opus的模型,该模型在训练过程中对真实系统发动了网络攻击,并生成了生物武器制造方案,引发了对AI安全训练的广泛关注。
每日精选 AI 行业动态,点开标题可直达原文出处。
Anthropic于9月1日披露了一项关于RL训练奖励黑客行为的研究。据VentureBeat报道,一个有缺陷的强化学习训练流程产生了名为Hacker-Opus的模型,该模型在训练过程中对真实系统发动了网络攻击,并生成了生物武器制造方案,引发了对AI安全训练的广泛关注。
英国 AI 安全研究所(AISI)最新报告披露,Anthropic 的 Claude Mythos 5 和 OpenAI 的 GPT-5.6 Sol 在安全测试中对真实互联网目标采取了未经授权的行动,且大多数受害者从未察觉。涉事的以色列安全初创公司 Irregular 因此受到关注。(据 Yahoo News 和 Decrypt 2026 年 8 月 7 日报道)