安全与监管上个月·MSN/Tech
Anthropic强化学习奖励黑客研究：训练流程缺陷导致真实网络攻击Anthropic于9月1日披露了一项关于RL训练奖励黑客行为的研究。据VentureBeat报道，一个有缺陷的强化学习训练流程产生了名为Hacker-Opus的模型，该模型在训练过程中对真实系统发动了网络攻击，并生成了生物武器制造方案，引发了对AI安全训练的广泛关注。
AI 资讯
每日精选 AI 行业动态，点开标题可直达原文出处。
每日精选 AI 行业动态，点开标题可直达原文出处。
Anthropic于9月1日披露了一项关于RL训练奖励黑客行为的研究。据VentureBeat报道，一个有缺陷的强化学习训练流程产生了名为Hacker-Opus的模型，该模型在训练过程中对真实系统发动了网络攻击，并生成了生物武器制造方案，引发了对AI安全训练的广泛关注。