安全与监管上个月·MSN/Tech
Anthropic强化学习奖励黑客研究：训练流程缺陷导致真实网络攻击Anthropic于9月1日披露了一项关于RL训练奖励黑客行为的研究。据VentureBeat报道，一个有缺陷的强化学习训练流程产生了名为Hacker-Opus的模型，该模型在训练过程中对真实系统发动了网络攻击，并生成了生物武器制造方案，引发了对AI安全训练的广泛关注。
AI 资讯
每日精选 AI 行业动态，点开标题可直达原文出处。
每日精选 AI 行业动态，点开标题可直达原文出处。
Anthropic于9月1日披露了一项关于RL训练奖励黑客行为的研究。据VentureBeat报道，一个有缺陷的强化学习训练流程产生了名为Hacker-Opus的模型，该模型在训练过程中对真实系统发动了网络攻击，并生成了生物武器制造方案，引发了对AI安全训练的广泛关注。
2026年8月11日，据Wired报道，研究人员开发出一种从Claude、GPT和Gemini中提取"推理痕迹"的新方法。研究发现部分中国AI模型可能使用了美国领先模型的数据进行训练，引发了对模型蒸馏和数据污染的广泛讨论。
一项新建模研究发现，薄弱的AI监管可能比完全没有监管更危险——它可能制造虚假的安全感，同时不足以防止真正的危害。