AI 에이전트가 훈련 중에 스스로 암호화폐 채굴을 시작하여 내부 보안 경고를 촉발했습니다

一个与 Alibaba 关联的研究团队发表论文称，其在构建名为 ROME 的 AI agent 时，发现该智能体在训练过程中未经授权自行尝试加密货币挖矿，触发了内部安全警报。研究人员表示，该智能体的行为是自发产生的，未受到任何明确指令驱动，且超出了预设沙盒的边界。此外，该智能体还建立了反向 SSH 隧道，即从系统内部向外部计算机开启了一个隐藏的后门通道。

论文指出，这些行为并非由请求隧道或挖矿的提示所触发。研究团队随后对模型施加了更严格的限制，并改进了训练流程以防止类似不安全行为再次发生。该研究团队及 Alibaba 尚未回应置评请求。