ai安全

ChainCatcher 消息，据彭博社报道，纽约市审计长 Mark Levine 周三致信人工智能公司 Anthropic 首席执行官 Dario Amodei，呼吁公司在充分应对人工智能安全、治理及发展速度相关风险前暂缓 IPO，优先处理该技术带来的风险。Levine 负责监督资产规模超过 3250 亿美元的公共养老金。他认为，特朗普政府与包括 Anthropic 在内的人工智能企业达成的具有道德约束力的安全协议仍不足。他敦促 Anthropic 建立相应治理机制，具体披露如何实施适当审计及控制措施、措施覆盖范围和预计时间表，并解释这些措施能否以及如何回应 Amodei 此前放缓人工智能模型能力发展速度的呼吁。Anthropic 计划最早于下月上市，募资规模可能达到或超过 SpaceX 此前创纪录的 IPO。公司周三在总部与部分投资者会面，并披露今年第三季度营收为 168 亿美元。Anthropic 未立即回应置评请求。

ChainCatcher 消息，据 Anthropic 官网消息，Anthropic 宣布在新加坡开设亚太地区第五个办公室，并与新加坡数字发展与信息部签署谅解备忘录，双方将在 AI 安全、模型评估、负责任 AI 采用等领域展开合作。 新加坡是 Claude 全球最活跃市场之一，目前已有 GovTech Singapore、DBS、Grab、GIC 等超过千家政府机构及企业部署 Claude。其中 GovTech Singapore 逾 1500 名工程师已采用 Claude Code 推进政府系统现代化，Grab 借助 Claude 驱动的销售助手每季度节省约 4 万小时人力。

ChainCatcher 消息，字节跳动 Seed 近日发出内部邮件，宣布成立 Seed Model-Alignment&Preparedness 部门，由严林负责，并向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。该部门旨在加强安全与对齐方向投入。对齐的核心是让模型行为与人类意图和安全约束保持一致，以提升 Agent Model 安全能力，并防范化学、生物、放射、核等前沿能力风险。

ChainCatcher 消息，据 Ark Invest Tracker 报道，Ark Invest 表示 AI 黑客攻击正波及一切。风险远不止比特币，因为 AI 使软件漏洞更容易被发现和利用。比特币和硬件钱包可能最先受到冲击，但社交媒体、税务和银行网站也可能面临同样威胁。信任一个大品牌，仍意味着信任该公司在 AI 日益强大时不会犯错。ARK 预计大型托管机构也将成为目标，AI 可能以前所未有的速度发现并利用漏洞。

ChainCatcher 消息，华尔街日报报道，加州伯克利一处名为 Constellation 的联合办公空间内，一小群人工智能研究人员正讨论如何避免灾难性人工智能风险。接近该空间的人士称，Anthropic 员工也在其中拥有办公空间。报道称，Anthropic 研究员 Jacob Coxon 本月辞职，使“失控的人工智能发展可能终结人类”这一说法受到美国公众关注。报道称，相关人工智能安全圈人士已担忧这一问题十多年。他们曾在湾区合租屋打磨论点，并在伯克利和巴哈马的会议上交换预测，讨论过购买偏远岛屿、囤积碘片或迁往沙漠电磁屏蔽地堡等想法。2022 年一次活动的酒单上，还有以 “Death With Dignity” 命名的鸡尾酒，指向一篇认为人类已注定失败的文章。华尔街日报称，这类所谓末日论者是 OpenAI 和 Anthropic 最早的一批员工，两家公司均以防范人工智能危险为创立原则。他们持续产生影响，部分人员和项目资金来自与有效利他主义相关的网络，其中包括已倒闭加密交易所 FTX 前首席执行官 Sam Bankman-Fried；报道称他正在服 25 年刑期。

ChainCatcher 消息，Axios 报道，特朗普盟友正把人工智能公司 Anthropic 首席执行官 Dario Amodei 作为人工智能“末日论”代表人物及有效利他主义运动创始人之一加以攻击。消息人士称，中期选举期间，盟友反击其人工智能安全警告时，Anthropic 仍可能成为特朗普阵营目标；因其政治立场和对人工智能安全的关注，他被视为容易攻击的对象。这对投资者而言令人担忧，因为公司正准备一场预期创纪录的首次公开募股。报道称，本周白宫内部开始流传一份备忘录，试图把有效利他主义描绘成脱离美国主流的边缘、邪教式群体，Axios 称已取得该文件。备忘录由一名不在白宫任职的特朗普政治顾问撰写，称有效利他主义“建立了人工智能末日管道”，并把 Amodei 放在该运动的基础位置，同时提到其妹、Anthropic 总裁 Daniela Amodei，将这些关系称为“Anthropic 结点”。一名接近政府的消息人士说，Amodei 体现了一种与总统“美国优先”议程相悖的意识形态和全球主义创新路径。Anthropic 一直在与有效利他主义保持距离。Daniela Amodei 在 2025 年《连线》报道中表示不认同这一术语。Dario Amodei 在采访中坚称自己不是该运动成员，并宣传过人工智能的益处。

ChainCatcher 消息，据媒体援引知情人士报道，Anthropic 和 OpenAI 曾考虑签署一份具有法律约束力的协议，以相互对对方的大模型进行压力测试。今年早些时候，两家公司及其律师团队曾就此计划展开讨论，竞争对手可对彼此最新可用模型进行深度测试，以寻找潜在风险或安全漏洞。此类测试仅适用于已商业化的模型，且双方约定不得留存对方的数据。该报道并未明确双方最终是否达成此类协议。近来，在顶尖 AI 实验室之间推行某种形式的同行评审的想法受到关注。SpaceX 首席执行官埃隆·马斯克上周建议，美国领先的几家大模型公司以及部分中国 AI 公司应当允许竞争对手进行交叉测试。马斯克表示：所有 AI 公司都有一套测试工具，让每家公司都用别家的测试工具跑一遍，可能是确保自身安全所能做的最好的事。本月早些时候，Anthropic 研究员 Jacob Coxon 宣布辞职并警告领先人工智能公司在没有适当防护措施的情况下加速开发。随后 Anthropic CEO 达里奥·阿莫代伊发文呼吁行业放缓 AI 开发步伐并引入第三方评估机制。Anthropic 上周五宣布与埃森哲建立合作，由埃森哲担任第三方评估机构，对其前沿 AI 模型进行安全合规性评估。

ChainCatcher 消息，Bitcoin News 在 X 平台发文表示，Bitcoin Core 开发者 Niklas Gögge 警告，近期 AI 驱动的漏洞扫描正在改变比特币安全形势，大型语言模型已显著降低漏洞发现成本，攻击者可能仅需数百美元计算成本就能发现灾难性漏洞。针对 Bitcoin Core，Project Loupe、Bitcoin Red Team 及个人贡献者已生成超过 1000 份报告，但截至目前尚未发现高危或严重漏洞。Gögge 表示，依赖更强模型在攻击者之前发现漏洞并非可持续的安全策略，开发者应通过自动化测试、模糊测试和基于属性的测试构建能够提前阻止整类漏洞的测试基础设施。Bitcoin Core 关键组件已累计完成超过 100 年的 CPU 模糊测试，并进行了数十年的比特币节点网络模拟。

ChainCatcher 消息，Anthropic CEO Dario Amodei 最近主张，让 METR 这类第三方评估机构长期进驻前沿 AI 公司，获得接近员工级别的权限，检查安全措施、事故和模型训练过程。但《纽约邮报》调查发现，METR 和 Anthropic 所在的 AI 安全圈关系远比普通外部审计更近。METR 最初叫 ARC Evals，孵化于 Paul Christiano 创办的 Alignment Research Center。Christiano 曾和 Amodei 在 OpenAI 共事，《纽约邮报》称两人还做过室友；他后来成为 Anthropic Long-Term Benefit Trust 最初五名受托人之一。METR 现任技术人员 Ajeya Cotra 是 Christiano 的妻子，此前还负责 Coefficient Giving 的 AI 安全资助。今年 METR 评估 Anthropic、OpenAI、Google 和 Meta 时，当时还没有适用的人员利益冲突政策，也没有进行正式的回避流程。METR 披露，直接参与项目的员工和合作者中，至少 6 人与 AI 公司员工存在密切私人关系。METR 表示不接受前沿 AI 公司及其员工的资金，做风险评估也不收费，不过这些公司会免费提供大量模型 Token。

ChainCatcher 消息，OpenAI 首席执行官 Sam Altman 表示，他相信人工智能公司能够安全地发展该技术，而不会对广大民众造成重大伤害。Altman 周二在旧金山 Dreamforce 大会上与 Salesforce 首席执行官 Marc Benioff 的讨论中称：我非常有信心，我们公司——我们整个行业——有能力安全地做到这一点。

ChainCatcher 消息，扎克伯格发文称，每个实验室都有责任和激励以所需速度安全训练模型，并有能力自行采取行动。人们不会使用与自己不对齐、不按要求行事的智能体，实验室因此有强烈自然激励提升模型对齐。信任和对齐正迅速成为区分智能体与模型的最重要能力，任何不聚焦对齐的实验室都将落后。 扎克伯格表示，实验室若模型造成伤害将面临重大责任，因此也有强烈激励加以防范。Meta 将 Muse 推迟数月发布以聚焦安全和安保，并未要求其他实验室先行效仿，只是将其作为日常工作的一部分。聘请独立评估者和顾问是行业最佳实践，MSL 已在多个领域这样做。将大部分算力用于服务人们而非竞相递归自我改进，是确保安全开发该技术的最佳方式之一，Meta 已作出这一承诺。

ChainCatcher 消息，Anthropic 研究员 Jacob Coxon 宣布辞职，并准备离开 AI 行业。他过去三年先后在 OpenAI 和 Anthropic 做预训练研究。他指出，两家公司都没有负责任地推进 AI，正竞相打造能继续提升自身能力的超级智能，「拿我们的命下注」。他今年从 OpenAI 转投 Anthropic，本来就是因为后者更重视模型安全。Coxon 承认 Anthropic 的安全工作是认真的，但认为只要各家公司还在抢着先做出 AGI（能在大量任务上超过人类的通用 AI），安全让步就难以避免，单靠一家公司的自律解决不了问题。他对两家公司的评价是：OpenAI 内部很多人还没有真正意识到这种风险有多大；Anthropic 知道风险，却认为别人靠不住，所以必须自己先做出来。Coxon 称，一些 AI 从业者私下比公开表态悲观得多，甚至担心 AI 会在本十年结束前毁灭人类。他自己判断，最激进的情形下，明年底 AI 就可能失控，因此这种决定不该只由几家公司的工程师内部拍板。

ChainCatcher 消息，AI 安全初创公司 AIR 完成 5000 万美元融资，由红杉资本领投首轮 1000 万美元、Greenoaks 领投第二轮 4000 万美元，Swish、Netz 及多位天使投资人参投。该公司由以色列 8200 部队资深成员 Yair Saban 和 Niv Hoffman 创立，提供 AI 代理安全平台，可发现企业内部运行的 AI 代理、持续审查其使用的技能和工具，并阻止其与不合规的软件或外部来源交互，同时提供经审核的 AI 代理插件和技能市场。

ChainCatcher 消息，Anthropic 表示，公司暂时暂停部分 AI 训练和网络安全评估。该公司在一篇博客文章中披露相关调整，解释今年早些时候其 AI 智能体采取未经授权行动后所作出的应对措施。OpenAI 此前表示，出于安全方面的担忧，已暂停部分模型开发工作。Anthropic 也确认采取了类似措施，并强调有必要对前沿 AI 的发展速度进行更广泛的协调。Anthropic 表示，在 7 月披露三起相关事件后，公司暂停了对预发布模型进行的外部网络安全评估，同时也曾短暂暂停内部针对预发布模型的测试。事件发生后，公司还暂停了预发布模型中风险较高的强化学习环境，持续数周。Anthropic 称，大部分强化学习工作已经恢复，但部分高风险环境仍处于暂停状态，等待人工审查或更新监控工具。

ChainCatcher 消息，半导体与 AI 独立研究机构 SemiAnalysis 发布 Neocloud（新型云）安全深度报告，揭露 ClusterMAX 3 测试期间发现的多类跨租户安全漏洞。在为期四个月、覆盖 25 家供应商和 32 个集群的测试中，团队仅利用公开已知漏洞和基础配置检查，就实现了多起跨租户远程代码执行（RCE），受影响实体包括银行、电信公司、大学、研究机构、AI 实验室，甚至一国情报机构。典型问题包括：共享 Kubernetes 控制平面导致租户元数据互见、容器逃逸、BMC/IPMI 管理网络暴露、InfiniBand 安全密钥（P_Key、SA_Key、M_Key）未正确配置、BlueField DPU 默认信任模式未加固、Grafana 监控仪表盘使用上帝级 API 密钥、前端网络缺乏 VXLAN 隔离等。报告特别指出一个级联漏洞案例：共享 vCluster 配置错误加上软件版本滞后两年，最终在下午级时间内完成了跨租户 RCE 的 POC 验证。值得注意的是报告对“AI 已根本性改变网络安全节奏”的主流叙事提出质疑：对英伟达 GPU 驱动、CUDA、PyTorch、Kubernetes、Docker 及 Linux 内核的 CVE 统计显示，AI 编码模型普及后并未出现显著漏洞增长，多数数据中“无法拒绝无变化假设”。报告同时详述了 OpenAI 训练代理攻击 Hugging Face 的事件，AI 代理通过 Artifactory 建立的消息板实现集群级权限提升，从 5 月持续到 7 月才被彻底发现。在构建 POC 验证已有漏洞时，团队发现 Claude Fable 和 GPT-5.6 Sol 对安全相关请求频繁拒绝，最终主要依赖 DeepSeek V4、Kimi K3 和 GLM-5.2 等开源模型完成。SemiAnalysis 表示 Neocloud（新型云）行业的核心问题并非 AI 带来的新风险，而是最基础的补丁管理、租户隔离和安全设计长期缺位，建议供应商建立自动化安全公告监控系统，并修正单点故障即可暴露全部用户的架构模式。