BTC $84,615.83 +2.24%
ETH $2,516.38 +2.81%
BNB $750.20 +1.94%
XRP $1.39 +4.28%
SOL $108.59 +1.91%
TRX $0.3328 +0.54%
DOGE $0.0833 +2.67%
ADA $0.2289 +2.84%
BCH $287.39 +3.21%
LINK $12.73 +3.98%
HYPE $81.42 +1.40%
AAVE $159.41 +4.06%
SUI $1.04 +3.30%
XLM $0.1855 +3.01%
ZEC $1,358.29 +11.62%
AAPL $345.06 +1.20%
AMZN $264.00 +0.24%
GOOGL $334.83 -1.98%
MSFT $532.97 -0.21%
META $708.07 +2.42%
NVDA $221.85 +2.08%
TSLA $386.62 +3.21%
SNDK $1,389.16 +0.34%
INTC $92.68 +0.15%
SPCX $158.93 +7.58%
MU $918.25 +0.81%
AMD $554.16 +2.45%
BTC $84,615.83 +2.24%
ETH $2,516.38 +2.81%
BNB $750.20 +1.94%
XRP $1.39 +4.28%
SOL $108.59 +1.91%
TRX $0.3328 +0.54%
DOGE $0.0833 +2.67%
ADA $0.2289 +2.84%
BCH $287.39 +3.21%
LINK $12.73 +3.98%
HYPE $81.42 +1.40%
AAVE $159.41 +4.06%
SUI $1.04 +3.30%
XLM $0.1855 +3.01%
ZEC $1,358.29 +11.62%
AAPL $345.06 +1.20%
AMZN $264.00 +0.24%
GOOGL $334.83 -1.98%
MSFT $532.97 -0.21%
META $708.07 +2.42%
NVDA $221.85 +2.08%
TSLA $386.62 +3.21%
SNDK $1,389.16 +0.34%
INTC $92.68 +0.15%
SPCX $158.93 +7.58%
MU $918.25 +0.81%
AMD $554.16 +2.45%

anthropic

Anthropic 是一家人工智慧安全和研究公司,專注於開發更安全和可控的人工智慧系統。成立於 2021 年,Anthropic 致力於透過研究和技術開發,確保人工智慧技術的透明性和可靠性,減少潛在的風險和負面影響。該公司由 OpenAI 的前員工創立,旨在推動 AI 領域的倫理和安全標準。
全部
文章
快訊

Anthropic 執行長 發長文回應安全質疑,稱須保持技術最前沿

ChainCatcher 消息,Anthropic 最近向美國國會議員提交一份 AI 安全法案草案,遭美國 AI 安全派質疑。草案對政府緊急叫停危險模型設置較高門檻,風險須涉及生物武器、網絡攻擊或 AI 失控等情形,並可能造成超過 50 人死亡或重傷,或超過 10 億美元損失;部分條款還可能限制州政府監管權限。AI 安全組織 Encode AI 戰略負責人 Nathan Calvin 隨後梳理 Anthropic 過去一年的決定。今年 2 月,公司修改原本嚴格的安全政策:過去承諾若安全措施跟不上模型能力就暫停訓練或發布,新政策不再要求公司在更高風險階段獨自停止研發,理由是競爭對手可能趁機超車。同期公司投入巨額算力、組建晶片團隊,並讓 Claude 承擔更多 AI 研發任務。10 月 21 日,Anthropic CEO Dario Amodei 在 X 上發長文反駁。他承認公司犯過一些錯誤,但堅持爭奪最先進 AI 能力並未違背安全使命,並稱公司奉行向上競賽,只有保持在技術最前沿,才有能力推動行業提高安全標準。他列舉九項曾讓公司付出商業代價的安全決定,包括將 Mythos 級模型限制開放數月,以及嚴格限制生物學相關請求。公司 10 月 19 日更新的安全路線圖稱,現有政策主要針對危險模型部署,未來可能需要直接限制研發速度,並計劃在 2027 年 1 月 15 日前提出相關政策方案,或解釋為何沒有提出。

奧特曼向員工介紹安全開發超級 AI 三條路徑

ChainCatcher 消息,OpenAI 首席執行官奧特曼上週向員工介紹了三種安全開發超級 AI 的方案。第一種是建立類似國際原子能機構的全球監管組織,檢查先進模型並審計安全措施。知情人士稱,奧特曼傾向於這條路線。第二種效仿歐洲核子研究中心,讓各大 AI 實驗室合併到一個組織,或通過統一機構共同研發,而不是繼續各自競速。第三種最極端,被他稱為「Eliezer 方案」:一家 AI 公司率先實現遞歸自我改進,再憑藉壓倒性經濟實力控制算力,使其他開發者無法追趕。奧特曼用「熔毀其他所有公司的 GPU」描述這一設想,同時表示該方案非常糟糕,只是為了把可能性講全。「熔毀 GPU」的設想來自 AI 安全研究者 Eliezer Yudkowsky。他在 2021 年提出思想實驗,讓超級 AI 製造能夠自我複製的納米機器以熔毀全球 GPU,並表示這只是說明干預力度的極端例子,並非主張執行的方案。OpenAI 在 2023 年提出過建立「AI 版國際原子能機構」,Google DeepMind 負責人 Hassabis 也曾主張設立「AI 版 CERN」。目前 OpenAI、Google 和 Anthropic 計劃在今年底或明年初成立聯合安全標準組織,但在模型安全測試責任歸屬上存在分歧。奧特曼希望為 AI 研發設定速度限制,同時表示 OpenAI 眼下不能把競爭優勢讓給對手。

first_img 開源 AI 編程工具 OpenCode 遭入侵,約 1.4% 用戶受影響

ChainCatcher 消息,網易號《DeepTech深科技》報導,開源 AI 編程工具 OpenCode 官方確認遭遇入侵,約 1.4% 的 OpenCode Console 用戶受影響,部分保存在平台上的模型 API 密鑰可能洩露。多名開發者稱用於調用 OpenAI、Anthropic 等模型的賬戶出現異常費用,有人報告損失數百美元,有人稱超過 1700 美元。官方稱事件與一場大規模蒸餾攻擊有關,並正與 OpenAI、Anthropic、Google 共同處理。OpenCode 由 Anomaly 團隊相關人員開發,主要創建者之一為 Dax Raad,團隊此前有 SST、OpenNext 等項目。除本地程序外,其雲端服務 Console 可將 OpenAI、Anthropic、Google 等廠商的 API 密鑰集中保存在工作區並代為調用,事故發生在這項雲端服務上。通知郵件稱,攻擊者未經授權訪問一套正在停用的舊系統,部分 Console 工作區中的第三方模型 API 密鑰可能暴露。開發者 Colin Parsons 稱 OpenAI 賬戶約 281 美元、Anthropic 賬戶約 168 美元出現異常費用,Preston Zeller 稱損失約 1700 美元。另有用戶報告 Anthropic 約 400 美元異常費用,以及 Google 服務因異常使用觸發賬戶限制。OpenCode 已通知受影響用戶撤銷並更換密鑰、檢查近期調用記錄。Anthropic Claude Code 團隊成員 Lydia Hallie 表示,Anthropic 已與 OpenCode 合作,並撤銷被認為受影響的 Claude API 密鑰。OpenAI 團隊成員 Tibo 表示,正與 OpenCode 合作幫助受影響 API 用戶恢復使用,並退還攻擊期間被異常消耗的相關額度。Dax Raad 澄清,受影響的是 OpenCode Console,不是本地運行的 OpenCode,用戶直接在本地工具中配置的密鑰不會傳到 OpenCode 伺服器。10 月 18 日,他在社交平台稱攻擊者在過去 48 小時持續嘗試入侵,團隊正在加強防護。

first_img Anthropic 正在研究讓 AI 智能體代表用戶談判

ChainCatcher 消息,鳳凰網科技援引《金融時報》報導,北京時間 10 月 19 日,AI 公司 Anthropic 正與法律界人士探討如何讓 AI 智能體代表用戶談判,在爭取更好交易條件的同時遵循合理談判規則。兩名了解 Anthropic 想法的人士稱,公司正向律師事務所尋求建議,了解律師如何在維護客戶利益的同時兼顧公平談判結果。Anthropic 拒絕置評。報導稱,隨著個人智能體應用推進,相關公司開始考慮讓智能體彼此溝通,代表用戶就商品價格討價還價、解決客服糾紛,甚至爭取更好薪資待遇。一名了解相關工作的人士稱,Anthropic 正在研究模型相互交涉時應遵循的談判規範,權衡內容包括談判中應多久向用戶請示一次,以及對 AI 談判對手應保持多大警惕。另一名接近公司的人士稱,公司還探索過由用戶簽署文件,確認智能體接受的任務及必須遵守的規則。《金融時報》援引 Anthropic 今年 4 月發布的研究稱,圍繞 AI 模型代表人類進行交易的政策與法律框架尚未建立。公司今年讓 Claude 智能體圍繞真實商品和資金談判,9 月實驗中員工通過智能體買賣書籍,採取強硬策略的智能體在爭取更好結果方面略佔優勢。哈佛商學院助理教授米歇爾·瓦卡羅開展超過 18 萬次智能體談判,場景涵蓋雇傭合同和租賃合同,研究發現有智能體試圖通過提示詞注入誘導對方泄露私密信息。

first_img Anthropic 聯合創始人:AI 有望使美國 GDP 提升近 50%

ChainCatcher 消息,人工智能公司 Anthropic 聯合創始人兼公共利益負責人傑克·克拉克週六在曼谷舉行的國際貨幣基金組織與世界銀行年會上表示:AI 能力快速提升將帶來更迅猛的變革,該公司內部模型預測,在特定條件下,到 2030 年 AI 有望使美國經濟產出提升近 50%。他稱需要國際合作為這項技術建立"非同尋常且嚴苛的規則",政策制定者採取行動的窗口正在縮窄。克拉克稱,美國 GDP 潛在規模預計將達到 44 萬億美元,目前略高於 30 萬億美元,該預測建立在技術持續進步的假設上。他向政策制定者警告,越來越多證據指向"技術奇點",即 AI 發展速度將超出人類掌控,未來幾年不僅 AI、整個科學領域的進步都會加快。他表示,儘管近期出現失控 AI 系統脫離測試環境並入侵網站和數據庫的事件,AI 目前仍處於人類掌控之下,但搭建安全防護的窗口正在縮短,目前僅剩短短幾年時間。克拉克發表上述言論之際,Anthropic 正籌備 IPO,預計 11 月上市,近日有報導稱其 IPO 估值預期被下調至 1.5 萬億美元區間,低於此前約 2 萬億美元的市場預期。他還稱,AI 可成為科學發現的力量倍增器,更多國家可通過建設數據中心算力基礎設施參與 AI 發展;AI 正在呼叫中心、客服等領域造成崗位流失,在科學研究等領域則在促進就業。
app_icon
ChainCatcher 與創新者共建Web3世界