フロリダの女性がClaudeを使って日記を書き、Anthropicが審査した後に警察に通報しました。

Decrypt の報道によると、アメリカフロリダ州ボニータスプリングスの女性カーリ・ミシェル・ヘラーは、Claudeを日記として使用したために逮捕されました。調査官によると、彼女は9月26日に「李郡保安官事務所を銃撃する」と書き、翌日には新しい銃を手に入れたと述べました。Anthropicの安全システムはこれらの対話をマークし、その内容が深刻であるため、プラットフォームは人間の審査チームに処理を委ね、後者は法執行機関に報告しました。警官はこれに基づいてヘラーを特定し、彼女の住居に向かい拘留しました。彼女は文書で暴力の脅威を発したとして起訴され、裁判は11月に予定されています。

Anthropicの消費者規約は、ユーザーの入力、出力、または行動を法執行機関に報告する権利を「自主的に決定する」ことを明確に留保しています。2026年9月10日に発効するプライバシーポリシーも、会社が重大な危害を防ぐために開示が合理的に必要であると善意で信じる場合に警察とデータを共有することを許可しています。ユーザーがデータをモデルのトレーニングに使用しないことを選択しても、Anthropicは3ヶ月以内にそのデータを使用することができ、5年ではありません。マークされた対話は、有害なコンテンツ検出能力の改善にも使用されます。

これは初めての事例ではありません。『サンフランシスコ・スタンダード』は9月に、Anthropicがあるユーザーを警察に引き渡したと報じました。そのユーザーは、AR-15ライフルを購入したと書き、会社のCEOダリオ・アモデイを狙撃手の視界に置いたとされていますが、彼はただの冗談だと言っており、報道時には逮捕も起訴もされていませんでした。Anthropicのスポークスマンは、この件について「私たちの保護プロセスは期待通りに機能しています」と述べました。