Anthropic：Claudeは大規模な形式検証オープンソースライブラリを開発しました。

人工知能会社 Anthropic の Frontier Red Team は 10 月 22 日に研究を発表し、大規模な形式的証明を自動的に作成できる大規模言語モデルが存在することを示しました。チームは Theorem と協力し、Claude を使用して RISC-V アセンブリレベルで 100 以上の実際のオープンソースライブラリの安全性を証明し、これは AI を用いてアセンブリレベルで生産ソフトウェアに対して大規模な形式的検証を行った初めての事例であると述べています。証明の過程で、数年にわたり発見されていなかった脆弱性も発見されました。

実験では、Google OSS-Fuzz に既に存在するコンパイル可能なファズテストを仕様に変換しました：単一スレッドの静的バイナリ、固定メモリ予算、RISC-V CPU および Linux などの仮定の下で、64 MB 未満の任意の入力に対して、プログラムは正常に終了し、メモリ安全性エラーやアサーション失敗を引き起こさないべきです。数週間以内に、Claude は発見された問題を修正した後、123 の OSS-Fuzz ライブラリの 239 のエントリポイントに対して上述の性質を証明しました。証明はコンパイル後の RISC-V 命令に対して行われ、約 1.8 億行の Rocq によってチェックされました。ページでは、これらのライブラリに脆弱性がないことを意味するものではなく、残りの問題は信頼されたコンポーネントや証明の範囲外にある可能性があると述べています。

ページではさらに、チームが Claude に RFC 1950 を形式化させ、x86 バイナリレベルで Linux カーネル内の zlib 実装がその仕様に準拠していることを証明させたと述べています。また、Rust で書かれた Python の大部分をカバーするインタプリタは、170 万以上のランダム生成プログラムと CPython の動作が一致する割合が 99.95% であることを示しました。36 の小規模な検証タスクにおいて、Opus 5.5 はその半分に必要なトークンが Opus 5 より約 40% 少ないことを証明しました。チームは同時に、証明が単一スレッド、静的リンクの RISC-V バイナリに対して行われ、証明チェッカーが仕様が現実に適合しているかどうかを判断できないことを指摘しました。