業界トップクラスの精度。
高い再現率。ノイズはごくわずか。

方法論と技術ホワイトペーパーとの整合:

• ホワイトペーパーの主スコア — プール Youden’s J (90.29% / 0.90): ベンチマークスイート全体の 2,740 件のテストケースを 1 つのデータセットとして扱って算出します。全体の再現率 (94.06%) から全体の FPR (3.77%) を引くと 90.29% になります (Cyfendo 技術ホワイトペーパーでは Youden 指数 0.90 として公表)。プール J は、スイート全体の集計件数を報告している公表済みの学術的評価との直接的な整合性を保つため、比較表でも標準の指標として使用しています。
• OWASP の別の集計方法 — カテゴリ平均 J (90.55%): 従来の OWASP Benchmark の採点スクリプトは、11 の脆弱性カテゴリ (SQLi、XSS、パストラバーサル、コマンドインジェクション、弱い暗号など) ごとに再現率と誤検出率を個別に計算し、カテゴリごとに再現率から FPR を引いたうえで、重み付けなしの算術平均を求めます。Cyfendo のカテゴリ平均 J 90.55% は、ホワイトペーパーに記載したカテゴリ別の件数から直接導いたものです。
• Python v0.1 の主要スコア (86.57%): プールした件数を使用しています (全体の再現率 90.04% − 全体の FPR 3.47% = 86.57%)。この暫定的なスイートについては、カテゴリ平均のスコアは確立されていません。

解釈: Youden’s J が 100% であれば、誤検出のない完全な検出を表します (再現率 100%、FPR 0%)。J が 0% であれば、真陽性率が誤検出率と等しいツールを示します (診断能力なし)。誤検知が真の検出より多いツールでは、J は負になることがあります。

適合率と FPR についての注記: 誤検出率 (FPR) は、安全な対照ケースのうち誤ってフラグを立てた割合を表し、報告されたアラートのうち誤りだった割合ではありません。適合率は、報告されたアラートのうち実際の脆弱性だった割合を表します。すべての指標は丸める前の件数から計算し、その後、表示桁数に丸めています。表示された丸め後のパーセンテージを直接引き算すると、0.01 ポイントの丸め誤差が生じることがあります。

• Sifting the Noise (arXiv:2601.22952、2026年1月30日): CodeQL 2.23.7、Semgrep 1.145.0、SonarQube 9.9.8 Community Edition、Joern 4.0.454 を評価しています。意図した CWE の検出を確認するのではなく、ファイル単位で陽性を採点しています。SonarQube のスコアは脆弱性を数え、セキュリティホットスポットを除外しています。Joern はデフォルトの Java スキャナのルールセット (ルールファイル 6 件) を使用し、誤検出は少ない (FPR 7.2%) ものの、再現率は非常に低い (8.2%) 結果です。プール J の値は、論文に表示されている丸め後の再現率と FPR から、小数第 1 位を保持して算出しています。スキャナの実行と正確なルール固定の構成は、今回の調査では独自に再実行していません。
• QASecClaw (arXiv:2605.01885、2026年5月3日): 自動ルール選択の Semgrep CE (バイナリのバージョンは未指定) を評価しています。採点上の件数は TP 1,273、FN 142、FP 560、TN 765 です。採点スクリプトは、CWE の一致を厳密に確認するのではなく、番号付きベンチマークファイル内のあらゆる検出事項を受け入れます。公表されている ID を数え直して確認できるのは集計の算術であり、スキャナの実行ではありません。
• OWASP Benchmark v1.2 公式スコアカード: OWASP プロジェクトが公式の BenchmarkScore ユーティリティを使い、OWASP Benchmark Java v1.2 の 2,740 件のテストケースに対してオープンソースツールで生成したベースラインのレポートです。FindBugs と FindSecBugs v1.4.6 は TP 1,370、FN 45、FP 703、TN 622 (プール J 43.76%、カテゴリ平均 J 39.10%)。SonarQube Java プラグイン v3.14 は TP 607、FN 808、FP 141、TN 1,184 (プール J 32.26%、カテゴリ平均 J 33.34%) でした。
• OWASP 商用ツールのベースライン (SAST-01 – SAST-06): 商用ソフトウェアのライセンス条件に従って匿名化された、主要な商用 SAST ツール 6 種の集計ベンチマーク結果です。商用ツール群のカテゴリ平均 Youden’s J は平均 25.50% で、個々のツールのスコアは 16.74% (SAST-01) から 32.93% (SAST-06) にわたります。
• Fluid Attacks SAST: ベンダーのドキュメントは2026年7月17日に更新されたもので、実行日は不明です。ベンダーの再現手順には、選択したチェック、固定されていないコンテナ、独自のパーサーが含まれます。Fluid Attacks は J = 100% と報告していますが、集計方法は不明です。ドキュメントの更新日は、実行日ではありません。
• Static Reviewer (Security Reviewer): ベンダーが公表した性能の主張では、OWASP Benchmark で TPR 98%、FPR 1.2% とされています。テストスイートのバージョンと実行環境は、ベンダーの報告によるものです。

合成テストケースという範囲: OWASP Benchmark のスイートは、ラベル付けされた合成のテストケースで構成されています。管理された条件下でテイント追跡や構文上の識別を評価するうえでは有用ですが、ベンチマークのスコアだけでは、実環境での脆弱性の網羅性、複雑なビジネスロジックの欠陥の検出、開発者のトリアージ時間の削減、提案されたコード修正の正しさを立証することはできません。

評価の状況: Cyfendo の数値は、2026年9月に公開ベンチマークスイートに対して実施した、ベンダー報告の測定結果です。評価したビルドのコミットハッシュは固定されておらず、結果は第三者によって再現されていません。

OWASP の独立性に関する注意: OWASP は OWASP Foundation, Inc. の登録商標です。Cyfendo の評価は、オープンなベンチマークスイートに対する独立した調査であり、OWASP による推奨、後援、認証を意味するものではありません。