OWASP Benchmark における Cyfendo のエージェント型スキャン

エグゼクティブサマリー #

現代のソフトウェアエンジニアリングには、精度を犠牲にすることなく、継続的デプロイの速度で動作するセキュリティツールが必要です。従来の商用 SAST ツールは標準化されたベンチマークで苦戦することが多く、高い偽陽性率が深刻なアラート疲れを招き、時間のかかる手動のトリアージを必要としています。

Cyfendo のエージェント型スキャンフレームワークは、静的な構文やパターンのマッチングからの脱却を意味します。テイントに導かれた推論と敵対的レビューのパイプラインを通じて、専門化された LLM エージェントを連携させることで、Cyfendo は、従来のアナライザーが判断に迷う複雑なコードの意図や独自のサニタイズ処理を理解します。

OWASP Benchmark v1.2 スイート全体(2,740 件のテストケース)で評価した結果、Cyfendo は感度 94.06%(真の脆弱性 1,415 件のうち 1,331 件を検出)と特異度 96.23%(安全な対照 1,325 件のうち偽陽性は 50 件のみ)を達成し、Youden’s Index 0.90、適合率 96.38%、F1 スコア 95.21%となりました。この高い診断精度により、エンジニアリングチームは CI/CD パイプラインに自動のセキュリティゲートを導入でき、人手がボトルネックになることなく、検出事項を信頼して高リスクのリグレッションをブロックできます。

アーキテクチャと中核技術 #

Cyfendo は、脆弱性を網羅的に検出する再現率を確保しながら、誤警報を徹底して抑えるように設計された、5 段階のエージェント型パイプラインで動作します。

OWASP Benchmark の概要と手法 #

OWASP Benchmark は、自動化されたソフトウェア脆弱性スキャナーの精度、速度、網羅性を評価するために設計された、オープンソースの評価スイートです。

テストスイートの構成

バージョン 1.2 は、11 の脆弱性カテゴリにわたる合計 2,740 件のテストケースで構成されています。

• 真の脆弱性(1,415 件):データフローのシンクにおける、実際に悪用可能な脆弱性を含むテストケース。
• 安全な対照とおとり(1,325 件):有効な検証、エンコード、フレームワークによる防御を備えたコードパスで、脆弱性の警告が出れば偽陽性になるもの。

評価の計算式

性能は、標準的な診断分類の指標で定量化しています。

• 真陽性率(感度 / TPR):TPR = TP / (TP + FN) — 脆弱性の発見の網羅度を測ります。
• 真陰性率(特異度 / TNR):TNR = TN / (TN + FP) — 安全なコードに対する精度を測ります。
• 誤検知率（FPR）： FPR = FP / (TN + FP) = 1 - Specificity.
• Youden’s Index (J):J = Sensitivity + Specificity - 1 — 全体の診断能力をまとめた指標で、1.0 は完全な分類、0.0 はランダムな推測を表します。

ベンチマークの分析と診断性能 #

OWASP Benchmark v1.2 は、自動化されたセキュリティスキャンの精度を評価するための、客観的で標準化されたテスト環境です。静的アプリケーションセキュリティテストは、従来から、感度(真の脆弱性を捉えること)と特異度(安全な陰性対照での誤警報に耐えること)の間の深刻なトレードオフに直面してきました。

Cyfendo の評価は、2,740 件のテストケースのスイート全体を、統一された実行条件のもとで実施しました。多段階のセマンティック解析、テイントの到達可能性分析、敵対的レビュー、該当する場合の動的なサンドボックス検証を組み合わせることで、Cyfendo は両方の観点でバランスよく高い性能を達成しています。

性能の概要(OWASP) #

全 2,740 件のテストケース(脆弱性のあるケース 1,415 件、安全な対照 1,325 件)における Cyfendo の評価結果です。

カテゴリ別の内訳 #

OWASP Benchmark v1.2 で評価した 11 の脆弱性カテゴリすべてにおける、性能の内訳です。

主な所見と強み #

• 5 つの脆弱性カテゴリで再現率 100%:Cyfendo は、弱い乱数、XPath インジェクション、Cookie の Secure フラグ、弱いハッシュ、LDAP インジェクションで、脆弱性の再現率 100%を達成しました。特に、弱い乱数、XPath インジェクション、Cookie の Secure フラグは、いずれも感度 100%で偽陽性がゼロとなり、Youden Index は満点の +1.000 でした。
• 高い検出の再現率(94.06%):1,415 件の真の脆弱性のうち、Cyfendo は 1,331 件の真陽性を発見し、弱いハッシュ(100.0%)、SQL インジェクション(97.4%)、パストラバーサル(92.5%)といった高リスクのクラスでも、高い検出カバー率を維持しました。
• きわめて低い偽陽性率(3.77%):安全な陰性対照では、Cyfendo は特異度 96.23%という優れた識別精度を示し、無害なテストケース 1,325 件のうち 1,275 件を正しく識別して、スイート全体での偽陽性は 50 件にとどまりました。4 つのカテゴリ(弱い乱数、XPath インジェクション、Cookie の Secure フラグ、パストラバーサル)では、誤警報なしで特異度 100%を達成しました。
• 高い識別能力(Youden Index = 0.90):全 2,740 件のテストケースで最先端の診断能力を示し、標準化されたベンチマーク条件のもとで、Youden Index 0.90(0.9029)、適合率 96.38%、F1 スコア 95.21%を達成しました。

考察と Enterprise への影響 #

開発者のアラート疲れへの対応

感度 94.06%、適合率 96.38%、そしてきわめて低い偽陽性率 3.77%の組み合わせは、従来の SAST が抱える運用上の根本的な問題であるアラート疲れに、正面から取り組むものです。安全な対照 1,325 件に対して誤警報は 50 件のみで、セキュリティの警告にはサンドボックスでのエクスプロイト検証が添えられるため、セキュリティチームはノイズのトリアージから、自動化された修復の検証へと移行できます。

独自のサニタイズ処理の解釈

従来のツールは、既知のサニタイズ処理をハードコードしたレジストリに依存しています。現代のエンタープライズ向けソフトウェアでは、ドメイン固有のエンコードや検証を実装することがよくあります。エージェント型の推論により、Cyfendo は独自の防御を文脈の中で解釈でき、安全なロジックが誤警報を引き起こすのを防げます。

導入コストとスケーリング

多段階のエージェント型推論は、単純な静的リンターよりもスキャン 1 回あたりの計算コストが高くなりますが、その後の工程で手動のトリアージがなくなることで、エンタープライズ環境では運用上の純粋な ROI が十分に見込めます。

ベンチマークの範囲と、合成された Java 以外への一般化

OWASP Benchmark v1.2 は、2,740 件のテストケースにわたってテイントの伝播を評価するための、標準化された再現可能なベースラインです。このベンチマークスイートは一般に公開されているため、標準的な基盤モデルはテストセットの記憶という問題の影響を受けやすくなります。Cyfendo は、LLM によるセマンティックな推論を、決定論的な AST による構造検証と動的なサンドボックス実行と組み合わせることで、記憶による見かけ上の結果を防いでいます。OWASP Benchmark スイートが評価するのは Java サーブレットですが、Cyfendo の基盤となるエージェント型パイプラインは、言語に依存しないセマンティックなコントロールフローグラフ上で動作します。そのため、診断能力を最新のポリグロットなエコシステム(TypeScript、Python、Go)やクラウドインフラのアーキテクチャにも広げることができ、実世界の CVE コーパスを対象にした評価を継続しています。

結論 #

これらのベンチマーク結果は、OWASP Benchmark v1.2 における Cyfendo のエージェント型アプローチが、高い診断性能を持つことを示しています。Cyfendo は 2,740 件のテストケースで、Youden’s Index 0.90、感度 94.06%、特異度 96.23%、適合率 96.38%を達成し、自律型の多層的な AppSec を、現代の CI/CD パイプラインに高い精度で導入でき、しかもマージされるコードの承認権限は開発者が完全に保持できることを示しています。