Độ chính xác dẫn đầu thị trường.
Recall cao. Gần như không nhiễu.
Tìm lỗ hổng mà không phải chịu một loạt cảnh báo sai. Cyfendo phát hiện 94.06% số bài kiểm tra Java có lỗ hổng và đạt precision 93.78% trên Python. Xem kết quả, rồi áp dụng cho mã nguồn của bạn.
Các đánh giá OWASP do Cyfendo công bố. Java và Python được đo riêng. Nguồn và phương pháp ở bên dưới.
Độ chính xác phát hiện đã đo trên 3,970 bài kiểm tra
Quét lỗ hổng đòi hỏi cân bằng giữa độ phủ phát hiện cao và việc hạn chế dương tính giả. Chỉ số J của Youden đo trực tiếp sự cân bằng này.
Phát hiện tốt mới chỉ là một nửa câu chuyện.
Một công cụ quét cần tìm ra lỗ hổng và phân biệt chúng với mã an toàn. J của Youden đo sự cân bằng đó. Xem kết quả của Cyfendo bên cạnh một số đánh giá đã công bố về các công cụ SAST phổ biến.
| Giải pháp / cấu hình được đánh giá | J của Youden Gộp | Recall | Precision (độ chính xác) | FPR | Bằng chứng |
|---|---|---|---|---|---|
| Đánh giá của Cyfendo | |||||
| Cyfendo; lần quét chạy vào tháng 9 năm 2026 | 90.29% | 94.06% | 96.38% | 3.77% | Sách trắng của Cyfendo |
| Đánh giá nghiên cứu và mã nguồn mở (xếp theo J của Youden) | |||||
| Semgrep CE; quy tắc tự động; không nêu rõ bản nhị phân | 47.70% | 89.96% | 69.45% | 42.26% | QASecClaw (3 tháng 5, 2026) |
| FindBugs với FindSecBugs v1.4.6 | 43.76% | 96.82% | 66.09% | 53.06% | Bảng điểm OWASP v1.2 |
| SonarQube Java Plugin v3.14 | 32.26% | 42.90% | 81.15% | 10.64% | Bảng điểm OWASP v1.2 |
| CodeQL 2.23.7 | 28.8% | 97.0% | 60.3% | 68.2% | Sifting the Noise (30 tháng 1, 2026) |
| Semgrep 1.145.0 | 15.6% | 90.4% | 56.3% | 74.8% | Sifting the Noise (30 tháng 1, 2026) |
| Joern 4.0.454 | 1.0% | 8.2% | 54.7% | 7.2% | Sifting the Noise (30 tháng 1, 2026) |
| SonarQube 9.9.8 Community | 1.0% | 95.6% | 51.9% | 94.6% | Sifting the Noise (30 tháng 1, 2026) |
| Mốc cơ sở của các công cụ thương mại trong ngành (nhóm dự án OWASP) | |||||
| Trung bình các công cụ SAST thương mại (6 công cụ thương mại) | 25.50% | — | — | — | Mốc cơ sở thương mại của OWASP |
| Các kết quả khác do nhà cung cấp công bố | |||||
| Fluid Attacks SAST; bản dựng chưa được cố định | —* | 100% | — | 0% | Tài liệu của nhà cung cấp (17 tháng 7, 2026) |
| Static Reviewer (Security Reviewer) | —* | 98.0% | — | 1.2% | Tuyên bố của nhà cung cấp (2025/2026) |
| Kiuwan; lần chạy cũ năm 2017 | 83.30% | 100.00% | — | 16.70% | Báo cáo của nhà cung cấp (30 tháng 10, 2025) |
| Xygeni; không nêu rõ bản dựng | 83.3% | 100% | — | 16.7% | Blog của nhà cung cấp (6 tháng 5, 2026) |
* Ghi chú về kết quả do nhà cung cấp công bố: Fluid Attacks báo cáo J = 100%; Static Reviewer báo cáo TPR 98%, FPR 1.2% (J suy ra = 96.8%); Kiuwan báo cáo J trung bình theo nhóm = 83.30%; Xygeni báo cáo recall 100%, FPR 16.7% (J suy ra = 83.3%). Mức trung bình của các công cụ SAST thương mại (25.50%) là mốc cơ sở benchmark trung bình theo nhóm của OWASP trên 6 công cụ thương mại ẩn danh (SAST-01 đến SAST-06, từ 16.74% đến 32.93%). Precision không được nêu lại ở nơi chưa được công bố. Dấu “—” không có nghĩa là bằng không.
Điều kiện đánh giá: Đây là các đánh giá riêng biệt, với phương pháp chấm điểm, bộ quy tắc và cấu hình bộ kiểm thử khác nhau. Đây là các số liệu được báo cáo, không phải một phép so sánh trực tiếp trên cùng điều kiện hay một bảng xếp hạng sản phẩm hiện tại.
Python: phát hiện 407 trường hợp có lỗ hổng. 27 dương tính giả.
Trong 434 bài kiểm tra bị gắn cờ, 407 là dương tính thật: precision 93.78%, với recall 90.04% trên toàn bộ bộ kiểm thử.
| Giải pháp / cấu hình được đánh giá | J của Youden Gộp | Recall | Precision (độ chính xác) | FPR | Bằng chứng |
|---|---|---|---|---|---|
| Cyfendo; lần quét chạy vào tháng 9 năm 2026 | 86.57% | 90.04% | 93.78% | 3.47% | Sách trắng của Cyfendo |
Lưu ý về dữ liệu của đối thủ: Đợt xem xét này không xác lập được điểm Python toàn bộ bộ kiểm thử có thể quy cho các công cụ thay thế trong bảng Java. Việc thiếu dữ liệu đối thủ đã công bố là một hạn chế về bằng chứng và không được đưa ra như một tuyên bố về hiệu năng.
Tìm ra. Xác thực. Hướng tới bản sửa.
Nhóm của bạn cần nhiều hơn một danh sách cảnh báo nữa. Cyfendo kết nối phân tích mã, điều tra khả năng khai thác và bản vá theo ngữ cảnh trong một quy trình.
Lần theo mã nguồn.
Phân tích codebase và lần theo cách dữ liệu di chuyển qua ứng dụng để nhận diện các lỗ hổng tiềm ẩn.
Đặt câu hỏi cho phát hiện.
Điều tra ngữ cảnh và, khi áp dụng được, xác thực khả năng khai thác trong sandbox.
Tiến tới bản sửa.
Tạo bản vá theo ngữ cảnh và kiểm tra lại để giúp nhà phát triển xử lý nguyên nhân gốc.
Kết quả benchmark trên trang này đo hiệu năng phát hiện. Chúng không đo việc xác thực khả năng khai thác hay chất lượng bản vá. Hãy xem sách trắng kỹ thuật của chúng tôi để biết kiến trúc và phương pháp xác thực.
Mỗi tỷ lệ phần trăm đều có mẫu số.
Tỷ lệ phần trăm trong benchmark phụ thuộc hoàn toàn vào bộ kiểm thử gốc, cách phân loại và cách tổng hợp. Hãy xem số liệu chính xác, công thức và các khác biệt trong đánh giá bên dưới.
Số liệu kiểm thử đầy đủ và ma trận nhầm lẫn (Java & Python)
Ma trận nhầm lẫn OWASP Benchmark Java v1.2 (2.740 bài kiểm tra)
- Bài kiểm tra có lỗ hổng: 1.415
- Trường hợp âm tính (an toàn): 1.325
- Tổng số bài kiểm tra được chấm điểm: 2.740
- Recall (gộp / sách trắng): 94.06% (1.331 / 1.415)
- Precision (gộp / sách trắng): 96.38% (1.331 / 1.381)
- Độ đặc hiệu (TNR): 96.23% (1.275 / 1.325)
- Tỷ lệ dương tính giả (gộp): 3.77% (50 / 1.325)
- J của Youden (chỉ số chính trong sách trắng): 90.29% (chỉ số Youden 0.90)
- J của Youden (trung bình theo nhóm): 90.55%
- Điểm F1 (gộp, phụ): 95.21%
Ma trận nhầm lẫn OWASP Benchmark Python v0.1 (1.230 bài kiểm tra)
- Bài kiểm tra có lỗ hổng: 452
- Trường hợp âm tính (an toàn): 778
- Tổng số bài kiểm tra được chấm điểm: 1.230
- Recall (gộp): 90.04% (407 / 452)
- Precision (gộp): 93.78% (407 / 434)
- Tỷ lệ dương tính giả (gộp): 3.47% (27 / 778)
- J của Youden (gộp): 86.57% (Recall − FPR)
- Điểm F1 (gộp, phụ): 91.87%
helpers/resources/insecureCmd.sh) nằm ngoài các bài kiểm tra được đánh số BenchmarkTestNNNNN chính thức. Phát hiện ở tệp hỗ trợ nằm ngoài phạm vi này đã bị loại, còn lại 434 cảnh báo dương tính trong phạm vi (407 TP + 27 FP). Phát hiện đó không được tính vào ma trận nhầm lẫn hiển thị.
Giải thích cách tổng hợp J của Youden (trung bình theo nhóm so với gộp)
Phương pháp và sự thống nhất với sách trắng kỹ thuật:
- Điểm chính trong sách trắng — J của Youden gộp (90.29% / 0.90): Tính bằng cách coi toàn bộ 2,740 bài kiểm tra của cả bộ benchmark là một tập dữ liệu thống nhất: recall tổng (94.06%) trừ FPR tổng (3.77%) = 90.29% (được công bố là chỉ số Youden 0.90 trong sách trắng kỹ thuật của Cyfendo). J gộp cũng là chỉ số chuẩn dùng trong bảng so sánh, để nhất quán trực tiếp với các đánh giá học thuật đã công bố báo cáo số liệu tổng hợp toàn bộ bộ kiểm thử.
- Cách tổng hợp thay thế của OWASP — J trung bình theo nhóm (90.55%): Tập lệnh chấm điểm OWASP Benchmark cũ tính recall và tỷ lệ dương tính giả riêng cho từng nhóm trong 11 nhóm lỗ hổng (ví dụ: SQLi, XSS, Path Traversal, Command Injection, Weak Cryptography), lấy recall trừ FPR cho mỗi nhóm, rồi tính trung bình cộng không trọng số. J trung bình theo nhóm của Cyfendo là 90.55% được suy ra trực tiếp từ số liệu theo từng nhóm trình bày trong sách trắng của chúng tôi.
- Điểm chính Python v0.1 (86.57%): Dùng số liệu gộp (recall tổng 90.04% − FPR tổng 3.47% = 86.57%). Điểm trung bình theo nhóm chưa được xác lập cho bộ kiểm thử sơ bộ này.
Diễn giải: J của Youden bằng 100% biểu thị phát hiện hoàn hảo không có dương tính giả (recall 100%, FPR 0%). J bằng 0% cho biết công cụ có tỷ lệ dương tính thật bằng tỷ lệ dương tính giả (không có khả năng chẩn đoán). J có thể âm nếu công cụ tạo ra nhiều cảnh báo sai hơn số lần phát hiện đúng.
Định nghĩa chỉ số và công thức toán học
Lưu ý về Precision so với FPR: Tỷ lệ dương tính giả (FPR) đo tỷ lệ các trường hợp đối chứng an toàn bị gắn cờ nhầm, không phải tỷ lệ cảnh báo được báo cáo là sai. Precision đo tỷ lệ cảnh báo được báo cáo là lỗ hổng thật. Mọi chỉ số đều được tính từ số liệu chưa làm tròn, sau đó mới làm tròn theo độ chính xác hiển thị; trừ trực tiếp các tỷ lệ phần trăm đã làm tròn có thể gây ra sai lệch làm tròn 0.01 điểm.
Khác biệt về nguồn và cấu hình đánh giá
- Sifting the Noise (arXiv:2601.22952, 30 tháng 1, 2026): Đánh giá CodeQL 2.23.7, Semgrep 1.145.0, SonarQube 9.9.8 Community Edition và Joern 4.0.454. Chấm điểm dương tính ở mức tệp thay vì phát hiện CWE đúng như dự kiến đã được xác nhận. Điểm SonarQube tính các lỗ hổng và loại trừ security hotspot. Joern dùng bộ quy tắc quét Java mặc định (6 tệp quy tắc), cho dương tính giả thấp (FPR 7.2%) nhưng recall rất thấp (8.2%). Các giá trị J gộp được tính từ số recall và FPR đã làm tròn hiển thị trong bài báo, giữ một chữ số thập phân. Việc thực thi công cụ quét và cấu hình cố định quy tắc chính xác không được chạy lại độc lập trong đợt xem xét này.
- QASecClaw (arXiv:2605.01885, 3 tháng 5, 2026): Đánh giá Semgrep CE với tự động chọn quy tắc (không nêu rõ phiên bản bản nhị phân). Số liệu của bộ chấm điểm là TP 1,273, FN 142, FP 560, TN 765. Tập lệnh chấm điểm chấp nhận bất kỳ phát hiện nào trong một tệp benchmark được đánh số thay vì kiểm tra nghiêm ngặt CWE có khớp hay không. Việc đếm lại các ID đã công bố chỉ xác minh phép tính tổng hợp, không xác minh việc công cụ quét đã chạy.
-
Bảng điểm chính thức OWASP Benchmark v1.2: Các báo cáo mốc cơ sở do dự án OWASP tạo bằng tiện ích
BenchmarkScorechính thức cho các công cụ mã nguồn mở trên 2,740 bài kiểm tra của OWASP Benchmark Java v1.2. FindBugs với FindSecBugs v1.4.6 đạt 1,370 TP, 45 FN, 703 FP, 622 TN (J gộp 43.76%; J trung bình theo nhóm 39.10%). SonarQube Java Plugin v3.14 đạt 607 TP, 808 FN, 141 FP, 1,184 TN (J gộp 32.26%; J trung bình theo nhóm 33.34%). - Mốc cơ sở công cụ thương mại của OWASP (SAST-01 – SAST-06): Kết quả benchmark tổng hợp trên 6 công cụ SAST thương mại hàng đầu, được ẩn danh theo điều khoản giấy phép phần mềm thương mại. Nhóm thương mại đạt điểm J của Youden trung bình theo nhóm là 25.50%, với điểm của từng công cụ từ 16.74% (SAST-01) đến 32.93% (SAST-06).
- Fluid Attacks SAST: Tài liệu của nhà cung cấp được cập nhật ngày 17 tháng 7, 2026; ngày thực thi không được nêu rõ. Quy trình tái tạo của nhà cung cấp gồm các kiểm tra được chọn, một container chưa cố định phiên bản và một bộ phân tích cú pháp tùy chỉnh. Fluid Attacks báo cáo J = 100%; cách tổng hợp không được nêu rõ. Ngày cập nhật tài liệu không phải là ngày thực thi.
- Static Reviewer (Security Reviewer): Các tuyên bố về hiệu năng do nhà cung cấp công bố báo cáo TPR 98% và FPR 1.2% trên OWASP Benchmark. Phiên bản bộ kiểm thử và môi trường thực thi do nhà cung cấp tự báo cáo.
Hạn chế của benchmark và thông báo về xác minh độc lập
Phạm vi của các bài kiểm tra tổng hợp: Các bộ OWASP Benchmark gồm các bài kiểm tra tổng hợp đã được gán nhãn. Dù hữu ích để đánh giá theo dõi luồng dữ liệu (taint tracking) và khả năng phân biệt cú pháp trong điều kiện được kiểm soát, riêng điểm benchmark không thể xác lập độ phủ lỗ hổng trong thực tế, khả năng phát hiện lỗi logic nghiệp vụ phức tạp, thời gian phân loại của nhà phát triển được tiết kiệm, hay tính đúng đắn của các bản sửa mã được đề xuất.
Tình trạng đánh giá: Các số liệu của Cyfendo là kết quả đo do nhà cung cấp tự báo cáo, thực hiện vào tháng 9 năm 2026 trên các bộ benchmark công khai. Mã băm commit của bản dựng được đánh giá chưa được cố định; kết quả chưa được tái tạo độc lập.
Thông báo về tính độc lập với OWASP: OWASP là nhãn hiệu đã đăng ký của OWASP Foundation, Inc. Đánh giá của Cyfendo là một nghiên cứu độc lập trên các bộ benchmark mở và không hàm ý sự chứng thực, tài trợ hay chứng nhận của OWASP.
Cách chúng tôi đếm
Bằng chứng bổ sung và danh mục nguồn
Danh mục trích dẫn đầy đủ và các đánh giá bổ sung của nhà cung cấp đã được xem xét đến ngày 22 tháng 9, 2026.
Bằng chứng bổ sung từ nhà cung cấp: Kolega.dev (Java và Python)
Bối cảnh đánh giá: Kolega.dev đã công bố các đánh giá OWASP Benchmark do chính họ báo cáo vào ngày 26 tháng 2, 2026. Bản dựng được đánh giá được ghi là chưa phát hành vào thời điểm công bố. Đây là các đánh giá riêng biệt của nhà cung cấp.
| Bộ kiểm thử / lần chạy | J gộp | Recall | Precision (độ chính xác) | FPR | F1 (phụ) | Bằng chứng |
|---|---|---|---|---|---|---|
| Java v1.2, lần chạy 1; chọn J tốt nhất trong 3 lần | 87.38% | 96.89% | 91.58% | 9.51% | 94.16% | Blog của nhà cung cấp (26 tháng 2, 2026) |
| Python v0.1, lần chạy 1 | 89.79% | 99.56% | 85.55% | 9.77% | 92.02% | Tệp JSON kết quả (26 tháng 2, 2026) |
| Python v0.1, lần chạy 2; chọn J tốt nhất trong 3 lần | 90.90% | 98.23% | 88.62% | 7.33% | 93.18% | Tệp JSON kết quả (26 tháng 2, 2026) |
| Python v0.1, lần chạy 3 | 89.59% | 100.00% | 84.80% | 10.41% | 91.78% | Tệp JSON kết quả (26 tháng 2, 2026) |
• Java lần chạy 1: TP 1,371; FN 44; FP 126; TN 1,199 (Tổng: 2,740)
• Python lần chạy 1: TP 450; FN 2; FP 76; TN 702 (Tổng: 1,230)
• Python lần chạy 2: TP 444; FN 8; FP 57; TN 721 (Tổng: 1,230)
• Python lần chạy 3: TP 452; FN 0; FP 81; TN 697 (Tổng: 1,230)
Công bố về so sánh: Với Java, Cyfendo báo cáo precision cao hơn (96.38% so với 91.58%) và J gộp cao hơn (90.29% so với 87.38%) so với đánh giá Java được chọn của Kolega, trong khi Kolega báo cáo recall cao hơn (96.89% so với 94.06%). Với Python, Cyfendo báo cáo precision cao hơn (93.78% so với 84.80%–88.62%) và FPR thấp hơn (3.47% so với 7.33%–10.41%) so với cả ba lần chạy của Kolega, nhưng recall thấp hơn (90.04% so với 98.23%–100.00%); lần chạy được Kolega chọn có J và F1 cao hơn. Cả ba lần chạy Python đều được giữ lại để cho thấy mức dao động giữa các lần chạy.
Bối cảnh Java bổ sung và chính sách về công cụ doanh nghiệp
- Kiuwan: Recall 100.00%, FPR 16.70%, J của Youden trung bình theo nhóm 83.30%. Đây là kết quả cũ từ năm 2017 được đăng lại ngày 30 tháng 10, 2025. Dù bài viết có nhắc đến một lần chạy lại sau đó, các số liệu cũ được hiển thị không được xác lập là kết quả của lần chạy lại đó.
- Xygeni: Recall 100%, FPR 16.7%, J của Youden suy ra 83.3% được trích dẫn trong một bài viết ngày 6 tháng 5, 2026. Phiên bản sản phẩm được đánh giá, cách tổng hợp và siêu dữ liệu lần chạy vẫn chưa được làm rõ. J này không được xác lập là gộp hay trung bình theo nhóm.
- Chính sách về công cụ doanh nghiệp: Các nhà cung cấp SAST thương mại độc quyền (gồm Snyk, Checkmarx, Veracode, Mend và Fortify) đưa vào Thỏa thuận cấp phép người dùng cuối (EULA) các điều khoản hạn chế benchmark, cấm công bố bảng điểm so sánh benchmark. Để tuân thủ nghiêm ngặt các chuẩn mực báo cáo công bằng, Cyfendo không công bố điểm chưa được xác minh và không dùng lại kết quả lỗi thời của gói miễn phí để đại diện cho các sản phẩm thương mại doanh nghiệp hiện tại. Việc thiếu bằng chứng không có nghĩa là hiệu năng bằng không.
Nguồn chính và tài liệu tham khảo công khai
Danh mục bằng chứng đã được xem xét đến ngày 22 tháng 9, 2026.
Mạnh trên benchmark. Hãy xem trên mã nguồn của bạn.
Bắt đầu một bản quét. Xem xét các phát hiện. Đánh giá các bản sửa được đề xuất. Xem Cyfendo phù hợp thế nào với cách nhóm bạn xây dựng và phát hành phần mềm.