testing.rst

測試 (Testing)

目錄

• 介紹
• Property Testing
• 涵蓋率 (Coverage)
  • kcov
• 參考

介紹

常見種類：

• Unit Testing
• Doc Testing
• Integration Testing

Rust 可以特別指定開發測試才用到的相依套件， 這類套件不會被編進一般釋出中， 只有在跑測試或範例時引入。

相關套件：

• Mutagen - Breaking your Rust code for fun & profit
• Proptest - Hypothesis-like property testing
• Fake - generating fake data
• Tarpaulin - code coverage tool
• cargo benchcmp - comparing micro-benchmarks
• Criterion.rs - Statistics-driven Microbenchmarking

Property Testing

• QuickCheck
• Proptest

涵蓋率 (Coverage)

kcov

kcov 是針對編譯式語言的涵蓋率，工具， 會利用 DWARF 內的資訊來判斷涵蓋率， 但是也因此不能提供準確地結果， 會因許多狀況存在著誤差。

先編譯測試程式，但不執行：

$ cargo test --no-run

利用 kcov 執行測試程式：

# 注意 kcov 一次只會執行一個執行檔
# 會把結果放在 target/cov/
$ kcov --exclude-pattern=/.cargo,/usr/lib --verify target/cov target/debug/<testing executable name>

# 執行 target/debug/ 內符合 test_* pattern 的執行檔
$ find target/debug/ -maxdepth 1 -executable -name 'test_*' | xargs -n1 kcov --exclude-pattern=/.cargo,/usr/lib --verify target/cov

kcov 會直接生出各項測試的 HTML/XML Report 以及最終彙整的結果：

$ ls -p target/cov/
amber.png  index.html            test_annotations-cb88dc8524099677/  test_macros-5e2f11fbc7ad0de0/
bcov.css   index.json            test_bytes-5ca1ae23487d7d1c/        test_ser-14a39c1458f10d62/
data/      kcov-merged/          test_de-cc5ad65a70f2114a/           test_value-b60153e4a6c47960/
glass.png  libkcov_sowrapper.so  test_gen-3e095da8cd3ccedb/

Cobertura XML 可以方便和現有其他工具結合， 例如 Jenkins。

$ ls target/cov/kcov-merged/cobertura.xml
target/cov/kcov-merged/cobertura.xml

kcov 也支援把結果直接上傳到 Coveralls ， 跟 CI 結合後就會更方便：

$ kcov --coveralls-id=$TRAVIS_JOB_ID ...

參考

• Testing - The Rust Programming Language
• Rust by Example - Testing
• Rust Code Coverage Guide: kcov + Travis CI + Codecov / Coveralls
• kcov - Code coverage tool for compiled programs
• Codecov Rust Example
• Disabling --gc-sections when --test is specified
• Comparison of several Rust mocking libraries
• Pretty Assertions