]> git.ipfire.org Git - thirdparty/zstd.git/commit
[largeNbDicts] Add an option to print out median speed 3205/head
authorHan Zhu <zhuhan7737@gmail.com>
Wed, 20 Jul 2022 18:14:51 +0000 (11:14 -0700)
committerHan Zhu <zhuhan7737@gmail.com>
Wed, 20 Jul 2022 18:19:41 +0000 (11:19 -0700)
commitd993a288e067ea55d406f8fc547d55b9ad6e725b
tree0c7aa6553cc9071bf3fadd5c446bded99189442f
parentb550f9b77e9fa11d11078735c32ba9847e5df773
[largeNbDicts] Add an option to print out median speed

Summary:
Added an option -p# where -p0 (default) sets the aggregation method to fastest
speed while -p1 sets the aggregation method to median. Also added a new column
in the csv file to report this option's value.

Test Plan:
``
$ ./largeNbDicts -1 --nbDicts=1 -D ~/benchmarks/html/html_8_16K.32K.dict
~/benchmarks/html/html_8_16K/*
loading 7450 files...
created src buffer of size 83.4 MB
split input into 7450 blocks
loading dictionary /home/zhuhan/benchmarks/html/html_8_16K.32K.dict
compressing at level 1 without dictionary : Ratio=3.03  (28827863 bytes)
compressed using a 32768 bytes dictionary : Ratio=4.28  (20410262 bytes)
generating 1 dictionaries, using 0.1 MB of memory
Compression Speed : 306.0 MB/s
Fastest Speed : 310.6 MB/s

$ ./largeNbDicts -1 --nbDicts=1 -p1 -D ~/benchmarks/html/html_8_16K.32K.dict
~/benchmarks/html/html_8_16K/*
loading 7450 files...
created src buffer of size 83.4 MB
split input into 7450 blocks
loading dictionary /home/zhuhan/benchmarks/html/html_8_16K.32K.dict
compressing at level 1 without dictionary : Ratio=3.03  (28827863 bytes)
compressed using a 32768 bytes dictionary : Ratio=4.28  (20410262 bytes)
generating 1 dictionaries, using 0.1 MB of memory
Compression Speed : 306.9 MB/s
Median Speed : 298.4 MB/s
```
contrib/largeNbDicts/largeNbDicts.c