Merge pull request #1020 from facebook/betterBench

updated fullbench measurement methodology

fullbench includes assert.h

as it is missing for Windows

fixed huf_compress workspace size

update fullbench measurement methodology

to use less calls to time(), like bench.c.

also upgraded accuracy to nanosecond.

Merge pull request #1019 from facebook/betterBench

improve benchmark measurement for small inputs

fixed minor conversion warning

Merge pull request #1017 from terrelln/c-bmi2

[compress] Support BMI2

use TIMELOOP_NANOSEC

as suggested by @terrelln

improve benchmark measurement for small inputs

by invoking time() once per batch, instead of once per compression / decompression.
Batch is dynamically resized so that each round lasts approximately 1 second.

Also : increases time accuracy to nanosecond

[BMI2] Add comments to the bmi2 variable in the contexts

added clarification comments in zstd_errors.h

answering some points in #1018

Merge pull request #1011 from terrelln/bmi2

[decompress] Support BMI2

[compress] Support BMI2

[decompress] Support BMI2

fixed --single-thread

was incorrectly set to -T0 (use as many cores as possible) previously

Merge pull request #1014 from facebook/fasterDec

Faster decoding speed

pretify last unit test output

added code comment on how to generate default tables

as suggested by @terrelln

added SEQSYMBOL_TABLE_SIZE()

as suggested by @terrelln's comment

fixed logo path

Merge branch 'dev' into fasterDec

Merge pull request #1010 from facebook/flexibleLevel

Updatable compression parameters

Merge branch 'dev' into flexibleLevel

Merge pull request #1013 from facebook/fasterDec32

Disable Long Offset mode in 32-bits

specify new command --single-thread

fixed minor nit as per @terrelln's comments

Merge branch 'dev' into flexibleLevel

re-enabled ZSTD_decompressSequencesLong()

pre-calculated default decoding tables

fixed mono-symbol distribution

fixed default fse distributions

but would be better to pre-calculate tables, for speed

addBits and baseline into FSE decoding table

note : unfinished
- need new default tables
- need modify long mode

Merge branch 'dev' into fasterDec

fixed streaming_memory_usage example

also:
ensure zstd.h is read from ../lib (instead of /usr/include)

Merged ZSTD_preserveUnsortedMark() into ZSTD_reduceIndex()

as it's faster, due to one memory scan instead of two
(confirmed by microbenchmark).

Note : as ZSTD_reduceIndex() is rarely invoked,
it does not translate into a visible gain.
Consider it an exercise in auto-vectorization and micro-benchmarking.

minor : modified ZSTD_preserveUnsortedMark() to be more vectorization friendly

faster decoding in 32-bits mode for long offsets (tentative)

On my laptop:
Before:
./zstd32 -b --zstd=wlog=27 silesia.tar enwik8 -S
 3#silesia.tar       : 211984896 ->  66683478 (3.179),  97.6 MB/s , 400.7 MB/s
 3#enwik8            : 100000000 ->  35643153 (2.806),  76.5 MB/s , 303.2 MB/s

After:
./zstd32 -b --zstd=wlog=27 silesia.tar enwik8 -S
 3#silesia.tar       : 211984896 ->  66683478 (3.179),  97.4 MB/s , 435.0 MB/s
 3#enwik8            : 100000000 ->  35643153 (2.806),  76.2 MB/s , 338.1 MB/s

Mileage vary, depending on file, and cpu type.
But a generic rule is : x86 benefits less from "long-offset mode" than x64,
maybe due to register pressure.
On "entropy", long-mode is _never_ a win for x86.
On my laptop though, it may, depending on file and compression level
(enwik8 benefits more from "long-mode" than silesia).

ensure compression parameters are updated when only compression level is changed

zstdmt: applies new parameters on the fly

when invoked from ZSTD_compress_generic()

fileio: create dedicated function to generate zstd frames

like other formats

Merge pull request #1006 from systemcrash/patch-2

Update README.md

Merge pull request #1005 from systemcrash/dev

Update zstd.1

fixed minor conversion warning

Changed nbThreads for nbWorkers

This makes it easier to explain that nbWorkers=0 --> single-threaded mode,
while nbWorkers=1 --> asynchronous mode (one mode thread on top of the "main" caller thread).
No need for an additional asynchronous mode flag.
nbWorkers>=2 works the same as nbThreads>=2 previously.

clarified comments on LDM parameters

zstdmt: added ability to change compression parameters during compression

removed bitstream.h dependency

Merge pull request #1009 from terrelln/fail-early

Test for incorrect pledgeSrcSize earlier

Test for incorrect pledgeSrcSize earlier

Merge pull request #1008 from terrelln/hlog3

Fix hashLog3 size when copying cdict tables

[fuzzer] Check ZSTD_initStaticCDict() for every level

Fix hashLog3 size when copying cdict tables

Merge pull request #1000 from facebook/progressiveFlush

Progressive flush

updated zstd api manual

fixed function declaration ZSTD_getBlockSize()

zstdmt: changed naming convention

to avoid confusion with blocks.

also:
- jobs are cut into chunks of 512KB now, to reduce nb of mutex calls.
- fix function declaration ZSTD_getBlockSizeMax()
- fix outdated comment

Update README.md

spelling

Update zstd.1

bumped version number to v1.3.4

also added a paragraph on using compression level with training mode
as this is a recurrent question (see for example #1004)

fixed minor conversion warning for C++ compilation mode

job mutex creation is checked

zstdmt: there is now one mutex/cond per job

zstdmt: minor code refactor for clarity

zstdmt: job table correctly cleaned after synchronous ZSTDMT_compress()

zstdmt : refactor a few member names

for clarity

zstdmt : flush() only lock to read shared job members

Other job members are accessed directly.
This avoids a full job copy, which would access everything,
including a few members that are supposed to be used by worker only,
uselessly requiring additional locks to avoid race conditions.

minor : ZSTDMT_writeLastEmptyBlock() is a void function

because it cannot fail

zstdmt : fixed memory leak

writeLastEmptyBlock() must release srcBuffer
as mtctx assumes it's done by job worker.

minor : changed 2 job member names (src->srcBuffer, srcStart->prefixStart) for clarity

zstdmt : refactor job members

grouped by sharing properties

fixed minor declaration-after-statement warning

zstdmt: removed job->jobCompleted

replaced by equivalent signal job->consumer == job->srcSize.

created additional functions
ZSTD_writeLastEmptyBlock()
and
ZSTDMT_writeLastEmptyBlock()
required when it's necessary to finish a frame with a last empty job, to create an "end of frame" marker.

It avoids creating a job with srcSize==0.

zstdmt:: renamed mutex and cond to underline they are context-global

Merge pull request #1001 from ne-sted/fix-defaults-align

cli: fix align of defaults

cli: fix align of defaults

zstdmt : fixed complex sequencing bug

zstdmt would shortcut to single-thread blocking mode
in some rare cases where data is sent to be compressed but is not yet ready.

zstdmt : correctly set end of frame

zstdmt : fix end condition (ZSTD_e_end)

When ZSTD_e_end directive is provided,
the question is not only "are internal buffers completely flushed",
it is also "is current frame completed".

In some rare cases,
it was possible for internal buffers to be completely flushed,
triggering a @return == 0,
but frame was not completed as it needed a last null-size block to mark the end,
resulting in an unfinished frame.

zstdmt: fixed minor race condition

no real consequence, but pollute tsan tests :

job->dstBuff is being modified inside worker,
while main thread might read it accidentally
because it copies whole job.
But since it doesn't used dstBuff, there is no real consequence.

Other potential solution : only copy useful data, instead of whole job

zstdmt : fixed ending frame with 0-size block

Merge pull request #998 from facebook/zcat

add `zcat` symlink support, suggested by @wtarreau

zstreamtest : fixed test 32 : multi-thread compression

using ZSTD_compress_generic(,,ZSTD_e_end)
Since it already provides ZSTD_e_end as directive,
it should not be followed by ZSTDMT_endStream().

zstdmt : fixed last job size

zstdmt : finally vanquished an elusive and rare race condition

zstdmt : simplify job creation

job will not be created when not enough room within job Table

zstdmt: fixed corruption issue in ZSTDMT_endStream()

when invoked directly.

add `zcat` symlink support, suggested by @wtarreau

added some test
also updated relevant doc

+ fixed a mistake in `lz4` symlink support :
  lz4 utility doesn't remove source files by default (like zstd, but unlike gzip).
  The symlink must behave the same.

zstdmt uses POOL_tryAdd() to call a new worker

so that it's no longer a blocking call.
This makes it possible to stream out data gradually,
while waiting for a worker to become available.

Merge pull request #995 from facebook/progressiveMT

Progressive mt

Merge pull request #994 from facebook/constCDict

changed initStatic?Dict() return type to const ZSTD_?Dict*

fixed frame checksum issue

and race conditions

added POOL_tryAdd()

Merge branch 'dev' into constCDict

Merge branch 'progressiveMT' into progressiveFlush

Merge branch 'dev' into progressiveMT

Merge pull request #997 from terrelln/empty-dict

Set repcodes for empty ZSTD_CDict

Set repcodes for empty ZSTD_CDict

When the dictionary is <= 8 bytes, no data is loaded from the dictionary.
In this case the repcodes weren't set, because they were inserted after the
size check. Fix this problem in general by first setting the cdict state to
a clean state of an empty dictionary, then filling the state from there.

fileio: READY_FOR_UPDATE() is now a function-like macro

as suggested by @terrelln

fixes for @terrelln comments

zstdmt: added ability to flush current job before it's completed

however, zstdmt may still wait on next available worker,
so it's not smooth yet.

fixed a few access contention

passes thread sanitizer test