DYNAMIC_BMI2 enabled for clang

clang only claims compatibility with gcc 4.2.
Consequently, recent patch which reserved DYNAMIC_BMI2 for gcc >= 4.8
also disabled it for clang.

fix : __clang__ is now enough to enable DYNAMIC_BMI2
(associated with other existing conditions : x64/x64, !bmi2)

Merge pull request #1031 from facebook/inline48

force_inline HUF_decodeSymbol*()

limit DYNAMIC_BMI2 to gcc >= 4.8

attribute bmi2 not supported by gcc 4.4

force inlining of HUF_decodeSymbol*() functions

which was not done properly by gcc 4.8
resulting in major performance difference.

ex :
zstd -b1 silesia.tar
before : dec 680 MB/s
after  : dec 710 MB/s  (without bmi2)
after  : dec 770 MB/s  (with DYNAMIC_BMI2)

update doc/README.md on provided tools to test 3rd party implementations

Merge pull request #1026 from terrelln/lrm-window

LDM manages its own window round buffer

LDM manages its own window round buffer

Merge pull request #1025 from facebook/huf

Huf

fixed wrong size test

Merge pull request #1024 from terrelln/window-split

Split the window state into substructure

added error code workSpace_tooSmall

minor cleaning of huff0

Update code documentation, and properly names a few "magic constants".
Also, HUF_compress_internal() gets a cleaner way
to determine size of tables inside workspace.

Reduce ZSTD_CHAINLOG_MAX to 29 in 32-bit mode

Split the window state into substructure

Merge pull request #1021 from terrelln/lrm-split

Split block compresser out of long range matcher

minor nit from Mac XCode

Remove long range matcher immediate repcode check

The compression ratio gets about 0.01% worse on the files I tested, but the
code is much simpler.

Split block compresser out of long range matcher

* `ZSTD_ldm_generateSequences()` generates the LDM sequences and
  stores them in a table. It should work with any chunk size, but
  is currently only called one block at a time.
* `ZSTD_ldm_blockCompress()` emits the pre-defined sequences, and
  instead of encoding the literals directly, it passes them to a
  secondary block compressor. The code to handle chunk sizes greater
  than the block size is currently commented out, since it is unused.
  The next PR will uncomment exercise this code.
* During optimal parsing, ensure LDM `minMatchLength` is at least
  `targetLength`. Also don't emit repcode matches in the LDM block
  compressor. Enabling the LDM with the optimal parser now actually improves
  the compression ratio.
* The compression ratio is very similar to before. It is very slightly
  different, because the repcode handling is slightly different. If I remove
  immediate repcode checking in both branches the compressed size is exactly
  the same.
* The speed looks to be the same or better than before.

Up Next (in a separate PR)
--------------------------

Allow sequence generation to happen prior to compression, and produce more
than a block worth of sequences. Expose some API for zstdmt to consume.
This will test out some currently untested code in
`ZSTD_ldm_blockCompress()`.

Merge pull request #1022 from facebook/bmi2IntoC

Implemented BMI2 functions directly within huf_decompress.c

Implemented BMI2 functions directly within huf_decompress.c

This makes it easier to edit for maintenance and evolutions
(I plan to experiment modifications in huffman decompression functions).

The methology followed seems broadly applicable to other BMI2 modules.

Performance was tracked rigorously at each step,
there is no noticeable loss (nor win) of performance compared to `#include` version.

Note however that 4X decoder variants tend to be extremely sensitive to code alignment.
This source code resulted in pretty good performance for gcc 7.2 and 7.3,
but future changes (even in other parts of the code) might trigger the issue again.

Merge pull request #1020 from facebook/betterBench

updated fullbench measurement methodology

fullbench includes assert.h

as it is missing for Windows

fixed huf_compress workspace size

update fullbench measurement methodology

to use less calls to time(), like bench.c.

also upgraded accuracy to nanosecond.

Merge pull request #1019 from facebook/betterBench

improve benchmark measurement for small inputs

fixed minor conversion warning

Merge pull request #1017 from terrelln/c-bmi2

[compress] Support BMI2

use TIMELOOP_NANOSEC

as suggested by @terrelln

improve benchmark measurement for small inputs

by invoking time() once per batch, instead of once per compression / decompression.
Batch is dynamically resized so that each round lasts approximately 1 second.

Also : increases time accuracy to nanosecond

[BMI2] Add comments to the bmi2 variable in the contexts

added clarification comments in zstd_errors.h

answering some points in #1018

Merge pull request #1011 from terrelln/bmi2

[decompress] Support BMI2

[compress] Support BMI2

[decompress] Support BMI2

fixed --single-thread

was incorrectly set to -T0 (use as many cores as possible) previously

Merge pull request #1014 from facebook/fasterDec

Faster decoding speed

pretify last unit test output

added code comment on how to generate default tables

as suggested by @terrelln

added SEQSYMBOL_TABLE_SIZE()

as suggested by @terrelln's comment

fixed logo path

Merge branch 'dev' into fasterDec

Merge pull request #1010 from facebook/flexibleLevel

Updatable compression parameters

Merge branch 'dev' into flexibleLevel

Merge pull request #1013 from facebook/fasterDec32

Disable Long Offset mode in 32-bits

specify new command --single-thread

fixed minor nit as per @terrelln's comments

Merge branch 'dev' into flexibleLevel

re-enabled ZSTD_decompressSequencesLong()

pre-calculated default decoding tables

fixed mono-symbol distribution

fixed default fse distributions

but would be better to pre-calculate tables, for speed

addBits and baseline into FSE decoding table

note : unfinished
- need new default tables
- need modify long mode

Merge branch 'dev' into fasterDec

fixed streaming_memory_usage example

also:
ensure zstd.h is read from ../lib (instead of /usr/include)

Merged ZSTD_preserveUnsortedMark() into ZSTD_reduceIndex()

as it's faster, due to one memory scan instead of two
(confirmed by microbenchmark).

Note : as ZSTD_reduceIndex() is rarely invoked,
it does not translate into a visible gain.
Consider it an exercise in auto-vectorization and micro-benchmarking.

minor : modified ZSTD_preserveUnsortedMark() to be more vectorization friendly

faster decoding in 32-bits mode for long offsets (tentative)

On my laptop:
Before:
./zstd32 -b --zstd=wlog=27 silesia.tar enwik8 -S
 3#silesia.tar       : 211984896 ->  66683478 (3.179),  97.6 MB/s , 400.7 MB/s
 3#enwik8            : 100000000 ->  35643153 (2.806),  76.5 MB/s , 303.2 MB/s

After:
./zstd32 -b --zstd=wlog=27 silesia.tar enwik8 -S
 3#silesia.tar       : 211984896 ->  66683478 (3.179),  97.4 MB/s , 435.0 MB/s
 3#enwik8            : 100000000 ->  35643153 (2.806),  76.2 MB/s , 338.1 MB/s

Mileage vary, depending on file, and cpu type.
But a generic rule is : x86 benefits less from "long-offset mode" than x64,
maybe due to register pressure.
On "entropy", long-mode is _never_ a win for x86.
On my laptop though, it may, depending on file and compression level
(enwik8 benefits more from "long-mode" than silesia).

ensure compression parameters are updated when only compression level is changed

zstdmt: applies new parameters on the fly

when invoked from ZSTD_compress_generic()

fileio: create dedicated function to generate zstd frames

like other formats

Merge pull request #1006 from systemcrash/patch-2

Update README.md

Merge pull request #1005 from systemcrash/dev

Update zstd.1

fixed minor conversion warning

Changed nbThreads for nbWorkers

This makes it easier to explain that nbWorkers=0 --> single-threaded mode,
while nbWorkers=1 --> asynchronous mode (one mode thread on top of the "main" caller thread).
No need for an additional asynchronous mode flag.
nbWorkers>=2 works the same as nbThreads>=2 previously.

clarified comments on LDM parameters

zstdmt: added ability to change compression parameters during compression

removed bitstream.h dependency

Merge pull request #1009 from terrelln/fail-early

Test for incorrect pledgeSrcSize earlier

Test for incorrect pledgeSrcSize earlier

Merge pull request #1008 from terrelln/hlog3

Fix hashLog3 size when copying cdict tables

[fuzzer] Check ZSTD_initStaticCDict() for every level

Fix hashLog3 size when copying cdict tables

Merge pull request #1000 from facebook/progressiveFlush

Progressive flush

updated zstd api manual

fixed function declaration ZSTD_getBlockSize()

zstdmt: changed naming convention

to avoid confusion with blocks.

also:
- jobs are cut into chunks of 512KB now, to reduce nb of mutex calls.
- fix function declaration ZSTD_getBlockSizeMax()
- fix outdated comment

Update README.md

spelling

Update zstd.1

bumped version number to v1.3.4

also added a paragraph on using compression level with training mode
as this is a recurrent question (see for example #1004)

fixed minor conversion warning for C++ compilation mode

job mutex creation is checked

zstdmt: there is now one mutex/cond per job

zstdmt: minor code refactor for clarity

zstdmt: job table correctly cleaned after synchronous ZSTDMT_compress()

zstdmt : refactor a few member names

for clarity

zstdmt : flush() only lock to read shared job members

Other job members are accessed directly.
This avoids a full job copy, which would access everything,
including a few members that are supposed to be used by worker only,
uselessly requiring additional locks to avoid race conditions.

minor : ZSTDMT_writeLastEmptyBlock() is a void function

because it cannot fail

zstdmt : fixed memory leak

writeLastEmptyBlock() must release srcBuffer
as mtctx assumes it's done by job worker.

minor : changed 2 job member names (src->srcBuffer, srcStart->prefixStart) for clarity

zstdmt : refactor job members

grouped by sharing properties

fixed minor declaration-after-statement warning

zstdmt: removed job->jobCompleted

replaced by equivalent signal job->consumer == job->srcSize.

created additional functions
ZSTD_writeLastEmptyBlock()
and
ZSTDMT_writeLastEmptyBlock()
required when it's necessary to finish a frame with a last empty job, to create an "end of frame" marker.

It avoids creating a job with srcSize==0.

zstdmt:: renamed mutex and cond to underline they are context-global

Merge pull request #1001 from ne-sted/fix-defaults-align

cli: fix align of defaults

cli: fix align of defaults

zstdmt : fixed complex sequencing bug

zstdmt would shortcut to single-thread blocking mode
in some rare cases where data is sent to be compressed but is not yet ready.

zstdmt : correctly set end of frame

zstdmt : fix end condition (ZSTD_e_end)

When ZSTD_e_end directive is provided,
the question is not only "are internal buffers completely flushed",
it is also "is current frame completed".

In some rare cases,
it was possible for internal buffers to be completely flushed,
triggering a @return == 0,
but frame was not completed as it needed a last null-size block to mark the end,
resulting in an unfinished frame.

zstdmt: fixed minor race condition

no real consequence, but pollute tsan tests :

job->dstBuff is being modified inside worker,
while main thread might read it accidentally
because it copies whole job.
But since it doesn't used dstBuff, there is no real consequence.

Other potential solution : only copy useful data, instead of whole job

zstdmt : fixed ending frame with 0-size block

Merge pull request #998 from facebook/zcat

add `zcat` symlink support, suggested by @wtarreau