Merge branch 'dev' into libzstd_autoconf_full

Merge branch 'libzstd_autoconf_full' of github.com:facebook/zstd into libzstd_autoconf_full

minor Makefile refactor

hopefully improving readability

Merge pull request #2339 from terrelln/zstdmt-stability

Fix zstdmt stability issues and clean up the zstdmt code

Merge branch 'dev' into libzstd_autoconf_full

Merge pull request #2374 from bket/portability

'head -c BYTES' is non-portable

Merge pull request #2366 from senhuang42/enable_ldm_by_default

Enable LDM by default if window size >= 128MB and strategy uses opt parser

Merge pull request #2362 from senhuang42/fix_ldm_fuzz_issue

Fix long distance matcher OSS-fuzz issue

'head -c BYTES' is non-portable

Merge branch 'dev' into libzstd_autoconf_full

Merge pull request #2370 from facebook/libzstd_autoconf

Automatic configuration detection

make install only rebuild binaries if they don't exist

Now `make` followed by `make install` doesn't rebuild binaries

also : only generated target directories if they don't already exist

make zstd is now differentiated from zstd-nomt

avoids mixing object files using different flags

simplified silent mode maintenance

fix partial lib test

simplified silent mode

fixed building libzstd with manual BUILD_DIR

and when HASH is not found

fix partial-build test

sometimes, the scope difference is solely determined by the list of source files,
not by the flags.

Merge branch 'dev' into libzstd_autoconf

can integrate later dynamic flags changes

for example `libzstd-mt` is `differentiated from `libzstd`

Merge pull request #2368 from facebook/progressive_libzstd

faster rebuild of libzstd

updated build documentation

fixed libzstd.dll compilation on mingw

and zstd linking

fix DEBUGLEVEL redefinition from tests/

fix directory creation for Windows' libzstd

fix test

DEBUGLEVEL redefinition

programs/zstd also automatically generate object dir per conf

same rules as lib/libzstd
can also be controlled via HASH and BUILD_DIR

zstd in programs/ can also receive a DEBUGLEVEL value

simplify tests : only set DEBUGLEVEL, not the flags directly

Merge branch 'dev' into libzstd_autoconf

automatically detect configuration changes

Makefile now automatically detects modifications of compilation flags,
and produce object files in directories dedicated to this compilation flags.
This makes it possible, for example, to compile libzstd with different DEBUGLEVEL.
Object files sharing the same configration will be generated into their dedicated directories.

Also : new compilation variables
- DEBUGLEVEL : select the debug level (assert & traces) inserted during compilation (default == 0 == release)
- HASH : select a hash function to differentiate configuration (default == md5sum)
- BUILD_DIR : skip the hash stage, store object files into manually specified directory

automatic %.h header dependency tracking

also : BUILD_DIR can be manually specified

Merge pull request #2367 from facebook/progressive_build

faster rebuild of zstd

consolidated vpath

store %.o object files into obj/

both static and dynamic libraries have their own object directory

minor cleaning

build libzstd.so from object files

%.o object files generated for dynamic library
must be different from those generated for static library.

Due to this difference, %.o were so far only generated for the static library.
The dynamic library was rebuilt from %.c source.

This meant that, for every minor change, the entire dynamic library had to be rebuilt.

This is fixed in this PR :
only the modified %.c source get rebuilt.

decouple zstd object files from lib/

That was a subtle one :
VPATH is affecting search for both %.c source and %.o object files.
This meant that, when an object file already exists in lib/,
it's used in programs/,
even though programs/ is supposed to generate its own %.o object files.

With the new vpath directive, this is no longer the case :
the search is only activated for %.c source files.
Now, local programs/%.o are always generated
even if equivalent ones are already created in lib/.

It more clearly guarantees that lib/ and programs/ can use different compilation directives
without mixing resulting %.o object files.

fixed travis tests

Add a function for LDM enable check

Move ldm enable to compressStream2()

Merge pull request #2365 from senhuang42/move_opt_parser_test_to_long_tests

Move ldm + opt parser no regression test to long tests

Include LDM tables size for CCtx size estimation where relevant

Move ldm no regression test to fuzzer longtests

Add compatibility for multithreading

Document ldm enabled by default in zstd.h

Add unit test for no cctx requested params change

Add ldm enable condition in ZSTD_resetCCtx_internal

Expose and call ZSTD_ldm_skipRawSeqStoreBytes()

fix appveyor test

was mixing `*.o` object files from different compilation settings

Merge pull request #2359 from senhuang42/fuzz_makefile_cleanup

[minor] Fix some /tests/fuzz Makefile annoyances

Merge pull request #2355 from senhuang42/change_ldm_mt_config

Reduce --long mode MT jobsize at higher levels

Merge pull request #2357 from senhuang42/fix_ldm_nd_behavior

Fix nondeterministic LDM behavior in multithreading

minor : change test order

to reduce a warning with `clang` on Windows

fix .deps list

and minor simplications

support verbose build output with V=1

track header dependencies during build

modifying a header file will now trigger recompilation of related *.c units

faster rebuild of zstd

Building the zstd CLI costs time.
Some part of it is incompressible, leading to substantial iteration delay when testing code modifications.
That's mainly because all source files from the library must be rebuilt from source every time.

The main reason we don't build the CLI from library object files
is that we can't just build the object directly in the lib/ directory
(which they would by default)
since they use different compilation flags.
Specifically, the CLI enables multithreading, while the library doesn't (by default).

This is solved in this commit, by generating the object files locally.
Now, the CLI and the library can employ different sets of flags, without tripping over each other.
All library object files are generated directly into programs/ dir.
This works because no 2 source files have the same name.

Now, modifying a file doesn't require to recompile the entire lib, just the modified files.
The recipe is also compatible with `-j` parallel build, leading to large build time reductions on multi-core systems.

Merge pull request #2361 from senhuang42/fix_travis_minimal_decompressor_macros_test

[travis CI] Change make -j all check to make -j all && make check

Change make -j all check to make -j all && make check

Merge pull request #2360 from facebook/zwrap_parallel_build

fix zwrapbench parallel build

fix zlibwrap parallel build

previous recipe would build object files directly within programs/
which could be in competition with other local builds happening in programs/ at the same time.

fixed by generating the relevant object file locally.

Add libregression build target, also fix make clean and .gitignore

Change cycleLog adjustment to +3 from +4

Reset posInSequence when using ZSTD_referenceExternalSequences()

Clarify argument names, fix DEBUGLOG() statements

Adjust match backwards count args

Introduce, implement, and call ZSTD_ldm_countBackwardsMatch_2segments()

Merge branch 'dev' of github.com:senhuang42/zstd into change_ldm_mt_config

Merge pull request #2356 from bsdimp/neon

aarch64: use __ARM_NEON instead of __aarch64__ to control use of neon

Merge pull request #2281 from likema/fix-aix-51

Fix building on AIX 5.1

Merge pull request #2341 from senhuang42/ldm_optimized_for_opt_parser

Integrate long distance matches into optimal parser

aarch64: use __ARM_NEON instead of __aarch64__ to control use of neon

There are compilation environments in aarch64 where NEON isn't
available. While these environments could define ZSTD_NO_INTRINSICS,
it's more fail-safe to use the more specific symbol to know if NEON
extensions are available.

__ARM_NEON is the proper symbol, defined in ARM C Language Extensions
Release 2.1 (https://developer.arm.com/documentation/ihi0053/d/). Some
sources suggest __ARM_NEON__, but that's the obsolete spelling from
prior versions of the standard.

Signed-off-by: Warner Losh <imp@bsdimp.com>

Fix incorrect usage of cycleLog() in --patch-from

Merge pull request #2337 from terrelln/adjust-params

Fix ZSTD_adjustCParams_internal() to handle dictionary logic

[minor] Improve docs and add an assert in response to review

Use cycleLog instead of chainLog to determine LDM jobLog

[zstdmt] Clarify a comment

[zstdmt] Fix determinism issue with rsyncable mode

The problem occurs in this scenario:
1. We find a synchronization point.
2. We attmept to create the job.
3. We fail because the job table is full: `mtctx->nextJobID > mtctx->doneJobID + mtctx->jobIDMask`.
4. We call `ZSTDMT_compressStream_generic` again.
5. We forget that we're at a sync point already, and we continue looking
   for the next sync point.

This fix is to detect if we're currently paused at a sync point, and if
we are then don't load any more input.

Caught by zstreamtest. I modified it to make the bug occur more often
(~1/100K -> ~1/200) and verified that it is fixed after. I then ran a
few hundred thousand unmodified zstreamtest iterations to verify.

[zstdmt] Fix bug where extra empty blocks are emitted

When zstdmt cannot get a buffer and `ZSTD_e_end` is passed an empty
compression job can be created. Additionally, `mtctx->frameEnded` can be
set to 1, which could potentially cause problems like unterminated blocks.

The fix is to adjust to `ZSTD_e_flush` even when we can't get a buffer.

[zstreamtest] Add compression determinism tests

* Run compression twice and check the compressed data is byte-identical.
  The compression loop had to be rewritten to ensure deteriminism. It is
  guaranteed by always making maximal forward progress.
* When nbWorkers > 0, change the number of workers 1/8 of the time.
* Run in single-pass mode 1/4 of the time.

I've run a few hundred thousand iterations of zstreamtest and have seen
no deteriminism issues so far. Before the zstdmt fix that skips the
single-pass shortcut non-determinism showed up in a few hundred
iterations.

[zstdmt] Rip out the zstdmt API

This commit leaves only the functions used by zstd_compress.c. All other
functions have been removed from the API. The ZSTDMT unit tests in
fuzzer.c and zstreamtest.c have been rewritten to use the ZSTD API. And
the --mt zstreamtest tests have been ripped out.

[zstdmt] Remove single-pass shortcut

Simplifies the code and removes blocking from zstdmt.

At this point we could completely delete
`ZSTDMT_compress_advanced_internal()`. However I'm leaving it in because
I think we want to do that in the zstd-1.5.0 release, in case anyone is
still using the ZSTDMT API, even though it is not installed by default.

Fixes #2327.

[zstdmt] Remove singleBlockingThread mode

This is already handled by zstd, so this logic is never used.

Fix ZSTD_adjustCParams_internal() to handle dictionary logic

Pass in the `ZSTD_cParamMode_e` to select how we define our cparams.
Based on the mode we either take the `dictSize` into account or we set
it to `0`. See the documentation for `ZSTD_cParamMode_e`.

Some of the modes currently share the same behavior. But they have
distinct modes because they are drastically different cases. E.g.
compression + reprocessing the dictionary and creating a cdict.

Additionally, when downsizing the hashLog and chainLog take the
(adjusted) dictionary size into account, since the size of the
dictionary gets added onto the window size.

Adds a simple test to ensure that we aren't downsizing too far.

[minor improvement] Pass 0 as the content size in the DDS

The DDS structure can't be copied into the working tables like the DMS.
So it doesn't need to account for the source size when sizing its
parameters, just the dictionary size.

[minor improvement] Pass dictSize when selecting parameters

When selecting parameters in streaming compression with a dictionary use
the dictionary size to select the parameters.

[refactor] Remove ZSTD_resetCStream_internal()

This function is only called in one place. It isn't a logical separation
of duties, and it was only obsfucating the code now, so inline it.

[bug] Fix dictContentType when reprocessing cdict

Conditions to trigger:
* CDict is loaded as raw content.
* CDict starts with the zstd dictionary magic number.
* The CDict is reprocessed (not attached or copied).
* The new API is used (streaming or `ZSTD_compress2()`).

Bug: The dictionary is loaded as a zstd dictionary, not a raw content
dictionary, because the dict content type is set to `ZSTD_dct_auto`.

Fix: Pass in the dictionary content type from cdict creation to the call
to `ZSTD_compress_insertDictionary()`.

Test: Added a test case that exposes the bug, and fixed the raw
content tests to not modify the `dictBuffer`, which makes all future
tests with the `dictBuffer` raw content, which doesn't seem intentional.

Require LDM matches to be strictly greater in length

Fix building on AIX 5.1

Merge pull request #2329 from senhuang42/prevent_summary_updates_when_using_stdout

Prevent summary updates when using stdout

Merge pull request #2328 from marxin/zstd-pool-api

Allow external creation of POOLs that can be shared.

Merge pull request #2303 from senhuang42/let_cdict_take_clevel_priority

For ZSTD_compressStream2(), let cdict take compression level priority

Merge pull request #2319 from facebook/fullbench_stream2

update fullbench for compressStream2()

Define kNullRawSeqStore for every file

Change matchState_t::ldmSeqStore to pointer

Move posInSequence correction to correct location

Replace offCode of largest match if ldm's offCode is superior

Refactor usage of ms->ldmSeqStore so that it is not modified during compressBlock(), and simplify skipRawSeqStoreBytes

Refactor separate ldm variables all into one struct