automatic %.h header dependency tracking

also : BUILD_DIR can be manually specified

consolidated vpath

store %.o object files into obj/

both static and dynamic libraries have their own object directory

minor cleaning

build libzstd.so from object files

%.o object files generated for dynamic library
must be different from those generated for static library.

Due to this difference, %.o were so far only generated for the static library.
The dynamic library was rebuilt from %.c source.

This meant that, for every minor change, the entire dynamic library had to be rebuilt.

This is fixed in this PR :
only the modified %.c source get rebuilt.

Merge pull request #2365 from senhuang42/move_opt_parser_test_to_long_tests

Move ldm + opt parser no regression test to long tests

Move ldm no regression test to fuzzer longtests

Merge pull request #2359 from senhuang42/fuzz_makefile_cleanup

[minor] Fix some /tests/fuzz Makefile annoyances

Merge pull request #2355 from senhuang42/change_ldm_mt_config

Reduce --long mode MT jobsize at higher levels

Merge pull request #2357 from senhuang42/fix_ldm_nd_behavior

Fix nondeterministic LDM behavior in multithreading

Merge pull request #2361 from senhuang42/fix_travis_minimal_decompressor_macros_test

[travis CI] Change make -j all check to make -j all && make check

Change make -j all check to make -j all && make check

Merge pull request #2360 from facebook/zwrap_parallel_build

fix zwrapbench parallel build

fix zlibwrap parallel build

previous recipe would build object files directly within programs/
which could be in competition with other local builds happening in programs/ at the same time.

fixed by generating the relevant object file locally.

Add libregression build target, also fix make clean and .gitignore

Change cycleLog adjustment to +3 from +4

Clarify argument names, fix DEBUGLOG() statements

Adjust match backwards count args

Introduce, implement, and call ZSTD_ldm_countBackwardsMatch_2segments()

Merge branch 'dev' of github.com:senhuang42/zstd into change_ldm_mt_config

Merge pull request #2356 from bsdimp/neon

aarch64: use __ARM_NEON instead of __aarch64__ to control use of neon

Merge pull request #2281 from likema/fix-aix-51

Fix building on AIX 5.1

Merge pull request #2341 from senhuang42/ldm_optimized_for_opt_parser

Integrate long distance matches into optimal parser

aarch64: use __ARM_NEON instead of __aarch64__ to control use of neon

There are compilation environments in aarch64 where NEON isn't
available. While these environments could define ZSTD_NO_INTRINSICS,
it's more fail-safe to use the more specific symbol to know if NEON
extensions are available.

__ARM_NEON is the proper symbol, defined in ARM C Language Extensions
Release 2.1 (https://developer.arm.com/documentation/ihi0053/d/). Some
sources suggest __ARM_NEON__, but that's the obsolete spelling from
prior versions of the standard.

Signed-off-by: Warner Losh <imp@bsdimp.com>

Fix incorrect usage of cycleLog() in --patch-from

Merge pull request #2337 from terrelln/adjust-params

Fix ZSTD_adjustCParams_internal() to handle dictionary logic

[minor] Improve docs and add an assert in response to review

Use cycleLog instead of chainLog to determine LDM jobLog

Fix ZSTD_adjustCParams_internal() to handle dictionary logic

Pass in the `ZSTD_cParamMode_e` to select how we define our cparams.
Based on the mode we either take the `dictSize` into account or we set
it to `0`. See the documentation for `ZSTD_cParamMode_e`.

Some of the modes currently share the same behavior. But they have
distinct modes because they are drastically different cases. E.g.
compression + reprocessing the dictionary and creating a cdict.

Additionally, when downsizing the hashLog and chainLog take the
(adjusted) dictionary size into account, since the size of the
dictionary gets added onto the window size.

Adds a simple test to ensure that we aren't downsizing too far.

[minor improvement] Pass 0 as the content size in the DDS

The DDS structure can't be copied into the working tables like the DMS.
So it doesn't need to account for the source size when sizing its
parameters, just the dictionary size.

[minor improvement] Pass dictSize when selecting parameters

When selecting parameters in streaming compression with a dictionary use
the dictionary size to select the parameters.

[refactor] Remove ZSTD_resetCStream_internal()

This function is only called in one place. It isn't a logical separation
of duties, and it was only obsfucating the code now, so inline it.

[bug] Fix dictContentType when reprocessing cdict

Conditions to trigger:
* CDict is loaded as raw content.
* CDict starts with the zstd dictionary magic number.
* The CDict is reprocessed (not attached or copied).
* The new API is used (streaming or `ZSTD_compress2()`).

Bug: The dictionary is loaded as a zstd dictionary, not a raw content
dictionary, because the dict content type is set to `ZSTD_dct_auto`.

Fix: Pass in the dictionary content type from cdict creation to the call
to `ZSTD_compress_insertDictionary()`.

Test: Added a test case that exposes the bug, and fixed the raw
content tests to not modify the `dictBuffer`, which makes all future
tests with the `dictBuffer` raw content, which doesn't seem intentional.

Require LDM matches to be strictly greater in length

Fix building on AIX 5.1

Merge pull request #2329 from senhuang42/prevent_summary_updates_when_using_stdout

Prevent summary updates when using stdout

Merge pull request #2328 from marxin/zstd-pool-api

Allow external creation of POOLs that can be shared.

Merge pull request #2303 from senhuang42/let_cdict_take_clevel_priority

For ZSTD_compressStream2(), let cdict take compression level priority

Merge pull request #2319 from facebook/fullbench_stream2

update fullbench for compressStream2()

Define kNullRawSeqStore for every file

Change matchState_t::ldmSeqStore to pointer

Move posInSequence correction to correct location

Replace offCode of largest match if ldm's offCode is superior

Refactor usage of ms->ldmSeqStore so that it is not modified during compressBlock(), and simplify skipRawSeqStoreBytes

Refactor separate ldm variables all into one struct

Use kNullRawSeqStore constant in zstdmt_compress.c

Remove bubbling down matches with longer offCode and same matchLen

Disable LDM minMatch adjustment when using opt parser

Enable inclusion of mid-flight LDMs in opt parser

Correct incorrect offcode calculation

Fix static analyze fuzzer.c error

Add explicit conversion of size_t to U32

Add cSize regression test to fuzzer.c

Prefix new static ldm helpers with ZSTD_opt

Add DEBUGLOG() calls in ldm helpers

Make function descriptions more accurate

Improve documentation of relevant structs

Correct matchLength calculation and remove unnecessary functions

Reset ldmSeqStore after initStats_ultra() pass for btultra2

Refactor existing functions to use posInSequence

Adjustments to ldm_calculateMatchRange() to calculate bounds correctly

Add ldm_calculateMatchRange() function

Remove rawSeqStore.base and add rawSeqStore.posInSequence

Add unit tests into playTests.sh

Prevent duplicate LDMs from being inserted

Add extra bounds check to prevent heap access after free ASAN error

Address mixed variables C90 warning

ldm_getNextMatch fixed return values

Cleanups, add comments and explanations

Fixed sifting algorithm

Fixed end of match boundary update issues

Add proper bounds check on adding ldms

Add a function ldm_voidSequences()

Fix function argument to getNextMatch()

Adjustments to no longer segfault on nci

Add base adjustment correction

Add initial getNextMatch() in opt parser

Added more debugging

Add re-copying of ldmSeqStore after processing

Add debug statements, flesh out functions

Get zstd to build with new functions and callsites, fix arguments

Implement part of ldm_maybeAddLdm()

Implement ldm_getNextMatch()

Implement basic splitSequence and skipSequence functions

Flesh out required args for ldm_handleLdm()

Add callsites to appropriate locations in ..opt_generic()

Add ldm helper function declarations into opt parser

Modify codepath to use opt parser exclusively if the compression level is high enough

Add rawSeqStore to match state

Add callsites to zstdcli.c and tests to playTests.sh

Add hasStdoutOutput setter to fileio.h

Fixed logic for stdout output

Add new stdoutOutput field

Allow external creation of POOLs that can be shared.

Merge pull request #2330 from senhuang42/fix_stdinout_error_messages

Improve error messages on console input/output

Merge pull request #2338 from terrelln/comments

Add comments to ZSTD_getLowest{Match,Prefix}Index()

Merge pull request #2333 from terrelln/stable-dst

Reset all decompression parameters in ZSTD_DCtx_reset()

Reset all decompression parameters in ZSTD_DCtx_reset()

* Reset all decompression parameters in `ZSTD_DCtx_reset()` when
  resetting parameters.
* Add a test case.

Add comments to ZSTD_getLowest{Match,Prefix}Index()

Clarify how we handle dictionaries in each case.

Merge pull request #2317 from animalize/msvc_inline

Let MSVC force inline ZSTD_hashPtr() function