Merge pull request #1214 from jennifermliu/dev

Make --fast=0 fail

Merge pull request #1218 from facebook/man

minor man page update

minor man page update

regarding advanced parameter `tlen`
which was recently changed.
`0` in association with `ZSTD_fast` now means "normal fast mode".

Merge pull request #1216 from felixhandte/pool-test-time-t-fix

poolTests.c: Fix Interval Var Type

Redirect failed test result to INTOVOID and update comment about parsing fast command

Consolidate Fast-Running Travis Jobs

Also Run test-pool Target in Travis

poolTests.c: Fix Interval Var Type

removed unused imaged

added graph for cdict speed v1.3.5 improvements

Make fast=0 fail

Merge pull request #1213 from facebook/arm64

re-enable arm64 tests

attempt to re-enable arm64 tests

Merge pull request #1211 from facebook/staticAssert

updated DEBUG_STATIC_ASSERT()

Merge pull request #1212 from facebook/decSpeed

Fix decoding speed

slightly adjusted default-distribution threshold

depending on strategy.
fast favors faster compression and decompression speeds.

zeroise freq table with memset()

improves decoding speed by ~5% in github_users sample set

Merge pull request #1208 from facebook/msys2

minor fixes for MSYS2 compilation

switched to a sizeof() version

avoid -Werror=unused-variable issue

Merge pull request #1207 from oleid/cmake_multithread_logic

Correct multithread logic, fixing 'unsupported parameter' error

updated DEBUG_STATIC_ASSERT()

following suggestion from #1209

minor fixes for MSYS2 compilation

Correct multithread logic, fixing 'unsupported parameter' error

The original conditions only worked, when both, static and shared variants where built, resulting in an inconsistency between programs and library. The program was built with MT support enabled, the library not. That lead to error 11 'unsupported parameter' when compressing anything with the command line tool.

When changing the AND condition to `ZSTD_MULTITHREAD_SUPPORT AND (ZSTD_BUILD_SHARED OR ZSTD_BUILD_SHARED)`, cmake stopps complaining one of the targets wasn't built. This commit works for any case.

[zstdmt] Fix jobsize bugs (#1205)

[zstdmt] Fix jobsize bugs

* `ZSTDMT_serialState_reset()` should use `targetSectionSize`, not `jobSize` when sizing the seqstore.
  Add an assert that checks that we sized the seqstore using the right job size.
* `ZSTDMT_compressionJob()` should check if `rawSeqStore.seq == NULL`.
* `ZSTDMT_initCStream_internal()` should not adjust `mtctx->params.jobSize` (clamping to MIN/MAX is okay).

Merge pull request #1200 from felixhandte/zstd-attach-dict-pref

Add CCtx Param Controlling Dict Attachment Behavior

Merge pull request #1204 from facebook/noForwardProgress

Error code on no forward progress

error on no forward progress

streaming decoders, such as ZSTD_decompressStream() or ZSTD_decompress_generic(),
may end up making no forward progress,
(aka no byte read from input __and__ no byte written to output),
due to unusual parameters conditions,
such as providing an output buffer already full.

In such case, the caller may be caught in an infinite loop,
calling the streaming decompression function again and again,
without making any progress.

This version detects such situation, and generates an error instead :
ZSTD_error_dstSize_tooSmall when output buffer is full,
ZSTD_error_srcSize_wrong when input buffer is empty.

The detection tolerates a number of attempts before triggering an error,
controlled by ZSTD_NO_FORWARD_PROGRESS_MAX macro constant,
which is set to 16 by default, and can be re-defined at compilation time.
This behavior tolerates potentially existing implementations
where such cases happen sporadically, like once or twice,
which is not dangerous (only infinite loops are),
without generating an error, hence without breaking these implementations.

Merge pull request #1197 from facebook/poolResize

Thread Pool resize

changed POOL_resize() return type to int

return is now just en error code.
This guarantee that `ctx` remains valid after POOL_resize().
Gets rid of internal POOL_free() operation.

Merge pull request #1201 from facebook/rfcUpdate

updated Zstandard frame format

Merge pull request #1196 from felixhandte/zstd-btopt-in-place-dict

ZSTD_btopt: Support Searching the Dictionary Context In-Place

Merge pull request #1202 from facebook/barelyCompressible

Increase threshold detection of poorly compressible data

huf: increase threshold detection of poorly compressible data

fixed minor typos, detected by @terrelln

add a cond_broadcast after resize

to make sure all threads (notably newly available threads)
get awaken to immediately process potential items in the queue.

updated Zstandard frame format

adding clarifications from IETF RFC DISCUSS.

added extended POOL test

abrupt end + downsizing with running jobs remaining in queue.

also : POOL_resize() requires numThreads >= 1

Add CCtx Param Controlling Dict Attachment Behavior

Add Repcode Bounds Check

Add Debug Log Statement

Fix `dmsBtLow` Test

added a test for POOL (multithreading)

ensuring all jobs in queue are nonetheless completed
when POOL is instructed to end abruptly (POOL_free())

Conceivably Dedup ZSTD_noDict and ZSTD_dictMatchState _insertBt1 Impls

By reverting to the bool extDict flag, we call ZSTD_insertBt1 with the same
const args in both non-extDict dictModes.

fixed: bug when counting nb of active threads

when queueSize > 1

also : added a test in testpool.c
       verifying resizing is effective.

change control of threadLimit

now limits maximum nb of active threads
even when queueSize > 1.

set up sample config.yml

Consistency in Guarding DMS-Only Variable Initializations

Also Use `matchLow` for HC3 Match

Minor Changes

Remove Dead(!) HC3 DMS Lookup

Merge pull request #1198 from facebook/msdebug

made Visual Studio compatible with DEBUGLEVEL >= 2

made Visual Studio compatible with DEBUGLEVEL >= 2

fixed wrong size in pthread struct transfer

reduced POOL_resize() restriction

It's not necessary to ensure that no job is ongoing.
The pool is only expanded, existing threads are preserved.
In case of error, the only option is to return NULL and terminate the thread pool anyway.

make zstdmt resize its context

when nbThreads change.

Technically, it only expands.
But when instructed to use less threads,
the thread pool will limit nb of concurrent threads.

finalized POOL_resize()

POOL_ctx* POOL_resize(POOL_ctx* ctx, size_t numThreads)

The function may fail, and returns a NULL pointer in this case.

Merge pull request #1190 from terrelln/ldm-adjust

Adjust advanced parameters to source size

Merge pull request #1179 from supertopher/dev

Improves UX for --list command's lack of support for pipes

Fix Incorrect Param

Update Dict Attachment Cut-Offs

Make Sure Position 0 Gets Into the Tree

Merge pull request #1194 from facebook/no-opaqueapi

removed specific --opaqueapi test

Fix Compression Ratio Regression #1

Misc Changes

Find Proper Matches

Misc Fixes

Find `mls == 3` Matches

Fix Typo

Switch `!= ZSTD_extDict` to `== ZSTD_noDict`

Implement RepCode Check

Add _dictMatchState Functions

Convert `extDict` Flag to `dictMode` Enum

Attach Dicts when Using ZSTD_btopt and ZSTD_btultra

Tests to verify piped input to `--list` exits 1

I'm following the pattern that i saw in the rest of the test file
please tell me if i am using the wrong conventions

introduced POOL_resize()

not complete yet :
finalize behavior in case of unfinished expansion

removed specific --opaqueapi test

from zstreamtest.

This test is now integrated within --newapi,
which dynamically switches between the 2 modes randomly.

The main outcome is reduced testing time.

Use debug.h in fileio.c

Adjust advanced parameters to source size

In the new advanced API, adjust the parameters even if they are explicitly
set. This mainly applies to the `windowLog`, and accordingly the `hashLog`
and `chainLog`, when the source size is known.

Merge pull request #1185 from felixhandte/zstd-btlazy-in-place-dict

ZSTD_btlazy2: Support Searching the Dictionary Context In-Place

Merge pull request #1191 from facebook/huf_rename

Rename huffman decompression functions

Merge branch 'dev' into huf_rename

grouped X2 function together

Merge pull request #1189 from facebook/hist

histogram module

added debug.h for cmake

avoid duplicate code comments

when a function is decribed in hist.h,
do not describe it again in hist.c
to avoid future doc synchronization issues.

Visual Studio project blind fix

Merge pull request #1187 from facebook/fix1186

fix dctx initialization within ZSTD_decompress in stack mode

Merge pull request #1184 from facebook/debug

Grouped debug functions into debug.h

Add CXXFLAGS to ALL_LDFLAGS (#1178)

pzstd requires C++11, which older C++ standard libraries like libstdc++
as used on OS X 10.8 and earlier don't support. The user might address
this by setting "CXXFLAGS=-stdlib=libc++". This flag must be used both
at compile time and at link time. Asking the user to also put the flag
in LDFLAGS is undesirable because then the flag would also be used when
linking C code, which would be inappropriate.

renamed all HUF_decompress*X4*() functions into *X2

to underline they generate up to 2 symbols per decoding,
in preparation for a future *X3 variant.

renamed all HUF_decompress*X2*() functions into *X1

to underline they generate one symbol per decoding operation.

The new naming scheme will make it easier to introduce an *X3 variant.

Force Inline BtFindBestMatch

fix dctx initialization within ZSTD_decompress in stack mode

when ZSTD_HEAPMODE=0 (which is not default).

Also : added an associated test (test-fuzzer-stackmode)
run on travis CI

fix #1186

fixed g_debuglevel variable name

in debug.h

grouped all histogram functions into hist.c

renamed functions with HIST_* prefix

Reduce noise in diff

putting the code block back on the exact line it came from

Removes duplicate IS_CONSOLE from PR

I misunderstood that this function was included already

Search Dict for Matches

Attach Dicts when Using ZSTD_btlazy2

Merge pull request #1169 from felixhandte/zstd-lazy-in-place-dict

ZSTD_lazy: Support Searching the Dictionary Context In-Place