Test for incorrect pledgeSrcSize earlier

Merge pull request #1008 from terrelln/hlog3

Fix hashLog3 size when copying cdict tables

[fuzzer] Check ZSTD_initStaticCDict() for every level

Fix hashLog3 size when copying cdict tables

Merge pull request #1000 from facebook/progressiveFlush

Progressive flush

updated zstd api manual

fixed function declaration ZSTD_getBlockSize()

zstdmt: changed naming convention

to avoid confusion with blocks.

also:
- jobs are cut into chunks of 512KB now, to reduce nb of mutex calls.
- fix function declaration ZSTD_getBlockSizeMax()
- fix outdated comment

bumped version number to v1.3.4

also added a paragraph on using compression level with training mode
as this is a recurrent question (see for example #1004)

fixed minor conversion warning for C++ compilation mode

job mutex creation is checked

zstdmt: there is now one mutex/cond per job

zstdmt: minor code refactor for clarity

zstdmt: job table correctly cleaned after synchronous ZSTDMT_compress()

zstdmt : refactor a few member names

for clarity

zstdmt : flush() only lock to read shared job members

Other job members are accessed directly.
This avoids a full job copy, which would access everything,
including a few members that are supposed to be used by worker only,
uselessly requiring additional locks to avoid race conditions.

minor : ZSTDMT_writeLastEmptyBlock() is a void function

because it cannot fail

zstdmt : fixed memory leak

writeLastEmptyBlock() must release srcBuffer
as mtctx assumes it's done by job worker.

minor : changed 2 job member names (src->srcBuffer, srcStart->prefixStart) for clarity

zstdmt : refactor job members

grouped by sharing properties

fixed minor declaration-after-statement warning

zstdmt: removed job->jobCompleted

replaced by equivalent signal job->consumer == job->srcSize.

created additional functions
ZSTD_writeLastEmptyBlock()
and
ZSTDMT_writeLastEmptyBlock()
required when it's necessary to finish a frame with a last empty job, to create an "end of frame" marker.

It avoids creating a job with srcSize==0.

zstdmt:: renamed mutex and cond to underline they are context-global

Merge pull request #1001 from ne-sted/fix-defaults-align

cli: fix align of defaults

cli: fix align of defaults

zstdmt : fixed complex sequencing bug

zstdmt would shortcut to single-thread blocking mode
in some rare cases where data is sent to be compressed but is not yet ready.

zstdmt : correctly set end of frame

zstdmt : fix end condition (ZSTD_e_end)

When ZSTD_e_end directive is provided,
the question is not only "are internal buffers completely flushed",
it is also "is current frame completed".

In some rare cases,
it was possible for internal buffers to be completely flushed,
triggering a @return == 0,
but frame was not completed as it needed a last null-size block to mark the end,
resulting in an unfinished frame.

zstdmt: fixed minor race condition

no real consequence, but pollute tsan tests :

job->dstBuff is being modified inside worker,
while main thread might read it accidentally
because it copies whole job.
But since it doesn't used dstBuff, there is no real consequence.

Other potential solution : only copy useful data, instead of whole job

zstdmt : fixed ending frame with 0-size block

Merge pull request #998 from facebook/zcat

add `zcat` symlink support, suggested by @wtarreau

zstreamtest : fixed test 32 : multi-thread compression

using ZSTD_compress_generic(,,ZSTD_e_end)
Since it already provides ZSTD_e_end as directive,
it should not be followed by ZSTDMT_endStream().

zstdmt : fixed last job size

zstdmt : finally vanquished an elusive and rare race condition

zstdmt : simplify job creation

job will not be created when not enough room within job Table

zstdmt: fixed corruption issue in ZSTDMT_endStream()

when invoked directly.

add `zcat` symlink support, suggested by @wtarreau

added some test
also updated relevant doc

+ fixed a mistake in `lz4` symlink support :
  lz4 utility doesn't remove source files by default (like zstd, but unlike gzip).
  The symlink must behave the same.

zstdmt uses POOL_tryAdd() to call a new worker

so that it's no longer a blocking call.
This makes it possible to stream out data gradually,
while waiting for a worker to become available.

Merge pull request #995 from facebook/progressiveMT

Progressive mt

Merge pull request #994 from facebook/constCDict

changed initStatic?Dict() return type to const ZSTD_?Dict*

fixed frame checksum issue

and race conditions

added POOL_tryAdd()

Merge branch 'dev' into constCDict

Merge branch 'progressiveMT' into progressiveFlush

Merge branch 'dev' into progressiveMT

Merge pull request #997 from terrelln/empty-dict

Set repcodes for empty ZSTD_CDict

Set repcodes for empty ZSTD_CDict

When the dictionary is <= 8 bytes, no data is loaded from the dictionary.
In this case the repcodes weren't set, because they were inserted after the
size check. Fix this problem in general by first setting the cdict state to
a clean state of an empty dictionary, then filling the state from there.

fileio: READY_FOR_UPDATE() is now a function-like macro

as suggested by @terrelln

fixes for @terrelln comments

zstdmt: added ability to flush current job before it's completed

however, zstdmt may still wait on next available worker,
so it's not smooth yet.

fixed a few access contention

passes thread sanitizer test

Introduce ZSTD_getFrameProgression()

Produces 3 statistics for ongoing frame compression :
- ingested
- consumed (effectively compressed)
- produced

Ingested can be larger than consumed due to buffering effect.

For the time being, this patch mostly fixes the % ratio issue,
since it computes consumed / produced,
instead of ingested / produced.

That being said, update is not "smooth",
because on a slow enough setting,
fileio spends most of its time waiting for a worker to complete its job.

This could be improved thanks to more granular flushing
i.e. start flushing before ongoing job is fully completed.

Merge pull request #991 from facebook/progressiveMT

Non-blocking compression

changed initStatic?Dict() return type to const ZSTD_?Dict*

ZSTD_create?Dict() is required to produce a ?Dict* return type
because `free()` does not accept a `const type*` argument.
If it wasn't for this restriction, I would have preferred to create a `const ?Dict*` object
to emphasize the fact that, once created, a dictionary never changes
(hence can be shared concurrently until the end of its lifetime).

There is no such limitation with initStatic?Dict() :
as stated in the doc, there is no corresponding free() function,
since `workspace` is provided, hence allocated, externally,
it can only be free() externally.

Which means, ZSTD_initStatic?Dict() can return a `const ZSTD_?Dict*` pointer.

Tested with `make all`, to catch initStatic's users,
which, incidentally, also updated zstd.h documentation.

Merge pull request #993 from krab/dev-cmake-windows-mt

CMake: fixed multithreading build on Windows

Merge branch 'dev' into progressiveMT

fixed minor conflict on cdict

Merge pull request #992 from terrelln/small-cdict

Reduce size of ZSTD_CDict

zstdmt : fixed very large window sizes

would create too large buffers,
since default job size == window size * 4.

This would crash on 32-bit systems.

Also : jobSize being a 32-bit unsigned, it cannot be >= 4 GB,
so the formula was failing for large window sizes >= 1 GB.
Fixed now : max job Size is 2 GB, whatever the window size.

zstdmt: fixed an endless loop on allocation failure

this happened on 32-bits build when requiring a too large input buffer,
typically on wlog=29, creating jobs of 2 GB size.

also : zstd32 now compiles with multithread support enabled by default
(can be disabled with HAVE_THREAD=0)

Reduce size of ZSTD_CDict

Shaves 492,076 B off of the `ZSTD_CDict`.
The size of a `ZSTD_CDict` created from a 112,640 B dictionary is:

| Level | Before (B) | After (B) |
|-------|------------|-----------|
| 1     | 648,448    | 156,412   |
| 3     | 1,140,008  | 647,932   |

zstdmt: minor variable renaming, for clarity

CMake: fixed multithreading build on Windows

`ZSTD_MULTITHREAD_SUPPORT` option fixed for Windows.

Signed-off-by: Alexey Ivanov <alexey.ivanes@gmail.com>

fix fileio progression status update

The compression % is no longer correct,
since it's no longer possible to make direct correlation
between nb bytes read and nb bytes written
due to large internal buffer inside CCtx
(exacerbated with --long).

The current "fix" is to no longer display the %.

A more complex solution will have to count exactly how much data has been consumed and compressed internally, within CCtx buffers.

cli: fix for no-MT mode

when cli is compiled without MT support,
invoking ZSTD_p_nonBlockingMode result in an error code.

This patch only sets ZSTD_p_nonBlockingMode when ZSTD_MULTITHREAD is set, meaning there is MT support.

The error code could also be intentionnally ignored (there is no side effect).

introduced parameter ZSTD_p_nonBlockingMode

This new parameter makes it possible to call
streaming ZSTDMT with a single thread set
which is non blocking.

It makes it possible for the main thread to do other tasks in parallel
while the worker thread does compression.
Typically, for zstd cli, it means it can do I/O stuff.

Applied within fileio.c, this patch provides non-negligible gains during compression.

Tested on my laptop, with enwik9 (1000000000 bytes) : time zstd -f enwik9

With traditional single-thread blocking mode :
real    0m9.557s
user    0m8.861s
sys     0m0.538s

With new single-worker non blocking mode :
real    0m7.938s
user    0m8.049s
sys     0m0.514s

=> 20% faster

ZSTDMT : minor CCtx memory optimization

can be useful when a compression job only has small amount of data to compress.

ZSTDMT can now work in non-blocking mode with 1 thread

it still fallbacks to single-thread blocking invocation
when input is small (<1job)
or when invoking ZSTDMT_compress(), which is blocking.

Also : fixed a bug in new block-granular compression routine.

Merge branch 'dev' into progressiveMT

Merge pull request #956 from terrelln/mf-struct

Split ZSTD_CCtx into smaller sub-structures

Merge pull request #987 from facebook/checkTag

Check tag

ensure MOREFLAGS are not lost in root->tests Makefile invocation

travis ci : added gcc-7 test

also added `-Werror` to sanitizer tests

Reorganize block state

Split ZSTD_CCtx into smaller sub-structures

Merge pull request #990 from krab/dev-cmake-libdir

CMake: use GNUInstallDirs for library install dir

CMake: use GNUInstallDirs for library install dir

Libraries now will be installed in the correct directory on x86_64 linux systems,
and can be changed with `-DCMAKE_INSTALL_LIBDIR=<dirname>` option.

added tag-triggered test

ensure tag and libzstd version are compatible

added tests/checkTag

compared provided tag with current libzstd version

make -C tests legacy : minor flag alteration

ZSTD_LEGACY_SUPPORT is a macro constant,
so it should be part of CPPFLAGS, instead of CFLAGS

tests/Makefile : fixed target allnothread

ensures MT is disabled

added `make list` capability to `tests/Makefile`

Merge pull request #984 from terrelln/dict-load

Load more dictionary positions into table if empty

zstdmt : can compress at block granularity

offering perspective of more accurate progression report.

Load more dictionary positions into table if empty

If the hash table is empty load positions into the hash table
that we would otherwise skip.

| Level | Data Set     | Improvement |
|-------|--------------|-------------|
| 1     | github       | 0.44%       |
| 1     | hg-changelog | 0.13%       |
| 1     | hg-commands  | 1.28%       |
| 1     | hg-manifest  | 0.70%       |
| 3     | github       | 0.74%       |
| 3     | hg-changelog | 0.87%       |
| 3     | hg-commands  | 1.74%       |
| 3     | hg-manifest  | 0.23%       |

Merge pull request #983 from terrelln/dict-wlog

Increase windowLog from CDict based on the srcSize when known

Merge pull request #970 from facebook/dubtlazy

Delayed update Binary Tree for Lazy strategy

Add test for cdict window log adjustment

Increase windowLog from CDict based on the srcSize when known

Merge branch 'dev' into dubtlazy

and fixed conflicts

Merge pull request #982 from facebook/fix304

Fix for #304 and #977 : error during dictionary creation

changed function name to ZSTD_DUBT_findBestMatch()

Merge pull request #981 from facebook/fix976

fixed bug #976, reported by @indygreg

added warning message

when pathological dataset is detected
(note : cover_optimize needs -v to display the warning)

fixed #304

Pathological samples may result in literal section being incompressible.
This case is now detected,
and literal distribution is replaced by one that can be written into the dictionary.

added a test case for dictBuilder failure

cyclic data set makes the entropy stage fails
now, onto a fix for #304 ...

Merge pull request #980 from conor42/dev

Fix break condition in decompression noise test

fixed minor warning on prototype definition

fixed bug #976, reported by @indygreg

constants in zstd.h should not depend on MIN() macro which existence is not guaranteed.

Added a test to check the specific constants.
The test is a bit too specific.
But I have found no way to control a more generic "are all macro already defined" condition,
especially as this is a valid construction (the missing macro might be defined later, intentionnally).

Fix break condition in decompression noise test

The bug prevents noise being added

Merge pull request #979 from facebook/memdoc

Update API documentation related to memory management capabilities

Merge pull request #974 from terrelln/dstfile

[fileio] Improve safety of output file modifications