zstdmt : refactor a few member names

for clarity

zstdmt : flush() only lock to read shared job members

Other job members are accessed directly.
This avoids a full job copy, which would access everything,
including a few members that are supposed to be used by worker only,
uselessly requiring additional locks to avoid race conditions.

minor : ZSTDMT_writeLastEmptyBlock() is a void function

because it cannot fail

zstdmt : fixed memory leak

writeLastEmptyBlock() must release srcBuffer
as mtctx assumes it's done by job worker.

minor : changed 2 job member names (src->srcBuffer, srcStart->prefixStart) for clarity

zstdmt : refactor job members

grouped by sharing properties

fixed minor declaration-after-statement warning

zstdmt: removed job->jobCompleted

replaced by equivalent signal job->consumer == job->srcSize.

created additional functions
ZSTD_writeLastEmptyBlock()
and
ZSTDMT_writeLastEmptyBlock()
required when it's necessary to finish a frame with a last empty job, to create an "end of frame" marker.

It avoids creating a job with srcSize==0.

zstdmt:: renamed mutex and cond to underline they are context-global

zstdmt : fixed complex sequencing bug

zstdmt would shortcut to single-thread blocking mode
in some rare cases where data is sent to be compressed but is not yet ready.

zstdmt : correctly set end of frame

zstdmt : fix end condition (ZSTD_e_end)

When ZSTD_e_end directive is provided,
the question is not only "are internal buffers completely flushed",
it is also "is current frame completed".

In some rare cases,
it was possible for internal buffers to be completely flushed,
triggering a @return == 0,
but frame was not completed as it needed a last null-size block to mark the end,
resulting in an unfinished frame.

zstdmt: fixed minor race condition

no real consequence, but pollute tsan tests :

job->dstBuff is being modified inside worker,
while main thread might read it accidentally
because it copies whole job.
But since it doesn't used dstBuff, there is no real consequence.

Other potential solution : only copy useful data, instead of whole job

zstdmt : fixed ending frame with 0-size block

zstreamtest : fixed test 32 : multi-thread compression

using ZSTD_compress_generic(,,ZSTD_e_end)
Since it already provides ZSTD_e_end as directive,
it should not be followed by ZSTDMT_endStream().

zstdmt : fixed last job size

zstdmt : finally vanquished an elusive and rare race condition

zstdmt : simplify job creation

job will not be created when not enough room within job Table

zstdmt: fixed corruption issue in ZSTDMT_endStream()

when invoked directly.

zstdmt uses POOL_tryAdd() to call a new worker

so that it's no longer a blocking call.
This makes it possible to stream out data gradually,
while waiting for a worker to become available.

fixed frame checksum issue

and race conditions

added POOL_tryAdd()

Merge branch 'progressiveMT' into progressiveFlush

Merge branch 'dev' into progressiveMT

Merge pull request #997 from terrelln/empty-dict

Set repcodes for empty ZSTD_CDict

Set repcodes for empty ZSTD_CDict

When the dictionary is <= 8 bytes, no data is loaded from the dictionary.
In this case the repcodes weren't set, because they were inserted after the
size check. Fix this problem in general by first setting the cdict state to
a clean state of an empty dictionary, then filling the state from there.

fileio: READY_FOR_UPDATE() is now a function-like macro

as suggested by @terrelln

fixes for @terrelln comments

zstdmt: added ability to flush current job before it's completed

however, zstdmt may still wait on next available worker,
so it's not smooth yet.

fixed a few access contention

passes thread sanitizer test

Introduce ZSTD_getFrameProgression()

Produces 3 statistics for ongoing frame compression :
- ingested
- consumed (effectively compressed)
- produced

Ingested can be larger than consumed due to buffering effect.

For the time being, this patch mostly fixes the % ratio issue,
since it computes consumed / produced,
instead of ingested / produced.

That being said, update is not "smooth",
because on a slow enough setting,
fileio spends most of its time waiting for a worker to complete its job.

This could be improved thanks to more granular flushing
i.e. start flushing before ongoing job is fully completed.

Merge pull request #991 from facebook/progressiveMT

Non-blocking compression

Merge pull request #993 from krab/dev-cmake-windows-mt

CMake: fixed multithreading build on Windows

Merge branch 'dev' into progressiveMT

fixed minor conflict on cdict

Merge pull request #992 from terrelln/small-cdict

Reduce size of ZSTD_CDict

zstdmt : fixed very large window sizes

would create too large buffers,
since default job size == window size * 4.

This would crash on 32-bit systems.

Also : jobSize being a 32-bit unsigned, it cannot be >= 4 GB,
so the formula was failing for large window sizes >= 1 GB.
Fixed now : max job Size is 2 GB, whatever the window size.

zstdmt: fixed an endless loop on allocation failure

this happened on 32-bits build when requiring a too large input buffer,
typically on wlog=29, creating jobs of 2 GB size.

also : zstd32 now compiles with multithread support enabled by default
(can be disabled with HAVE_THREAD=0)

Reduce size of ZSTD_CDict

Shaves 492,076 B off of the `ZSTD_CDict`.
The size of a `ZSTD_CDict` created from a 112,640 B dictionary is:

| Level | Before (B) | After (B) |
|-------|------------|-----------|
| 1     | 648,448    | 156,412   |
| 3     | 1,140,008  | 647,932   |

zstdmt: minor variable renaming, for clarity

CMake: fixed multithreading build on Windows

`ZSTD_MULTITHREAD_SUPPORT` option fixed for Windows.

Signed-off-by: Alexey Ivanov <alexey.ivanes@gmail.com>

fix fileio progression status update

The compression % is no longer correct,
since it's no longer possible to make direct correlation
between nb bytes read and nb bytes written
due to large internal buffer inside CCtx
(exacerbated with --long).

The current "fix" is to no longer display the %.

A more complex solution will have to count exactly how much data has been consumed and compressed internally, within CCtx buffers.

cli: fix for no-MT mode

when cli is compiled without MT support,
invoking ZSTD_p_nonBlockingMode result in an error code.

This patch only sets ZSTD_p_nonBlockingMode when ZSTD_MULTITHREAD is set, meaning there is MT support.

The error code could also be intentionnally ignored (there is no side effect).

introduced parameter ZSTD_p_nonBlockingMode

This new parameter makes it possible to call
streaming ZSTDMT with a single thread set
which is non blocking.

It makes it possible for the main thread to do other tasks in parallel
while the worker thread does compression.
Typically, for zstd cli, it means it can do I/O stuff.

Applied within fileio.c, this patch provides non-negligible gains during compression.

Tested on my laptop, with enwik9 (1000000000 bytes) : time zstd -f enwik9

With traditional single-thread blocking mode :
real    0m9.557s
user    0m8.861s
sys     0m0.538s

With new single-worker non blocking mode :
real    0m7.938s
user    0m8.049s
sys     0m0.514s

=> 20% faster

ZSTDMT : minor CCtx memory optimization

can be useful when a compression job only has small amount of data to compress.

ZSTDMT can now work in non-blocking mode with 1 thread

it still fallbacks to single-thread blocking invocation
when input is small (<1job)
or when invoking ZSTDMT_compress(), which is blocking.

Also : fixed a bug in new block-granular compression routine.

Merge branch 'dev' into progressiveMT

Merge pull request #956 from terrelln/mf-struct

Split ZSTD_CCtx into smaller sub-structures

Merge pull request #987 from facebook/checkTag

Check tag

ensure MOREFLAGS are not lost in root->tests Makefile invocation

travis ci : added gcc-7 test

also added `-Werror` to sanitizer tests

Reorganize block state

Split ZSTD_CCtx into smaller sub-structures

Merge pull request #990 from krab/dev-cmake-libdir

CMake: use GNUInstallDirs for library install dir

CMake: use GNUInstallDirs for library install dir

Libraries now will be installed in the correct directory on x86_64 linux systems,
and can be changed with `-DCMAKE_INSTALL_LIBDIR=<dirname>` option.

added tag-triggered test

ensure tag and libzstd version are compatible

added tests/checkTag

compared provided tag with current libzstd version

make -C tests legacy : minor flag alteration

ZSTD_LEGACY_SUPPORT is a macro constant,
so it should be part of CPPFLAGS, instead of CFLAGS

tests/Makefile : fixed target allnothread

ensures MT is disabled

added `make list` capability to `tests/Makefile`

Merge pull request #984 from terrelln/dict-load

Load more dictionary positions into table if empty

zstdmt : can compress at block granularity

offering perspective of more accurate progression report.

Load more dictionary positions into table if empty

If the hash table is empty load positions into the hash table
that we would otherwise skip.

| Level | Data Set     | Improvement |
|-------|--------------|-------------|
| 1     | github       | 0.44%       |
| 1     | hg-changelog | 0.13%       |
| 1     | hg-commands  | 1.28%       |
| 1     | hg-manifest  | 0.70%       |
| 3     | github       | 0.74%       |
| 3     | hg-changelog | 0.87%       |
| 3     | hg-commands  | 1.74%       |
| 3     | hg-manifest  | 0.23%       |

Merge pull request #983 from terrelln/dict-wlog

Increase windowLog from CDict based on the srcSize when known

Merge pull request #970 from facebook/dubtlazy

Delayed update Binary Tree for Lazy strategy

Add test for cdict window log adjustment

Increase windowLog from CDict based on the srcSize when known

Merge branch 'dev' into dubtlazy

and fixed conflicts

Merge pull request #982 from facebook/fix304

Fix for #304 and #977 : error during dictionary creation

changed function name to ZSTD_DUBT_findBestMatch()

Merge pull request #981 from facebook/fix976

fixed bug #976, reported by @indygreg

added warning message

when pathological dataset is detected
(note : cover_optimize needs -v to display the warning)

fixed #304

Pathological samples may result in literal section being incompressible.
This case is now detected,
and literal distribution is replaced by one that can be written into the dictionary.

added a test case for dictBuilder failure

cyclic data set makes the entropy stage fails
now, onto a fix for #304 ...

Merge pull request #980 from conor42/dev

Fix break condition in decompression noise test

fixed minor warning on prototype definition

fixed bug #976, reported by @indygreg

constants in zstd.h should not depend on MIN() macro which existence is not guaranteed.

Added a test to check the specific constants.
The test is a bit too specific.
But I have found no way to control a more generic "are all macro already defined" condition,
especially as this is a valid construction (the missing macro might be defined later, intentionnally).

Fix break condition in decompression noise test

The bug prevents noise being added

Merge pull request #979 from facebook/memdoc

Update API documentation related to memory management capabilities

Merge pull request #974 from terrelln/dstfile

[fileio] Improve safety of output file modifications

api doc : grouped all ZSTD_create*_advanced() functions together

in a new "custom memory allocator" paragraph
which is itself part of "memory management" category.

This makes it simpler to see the relation between the type and its usages.

API doc : grouped ZSTD_initStatic*() together

within "memory management" category.

fixed msan test

a pointer calculation was wrong in a corner case

Merge pull request #965 from facebook/tests_obj

%.o objects files in /tests

Merge branch 'dev' into dubtlazy

fixed ZSTD_reduceIndex()

following suggestions from @terrelln.
Also added some comments to present logic behind ZSTD_preserveUnsortedMark().

minor tests/Makefile change, as suggested by @terrelln

https://github.com/facebook/zstd/pull/965#discussion_r160008006

Merge pull request #963 from facebook/benchfix

fix: bench can accept hlog custom parameter

[fileio] Don't call FIO_remove() on stdout or /dev/null

[fileio] Use FIO_remove() everywhere for safety

[util] Refuse to set file stat on non-regular file

Merge pull request #972 from pixelb/bz1530049

zstd: fix crash when not overwriting existing files

Merge pull request #973 from terrelln/test-case

Add test case for PR #972

Add test case for PR #972

zstd: fix crash when not overwriting existing files

This fixes the following crash:
  $ touch exists
  $ programs/zstd -r examples/ -o exists
  zstd: exists already exists; not overwritten
  Segmentation fault (core dumped)

* programs/fileio.c (FIO_compressMultipleFilenames):
Handle the case where we're not overwriting the destination.

Reported at https://bugzilla.redhat.com/1530049

updated /lib documentation

Merge pull request #968 from shawnl/dev

meson: get soversion right

fixed minor argument property for Visual

Merge branch 'dubtlazy' of github.com:facebook/zstd into dubtlazy

improved btlazy2 : list of unsorted candidates can reach extDict

It used to stop on reaching extDict, for simplification.
As a consequence, there was a small loss of performance each time the round buffer would restart from beginning.
It's not a large difference though, just several hundreds of bytes on silesia.
This patch fixes it.

updated compression level table for btlazy2

now selected for levels 13, 14 and 15.

Also : dropped the requirement for monotonic memory budget increase of compression levels,,
which was required for ZSTD_estimateCCtxSize()
in order to ensure that a memory budget for level L is large enough for any level <= L.
This condition is now ensured at run time inside ZSTD_estimateCCtxSize().

updated compression level table for btlazy2

now selected for levels 13, 14 and 15.

Also : dropped the requirement for monotonic memory budget increase of compression levels,,
which was required for ZSTD_estimateCCtxSize()
in order to ensure that a memory budget for level L is large enough for any level <= L.
This condition is now ensured at run time inside ZSTD_estimateCCtxSize().