updated NEWS regarding #760

Add min/max offset to stats

added tests for forced compression level

added additional tests for performance, allowed force compression level for testing purposes

[ldm] Make some functions shared

added some tests for correctness, time, and compression ratio

[ldm] Switch to using lib/common/mem.h and move typedefs to ldm.h

Summary:

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

Blame Revision:

[libzstd] Increase granularity of FSECTable repeat mode

[ldm] Remove old main files

[ldm] Add TODO and comment for segfaulting in compress function

Merge pull request #759 from terrelln/real-block-split

[libzstd] Pull CTables into sub-structure

policy change : ZSTDMT automatically caps nbThreads to ZSTDMT_NBTHREADS_MAX (#760)

Previously, ZSTDMT would refuse to create the compressor.
Also : increased ZSTDMT_NBTHREADS_MAX to 256,
updated doc,
and added relevant test

added altering dictionary size depending on compression level

switched ZSTDMT_compress_advanced() last argument to overlapLog

overlapRLog (== 9 - overlapLog) was a bit "strange"
as all other public entry points use overlapLog

clarified comment on ZSTD_p_contentSizeFlag

[libzstd] Pull CTables into sub-structure

[ldm] Add CHAR_OFFSET in hash function and extend header size

Merge pull request #756 from facebook/memOpt

Memory optimisations for ZSTDMT

changed to stderr

changed to malloc, added comment about adaptive compression level, and changed ternary operators

fixed up freeCCtx() removed BYTE since it wasn't being used

added copyright header, removed clean from makefile

[ldm] Clean up versions

passes tests with adaptive compression level

working with fixed compression level and fixed dictionary size

[ldm] Clean up code

Merge branch 'dev' of github.com:facebook/zstd into dev

slightly increased buffer pool, to cover normal "full load" scenarios

2 buffers per active worker
+ 1 buffer for input loading
+ 1 buffer for "next input" when submitting current one
+ 1 buffer stuck in queue

working with flush job->src.size and fixed cLevel

Fix sumToHash to use hash space more efficiently

Minor fix for non-rolling hash

Switch to using rolling hash only

Update rolling hash

fix : ZSTDMT_compress_advanced() correctly generates checksum

when params.fParams.checksumFlag==1.
This use case used to be impossible when only ZSTD_compress() was available

added debug statement

release input buffers from inside worker thread

buffers are released sooner, which makes them available faster for next job.
=> decreases total nb of buffers necessary

changed dictionary size, added debugging statements

buffer pool : all buffers have same size

to reduce memory fragmentation.
They can be used for in or out, interchangeably.

updated DEBUG statements

added error message, updated copying dictionary into the input buffer

zstdmt : intermediate outBuffer allocated from within worker

reduces total amount of memory needed,
since jobs in queue do not have an outBuffer pre-reserved now

buffer pool can be invoked from multiple threads

Merge pull request #755 from jacquesg/solaris

Solaris fix

changed to using ZSTD_compressBegin_usingDict() and fixed strange issue with ZSTD_compressContinue()

fix missing symbol 'nanosleep' for Solaris

fixed an error where -c argument wasn't working for single files

Save v3

zstdmt: removed margin for improved memory usage

Add rolling hash

made some progress on improving compression ratio, but problems exist with speed limits, and for some reason higher compression levels are really slow

improved ZSTDMT_compress() memory usage

does not need the input buffer for streaming operations

also : reduced a few tests time length

optimized memory usage for ZSTDMT_compress()

Previously, each job would reserve a CCtx right before being posted.
The CCtx would be "part of the job description",
and only released when the job is completed (aka flushed).
For ZSTDMT_compress(), which creates all jobs first and only join at the end,
that meant one CCtx per job.
The nb of jobs used to be == nb of threads,
but since latest modification,
which reduces the size of jobs in order to spread the load of difficult areas,
it also increases the nb of jobs for large sources / small compression level.
This resulted in many more CCtx being created.

In this new version, CCtx are reserved within the worker thread.
It guaranteea there cannot be more CCtx reserved than workers (<= nb threads).

To do that, it required to make the CCtx Pool multi-threading-safe :
it can now be called from multiple threads in parallel.

changed how the detection of the last job works

dst buffer should use ZSTD_compressBound to determine how much space it needs

fixed memory leak that was happening when creating jobs

Clean up and refactor compress function

made input buffer an internal part of the compression context

fix : custom allocator correctly propagated to child contexts

extended fuzzer MT memory tests

fix : propagate custom allocator to ZSTDMT though ZSTD_CCtx_setParameter()

also : compile fuzzer with MT enabled

added --memtest to fuzzer

Add warning flags to makefile and clean up code to remove warnings

Add compression context

added ZSTD_sizeof_CCtx() test

renamed pool.c to poolTests.c

small changes

changed name

removed single from Makefile

removed scripts

removed single.c

updated error checking in each thread

Add LDM_DCtx

Minor refactoring

Merge branch 'ldm' of https://github.com/stellamplau/zstd into ldm

Minor refactoring

Add folder for old versions

Update mainfile

bumped version nb to v1.3.1

fixed several conversion warnings

Add compression statistics

added ability to compress without specifying out filename

removed zbufftest from list of `all` tests

fixed minor Visual compilation limitation

fixed minor cast warning

playing around with adapt param

target gpptest uses CXX environment variable

Merge branch 'dev' of github.com:facebook/zstd into dev

new field frameHeader.headerSize

rewrote time elapsed with UTIL

ZSTD_getFrameHeader : control of windowSize limits is delegated to caller

Extracting frame header is a separate operation.
It's now possible to get frame header, whatever the window size set in it.

new field : ZSTD_frameHeader.frameType

Makes frame type (zstd,skippable) detection more straighforward.
ZSTD_getFrameHeader set frameContentSize=ZSTD_CONTENTSIZE_UNKNOWN to mean "field not present"

changed to using compressCCtx

[ldm] Update to hash every position

extended frameHeader.windowSize to unsigned long long

Fix offset overflow bug

changed completed -> compressed

changed completed variables to compressed for clarity

Add header with compress and decompress size

removed unnecessary comments, uncommented DEBUGLOG for later use

added ability to force output to stdout, wrote an additional test for this functionality