Merge pull request #2387 from senhuang42/compress_sequence_API

[RFC] New sequence compression API

Add experimental param for sequence validation

Remove unnecessary repcode backup, apply style choices, use function pointer

Merge pull request #2395 from senhuang42/is_rle_speedup

10x speedup for ZSTD_isRLE()

Explicit cast for visual warnings

Github has automatic commits now! Cool

Co-authored-by: Nick Terrell <nickrterrell@gmail.com>

Unroll isRLE loop

Clean up visual conversion warnings

Improve documentation on ZSTD_compressSequences()

Modification to offset validation to include entire sequence

Fix assert edge case, improve documentation in zstd.h

Fix warnings and make validation enabled by default

Fix unit tests to agree with new changes

Add new sequence format as an experimental CCtx param

Overhaul logic to simplify, add in proper validations, fix match splitting

Add new sequence compress api params to cctx

Fix srcSize=0 edge case

Fix literals length calculation

Adjust unit tests to agree with new sequence generation API

Remove dstCapacity error check

Remove extraneous function in this API

Add check comparing offset to window size

Fix MSAN errors

Address edge case with endPosInSequence

Change debug levels to appropriate ones

Add RLE support

Fix various build warnings

Add test case to roundtrip using ZSTD_getSequences() and ZSTD_compressSequences()

Add documentation for new api functions

Refactor for enhanced code clarity

Rename internal function compressSequences(), and promote new *_ext() functions to their actual name

Add another API function to compress with existing CCTX

More adjustments to improve code clarity

Pull compressStream2() transparent initialization into its own function

Add initial support for new ZSTD_Sequence mode

Add sequence compression format param

Always ensure sequenceRange updates properly, add more error forwarding

Various minor logical refactors to improve clarity

Fix cSize calculation for noCompressBlocks

Rebased, roundtrips silesia.tar

Refactor for better debugging info

Corrections and edge-case fixes to be able to roundtrip dickens

Multi-block compression scaffolding - works on single-block files

Add support for uncompressible blocks

Enable usage of ZSTD_sequenceRange for single-block compression

Add logic to handle ZSTD_sequenceRange

Add last literals handling like getSequences()

Pull block compression out of main compressSequences() function

Implement ZSTD_updateSequenceRange

Modify SequenceRange to have posInSequence

Add function definition for sequenceRange updater

Add ZSTD_SequenceRange to count ranges in array of ZSTD_Sequence

Add support for repcodes

Code cleanup, add debuglog statments

Implement first pass at compressSequences()

Add initial function prototype for ZSTD_compressSequences_ext (to be renamed later)

Merge pull request #2393 from senhuang42/fix_sequence_extractions_api

Improve repcode handling in sequence extraction API

Reduce number of memcpy() calls

Use existing repcode update function to implement updates

Add in proper block repcode histories

Let block reps persist

Fix incorrect repcode setting

Improve unit test

Overhaul repcode handling logic

Merge pull request #2388 from facebook/fix2386

fix incorrect assert

Merge pull request #2381 from senhuang42/expand_sequence_extraction_api

Add enum to define ZSTD_Sequence type and update sequence extraction API

fix multiple minor conversion warnings

unrelated to #2386, just cleaning up while I'm updating this file ...

fix incorrect assert

fix #2386, reported by @Neumann-A

Update unit tests

Implement mergeGeneratedSequences()

Rename getSequences() to generateSequences()

Add new mergeGeneratedSequences() function

Merge pull request #2385 from LuAPi/add-ZSTD_getDictID_fromCDict-single-commit

Add ZSTD_getDictID_fromCDict function to experimental section

Add ZSTD_getDictID_fromCDict function to experimental section

Change block delimiter removing to linear time approach

Remove trailing comma

Use ZSTD_memmove() instead of memmove()

Revert compressibility change

Update name of enum, clarify documentation

Update unit test

Revert unnecessary seqCollector adjustment

Fix incorrect index increment in merge algorithm

Add algorithm to remove all delimiters

Update seqCollector definition

Update ZSTD_getSequences function signature

Add new enum for different sequence formats for ingestion/extraction

Merge pull request #2378 from senhuang42/free_cress_ptr

[minor] Pass cRess_t by const ptr instead of by value

Merge pull request #2379 from terrelln/regression-test

[regression] Updates results.csv & add README

Merge pull request #2354 from terrelln/stable-buffer

Add ZSTD_c_stable{In,Out}Buffer and optimize when set

[regression] Add README explaining the test

[regression] Update results.csv

https://github.com/facebook/zstd/pull/2339 removes the single-pass zstdmt API.
This changes the compressed size, because we no longer take the # of threads into
account when deciding the job size.

Merge pull request #2376 from senhuang42/clarify_sequence_extraction_api

Refine external ZSTD_Sequence API

[test] Add unit tests for ZSTD_c_stable{In,Out}Buffer

[lib] Avoid allocating the input buffer when ZSTD_c_stableInBuffer is set

We don't use it when we have a stable input buffer, so don't allocate
it. I had to slightly modify `ZSTD_copyCCtx()` by storing the
`ZSTD_buffered_policy_e` in the `ZSTD_CCtx`, since `inBuffSize > 0` is
no longer the correct signal for the buffered mode.

[lib] Skip the input window buffer when ZSTD_c_stableInBuffer is set

Compress directly from the `ZSTD_inBuffer`. We still allocate the input
buffer. A following commit will remove that allocation.

[cwksp] Return NULL when 0 bytes are requested

This ensures that the buffer is never used.

[lib] Avoid allocating output buffer when ZSTD_c_stableOutBuffer is set

We compress directly to the `ZSTD_outBuffer` so we don't need to
allocate it.

[lib] Compress directly into output when ZSTD_c_stableOutBuffer is set

When we have a stable output buffer always compress directly into the
`ZSTD_outBuffer`. We are allowed to return `dstSizeTooSmall`.

[lib] Take the shortcut when ZSTD_c_stableOutBuffer is set

When we have a stable output buffer take the single-pass shortcut.
It is okay to return `dstSizeTooSmall` if the output buffer isn't
big enough, because we know it will never grow.

[lib] Set ZSTD_c_stable{In,Out}Buffer in ZSTD_compress2()

Sets these parameters in ZSTD_compress2() then resets them to their
orignal values after the compression call.

An alternative design could be to add a flush mode `ZSTD_e_singlePass`
which implies `ZSTD_c_stable{In,Out}Buffer` but only for a single
compression call, by directly setting the applied parameters. I've opted
for the smaller change, but this is open for discussion.

[lib] Validate buffers when ZSTD_c_stable{In,Out}Buffer is set

Adds the validation of the input/output buffers only. They are still
unused.