removed wildcopy8()

which is no longer used,
noticed by @davidbolvansky

minor comments & refactoring

Merge pull request #1731 from chungy/stdin_nochmod

[programs] don’t do chmod when coming from stdin or multiple files

Merge pull request #1792 from dmitri-shubin/dev

Don't hardcode installation directories in CMakeLists.txt

Merge pull request #1812 from senhuang42/output-dir-flat

Support for --output-dir-flat: output into a directory

Merge pull request #1823 from vangyzen/fwrite_errno

Include errno in all fwrite error messages in fileio.c

Merge pull request #1760 from bimbashrestha/extract_sequences_api

Adding api for extracting sequences from seqstore

Include errno in all fwrite error messages in fileio.c

Only check for filename collisions when using --output-dir-flat

Merge pull request #1820 from mhlakhani/dev

Add OSS-Fuzz fuzzing badge

Add OSS-Fuzz fuzzing badge

This is basically redoing https://github.com/facebook/zstd/pull/1818 by @inferno-chromium from the OSS-Fuzz team

Casting to void* to avoid C4090 warnings

Suppress C4090 warning

Hopefully fix VS compiler warning

Changed function name, fix test

Now constructs final destination path without allocating new table

Manually moving instead of memcpy on decoder and using genBuffer()

Cleaning sequence parsing logic

Addressed comments on malloc

Static analyze fix

CI Tests fix

Removed strdup() dependency

Modified message

Add support for --output-dir-flat

New flag to specify output directory destination for multiple files.

Typo fix

Fixing appveyor test

Fixing shortest failure

Adding more realistic test for get sequences

bump version number to v1.4.4

so that future reports on `dev` branch use this number instead

Replacing assert with memory_allocation error code throw

Adding test and null check for malloc

Merge pull request #1808 from davidbolvansky/highset-codegen

Improve ZSTD_highbit32's codegen

Fixed one more place

Use clz ^ 31 instead of 31 - clz; better codegen for GCC

Merge pull request #1804 from terrelln/wild-and-fast

Optimize (de)compression and fix wildcopy overread

Add UNUSED_ATTR to ZSTD_storeSeq()

HINT_INLINE ZSTD_storeSeq()

Clang on Mac wasn't inlining `ZSTD_storeSeq()` in level 1, which was
causing a 5% performance regression. This fixes it.

Passing in dummy dst buffer of compressbound(srcSize)

Merge pull request #1806 from felixhandte/estimate-cctx-doc

Update Comment on `ZSTD_estimateCCtxSize()`

Remove literals overread in ZSTD_storeSeq() for ~neutral perf

Update Comment on `ZSTD_estimateCCtxSize()`

Fix bounds check in ZSTD_storeSeq()

Fix too strict assert

[tests] Fix decodecorpus

Pass iend into ZSTD_storeSeq() to allow ZSTD_wildcopy()

Widen ZSTD_wildcopy to 32 bytes

Optimize decompression and fix wildcopy overread

* Bump `WILDCOPY_OVERLENGTH` to 16 to fix the wildcopy overread.
* Optimize `ZSTD_wildcopy()` by removing unnecessary branches and
  unrolling the loop.
* Extract `ZSTD_overlapCopy8()` into its own function.
* Add `ZSTD_safecopy()` for `ZSTD_execSequenceEnd()`. It is
  optimized for single long sequences, since that is the important
  case that can end up in `ZSTD_execSequenceEnd()`. Without this
  optimization, decompressing a block with 1 long match goes
  from 5.7 GB/s to 800 MB/s.
* Refactor `ZSTD_execSequenceEnd()`.
* Increase the literal copy shortcut to 16.
* Add a shortcut for offset >= 16.
* Simplify `ZSTD_execSequence()` by pushing more cases into
  `ZSTD_execSequenceEnd()`.
* Delete `ZSTD_execSequenceLong()` since it is exactly the
  same as `ZSTD_execSequence()`.

clang-8 seeds +17.5% on silesia and +21.8% on enwik8.
gcc-9 sees +12% on silesia and +15.5% on enwik8.

TODO: More detailed measurements, and on more datasets.

Crdit to OSS-Fuzz for finding the wildcopy overread.

Addressing comments

Merge pull request #1801 from terrelln/int-max

[test] Test the bounds of ZSTD_c_srcSizeHint

Merge pull request #1802 from bimbashrestha/rle_block_bound_fix_pt2

Adding 4 blocks to FSE_BLOCKBOUND() in lib/common (different from las…

adding bit container size

Adding 4 blocks to FSE_BLOCKBOUND() in lib/common (different from last week)

Merge pull request #1756 from mgrice/dev

Improvements in zstd decode performance

[test] Test the bounds of ZSTD_c_srcSizeHint

Casting void pointer to ZSTD_Sequence pointer

Merge pull request #1798 from facebook/refac_fast

minor refactor of ZSTD_fast

minor refactor of ZSTD_fast

- reduced variables lifetime
- more accurate code comments

Merge pull request #1783 from felixhandte/mtime-nsec

Set Mod Time Nanoseconds

Resolving appveyor test failure implicit conversion

Merge branch 'extract_sequences_api' of https://github.com/bimbashrestha/zstd into extract_sequences_api

Handling memory leak and potential side effect

Merge branch 'dev' into extract_sequences_api

Merge pull request #1780 from felixhandte/workspace-efficiency-3

Avoid Clearing Tables Even When Changing CParams

Don't Include `sanitizer/msan_interface.h`, Since Not All Platforms Provide It

Instead, explicitly declare the functions we use.

Bailing early when collecting sequences and documentation

Don't hardcode installation directories in CMakeLists.txt

Use paths provided by GNUInstallDirs module instead.

Merge pull request #1791 from terrelln/doc-up

[libzstd] Improve advanced API docs

[libzstd] Improve advanced API docs

Merge pull request #1789 from terrelln/larger-fuzz

[fuzz] Fix leak in block_round_trip

[fuzz] Fix leak in block_round_trip

Merge pull request #1784 from bimbashrestha/fse_block_bound_err

Rearranging assert and allowing 4 extra for FSE_BLOCKBOUND()

Merge pull request #1785 from terrelln/larger-fuzz

[fuzz] Generate seed data up to 256KB

Added assert to BIT_flushBits()

[fuzz] Generate seed data up to 256KB

Rearranging assert and allowing 4 extra for FSE_BLOCKBOUND()

Merge pull request #1781 from darxsys/improvDataGen

Improve data generation

Formatting and Clean Up

Merge branch 'improvDataGen' of github.com:darxsys/zstd into improvDataGen

It's time for all of rng seed code to go. Goodbye

Update tests/fuzz/fuzz_data_producer.h

Use range instead of the generic uint32 method to use less bytes when generating necessary numbers.

ignore dictionary artifacts

Set M-Time Nanoseconds

Merge pull request #1708 from neheb/dev

zstd: Don't use utime on Linux

Shrink Table Valid End During Alloc Alignment / Phase Change

Add Assertions to Confirm that Workspace Pointers are Correctly Ordered

`__msan_poison()` Workspace When Preparing for Re-Use

Fix Memory Leak in Test

Fix Compilation Error (`uint32_t` -> `size_t`)

Speed Up Test a Little

Add Fuzzer Test Case for Index Reduction

Zero `h3size` When `h3log` is 0

This led to a nasty edgecase, where index reduction for modes that don't use
the h3 table would have a degenerate table (size 4) allocated and marked clean,
but which would not be re-indexed.

Combining fuzz_data_producer restrict calls into a single function

Also Shrink Clean Table Area When Reducing Indices

Update DEBUGLOG Statements

Shrink Clean Table Area When Copying Table Contents into Context

The source matchState is potentially at a lower current index, which means
that any extra table space not overwritten by the copy may now contain
invalid indices. The simple solution is to unconditionally shrink the valid
table area to just the area overwritten.

All tests should give some portion of data to the producer and use the rest.

Merge branch 'dev' into improvDataGen

[Fuzz] Improve data generation #1723

Converting the rest of the tests to use the new data producer.

Comments