clarifications for the FSE decoding table

requested in #1782

Merge branch 'dev' of github.com:facebook/zstd into dev

added mode documentation on ZSTD_CLEVEL

providing range restriction [1-19] explicitly
partially answering #1829

Merge pull request #1832 from terrelln/fuzz-stream-fix

[fuzz] Increase output buffer size of stream_round_trip

[fuzz] Increase output buffer size of stream_round_trip

Fixes OSS-Fuzz crash.
Credit to OSS-Fuzz

Merge branch 'dev' of github.com:facebook/zstd into dev

ignore build artifact from educational decoder test

Merge pull request #1827 from facebook/dm_Dct

updated erroneous comments using ZSTD_dm_*

removed UNALIGNED() macro from educational decoder

as this name collides with existing macro in mingw64+clang9.

Merge pull request #1828 from bimbashrestha/education_decoder_check

Removing unnecessary check on education decoder

Merge pull request #1815 from facebook/zlibwrap

make zlibWrapper strict ISO-C90 compatible

Merge pull request #1826 from facebook/noWild8

removed wildcopy8()

Removing unnecessary check from decode side

updated erroneous comments using ZSTD_dm_*

instead of the current ZSTD_dct_*,
reported by @nigeltao (#1822)

removed wildcopy8()

which is no longer used,
noticed by @davidbolvansky

minor comments & refactoring

Merge pull request #1731 from chungy/stdin_nochmod

[programs] don’t do chmod when coming from stdin or multiple files

Merge pull request #1792 from dmitri-shubin/dev

Don't hardcode installation directories in CMakeLists.txt

Merge pull request #1812 from senhuang42/output-dir-flat

Support for --output-dir-flat: output into a directory

Merge pull request #1823 from vangyzen/fwrite_errno

Include errno in all fwrite error messages in fileio.c

Merge pull request #1760 from bimbashrestha/extract_sequences_api

Adding api for extracting sequences from seqstore

Include errno in all fwrite error messages in fileio.c

Only check for filename collisions when using --output-dir-flat

Merge pull request #1820 from mhlakhani/dev

Add OSS-Fuzz fuzzing badge

Add OSS-Fuzz fuzzing badge

This is basically redoing https://github.com/facebook/zstd/pull/1818 by @inferno-chromium from the OSS-Fuzz team

Casting to void* to avoid C4090 warnings

Suppress C4090 warning

Hopefully fix VS compiler warning

fixed init warning

Merge pull request #1 from facebook/dev

Merging main dev

Changed function name, fix test

Now constructs final destination path without allocating new table

Manually moving instead of memcpy on decoder and using genBuffer()

Cleaning sequence parsing logic

zlibwrapper : fixed flag-variable name

release doesn't use specific std/debug flags

updated tests for zlibwrapper C90 strict compatibility

Addressed comments on malloc

Static analyze fix

CI Tests fix

Removed strdup() dependency

Modified message

Add support for --output-dir-flat

New flag to specify output directory destination for multiple files.

Typo fix

Fixing appveyor test

Fixing shortest failure

Adding more realistic test for get sequences

simplified Makefile

and fixed a few c++-compat issues

added c++-compat build flag

ensure code can be compiled "as is" in C++ mode

also : restructured flags so that they can be individually changed / disabled on command line

enforce C90 compatibility for zlibWrapper

bump version number to v1.4.4

so that future reports on `dev` branch use this number instead

Replacing assert with memory_allocation error code throw

Adding test and null check for malloc

Merge pull request #1808 from davidbolvansky/highset-codegen

Improve ZSTD_highbit32's codegen

Fixed one more place

Use clz ^ 31 instead of 31 - clz; better codegen for GCC

Merge pull request #1804 from terrelln/wild-and-fast

Optimize (de)compression and fix wildcopy overread

Add UNUSED_ATTR to ZSTD_storeSeq()

HINT_INLINE ZSTD_storeSeq()

Clang on Mac wasn't inlining `ZSTD_storeSeq()` in level 1, which was
causing a 5% performance regression. This fixes it.

Passing in dummy dst buffer of compressbound(srcSize)

Merge pull request #1806 from felixhandte/estimate-cctx-doc

Update Comment on `ZSTD_estimateCCtxSize()`

Remove literals overread in ZSTD_storeSeq() for ~neutral perf

Update Comment on `ZSTD_estimateCCtxSize()`

Fix bounds check in ZSTD_storeSeq()

Fix too strict assert

[tests] Fix decodecorpus

Pass iend into ZSTD_storeSeq() to allow ZSTD_wildcopy()

Widen ZSTD_wildcopy to 32 bytes

Optimize decompression and fix wildcopy overread

* Bump `WILDCOPY_OVERLENGTH` to 16 to fix the wildcopy overread.
* Optimize `ZSTD_wildcopy()` by removing unnecessary branches and
  unrolling the loop.
* Extract `ZSTD_overlapCopy8()` into its own function.
* Add `ZSTD_safecopy()` for `ZSTD_execSequenceEnd()`. It is
  optimized for single long sequences, since that is the important
  case that can end up in `ZSTD_execSequenceEnd()`. Without this
  optimization, decompressing a block with 1 long match goes
  from 5.7 GB/s to 800 MB/s.
* Refactor `ZSTD_execSequenceEnd()`.
* Increase the literal copy shortcut to 16.
* Add a shortcut for offset >= 16.
* Simplify `ZSTD_execSequence()` by pushing more cases into
  `ZSTD_execSequenceEnd()`.
* Delete `ZSTD_execSequenceLong()` since it is exactly the
  same as `ZSTD_execSequence()`.

clang-8 seeds +17.5% on silesia and +21.8% on enwik8.
gcc-9 sees +12% on silesia and +15.5% on enwik8.

TODO: More detailed measurements, and on more datasets.

Crdit to OSS-Fuzz for finding the wildcopy overread.

Addressing comments

Merge pull request #1801 from terrelln/int-max

[test] Test the bounds of ZSTD_c_srcSizeHint

Merge pull request #1802 from bimbashrestha/rle_block_bound_fix_pt2

Adding 4 blocks to FSE_BLOCKBOUND() in lib/common (different from las…

adding bit container size

Adding 4 blocks to FSE_BLOCKBOUND() in lib/common (different from last week)

Merge pull request #1756 from mgrice/dev

Improvements in zstd decode performance

[test] Test the bounds of ZSTD_c_srcSizeHint

Casting void pointer to ZSTD_Sequence pointer

Merge pull request #1798 from facebook/refac_fast

minor refactor of ZSTD_fast

minor refactor of ZSTD_fast

- reduced variables lifetime
- more accurate code comments

Merge pull request #1783 from felixhandte/mtime-nsec

Set Mod Time Nanoseconds

Resolving appveyor test failure implicit conversion

Merge branch 'extract_sequences_api' of https://github.com/bimbashrestha/zstd into extract_sequences_api

Handling memory leak and potential side effect

Merge branch 'dev' into extract_sequences_api

Merge pull request #1780 from felixhandte/workspace-efficiency-3

Avoid Clearing Tables Even When Changing CParams

Don't Include `sanitizer/msan_interface.h`, Since Not All Platforms Provide It

Instead, explicitly declare the functions we use.

Bailing early when collecting sequences and documentation

Don't hardcode installation directories in CMakeLists.txt

Use paths provided by GNUInstallDirs module instead.

Merge pull request #1791 from terrelln/doc-up

[libzstd] Improve advanced API docs

[libzstd] Improve advanced API docs

Merge pull request #1789 from terrelln/larger-fuzz

[fuzz] Fix leak in block_round_trip

[fuzz] Fix leak in block_round_trip

Merge pull request #1784 from bimbashrestha/fse_block_bound_err

Rearranging assert and allowing 4 extra for FSE_BLOCKBOUND()

Merge pull request #1785 from terrelln/larger-fuzz

[fuzz] Generate seed data up to 256KB

Added assert to BIT_flushBits()

[fuzz] Generate seed data up to 256KB

Rearranging assert and allowing 4 extra for FSE_BLOCKBOUND()

Merge pull request #1781 from darxsys/improvDataGen

Improve data generation

Formatting and Clean Up

Merge branch 'improvDataGen' of github.com:darxsys/zstd into improvDataGen

It's time for all of rng seed code to go. Goodbye