Fix CCtx Size Estimation

Expand Default Redzone Size

Check if CCtx in Workspace after Null Check

Declare the ASAN Functions We Need, Don't Include the Header

Stop Allocating Extra Space for Table Redzones

Don't Try to Redzone the Tables

Fix Workspace Size Calculation

Fix ZSTD_sizeof_matchState() Calculation

Avoid ASAN Failure in ZSTD_cwksp_free()

Refactor Freeing CCtxes / CDicts Inside Workspaces

Surround Workspace Allocs with Dead Zone

Add `ZSTD_cwksp_alloc_size()` to Help Calculate Needed Workspace Size

Stop Assuming Tables are Adjacent

Poison Unused Workspace Memory

Detect Whether We're Being Compiled with ASAN

Remove Unused MEM_SKIP_MSAN Macro

Merge pull request #1820 from mhlakhani/dev

Add OSS-Fuzz fuzzing badge

Add OSS-Fuzz fuzzing badge

This is basically redoing https://github.com/facebook/zstd/pull/1818 by @inferno-chromium from the OSS-Fuzz team

bump version number to v1.4.4

so that future reports on `dev` branch use this number instead

Merge pull request #1808 from davidbolvansky/highset-codegen

Improve ZSTD_highbit32's codegen

Fixed one more place

Use clz ^ 31 instead of 31 - clz; better codegen for GCC

Merge pull request #1804 from terrelln/wild-and-fast

Optimize (de)compression and fix wildcopy overread

Add UNUSED_ATTR to ZSTD_storeSeq()

HINT_INLINE ZSTD_storeSeq()

Clang on Mac wasn't inlining `ZSTD_storeSeq()` in level 1, which was
causing a 5% performance regression. This fixes it.

Merge pull request #1806 from felixhandte/estimate-cctx-doc

Update Comment on `ZSTD_estimateCCtxSize()`

Remove literals overread in ZSTD_storeSeq() for ~neutral perf

Update Comment on `ZSTD_estimateCCtxSize()`

Fix bounds check in ZSTD_storeSeq()

Fix too strict assert

[tests] Fix decodecorpus

Pass iend into ZSTD_storeSeq() to allow ZSTD_wildcopy()

Widen ZSTD_wildcopy to 32 bytes

Optimize decompression and fix wildcopy overread

* Bump `WILDCOPY_OVERLENGTH` to 16 to fix the wildcopy overread.
* Optimize `ZSTD_wildcopy()` by removing unnecessary branches and
  unrolling the loop.
* Extract `ZSTD_overlapCopy8()` into its own function.
* Add `ZSTD_safecopy()` for `ZSTD_execSequenceEnd()`. It is
  optimized for single long sequences, since that is the important
  case that can end up in `ZSTD_execSequenceEnd()`. Without this
  optimization, decompressing a block with 1 long match goes
  from 5.7 GB/s to 800 MB/s.
* Refactor `ZSTD_execSequenceEnd()`.
* Increase the literal copy shortcut to 16.
* Add a shortcut for offset >= 16.
* Simplify `ZSTD_execSequence()` by pushing more cases into
  `ZSTD_execSequenceEnd()`.
* Delete `ZSTD_execSequenceLong()` since it is exactly the
  same as `ZSTD_execSequence()`.

clang-8 seeds +17.5% on silesia and +21.8% on enwik8.
gcc-9 sees +12% on silesia and +15.5% on enwik8.

TODO: More detailed measurements, and on more datasets.

Crdit to OSS-Fuzz for finding the wildcopy overread.

Merge pull request #1801 from terrelln/int-max

[test] Test the bounds of ZSTD_c_srcSizeHint

Merge pull request #1802 from bimbashrestha/rle_block_bound_fix_pt2

Adding 4 blocks to FSE_BLOCKBOUND() in lib/common (different from las…

adding bit container size

Adding 4 blocks to FSE_BLOCKBOUND() in lib/common (different from last week)

Merge pull request #1756 from mgrice/dev

Improvements in zstd decode performance

[test] Test the bounds of ZSTD_c_srcSizeHint

Merge pull request #1798 from facebook/refac_fast

minor refactor of ZSTD_fast

minor refactor of ZSTD_fast

- reduced variables lifetime
- more accurate code comments

Merge pull request #1783 from felixhandte/mtime-nsec

Set Mod Time Nanoseconds

Merge pull request #1780 from felixhandte/workspace-efficiency-3

Avoid Clearing Tables Even When Changing CParams

Don't Include `sanitizer/msan_interface.h`, Since Not All Platforms Provide It

Instead, explicitly declare the functions we use.

Merge pull request #1791 from terrelln/doc-up

[libzstd] Improve advanced API docs

[libzstd] Improve advanced API docs

Merge pull request #1789 from terrelln/larger-fuzz

[fuzz] Fix leak in block_round_trip

[fuzz] Fix leak in block_round_trip

Merge pull request #1784 from bimbashrestha/fse_block_bound_err

Rearranging assert and allowing 4 extra for FSE_BLOCKBOUND()

Merge pull request #1785 from terrelln/larger-fuzz

[fuzz] Generate seed data up to 256KB

Added assert to BIT_flushBits()

[fuzz] Generate seed data up to 256KB

Rearranging assert and allowing 4 extra for FSE_BLOCKBOUND()

Merge pull request #1781 from darxsys/improvDataGen

Improve data generation

Formatting and Clean Up

Merge branch 'improvDataGen' of github.com:darxsys/zstd into improvDataGen

It's time for all of rng seed code to go. Goodbye

Update tests/fuzz/fuzz_data_producer.h

Use range instead of the generic uint32 method to use less bytes when generating necessary numbers.

ignore dictionary artifacts

Set M-Time Nanoseconds

Merge pull request #1708 from neheb/dev

zstd: Don't use utime on Linux

Shrink Table Valid End During Alloc Alignment / Phase Change

Add Assertions to Confirm that Workspace Pointers are Correctly Ordered

`__msan_poison()` Workspace When Preparing for Re-Use

Fix Memory Leak in Test

Fix Compilation Error (`uint32_t` -> `size_t`)

Speed Up Test a Little

Add Fuzzer Test Case for Index Reduction

Zero `h3size` When `h3log` is 0

This led to a nasty edgecase, where index reduction for modes that don't use
the h3 table would have a degenerate table (size 4) allocated and marked clean,
but which would not be re-indexed.

Combining fuzz_data_producer restrict calls into a single function

Also Shrink Clean Table Area When Reducing Indices

Update DEBUGLOG Statements

Shrink Clean Table Area When Copying Table Contents into Context

The source matchState is potentially at a lower current index, which means
that any extra table space not overwritten by the copy may now contain
invalid indices. The simple solution is to unconditionally shrink the valid
table area to just the area overwritten.

All tests should give some portion of data to the producer and use the rest.

Merge branch 'dev' into improvDataGen

[Fuzz] Improve data generation #1723

Converting the rest of the tests to use the new data producer.

Comments

Only Reset Indexing in `ZSTD_resetCCtx_internal()` When Necessary

Remove No-Longer-Used Continuation Functions

Remove Fast Continue Path in `ZSTD_resetCCtx_internal()`

`ZSTD_reset_matchState` Optionally Doesn't Restart Indexing

Rename `ZSTD_compResetPolicy_e` Values and Add Comment

Accept `ZSTD_indexResetPolicy_e` Param in `ZSTD_reset_matchState()`

Introduce `ZSTD_indexResetPolicy_e` Enum

Track Usable Table Space in Compression Workspace

Merge pull request #1712 from felixhandte/workspace-efficiency-2

Allocate Internal Buffers via Workspace Abstraction

Remove Empty lib/compress/zstd_cwksp.c

Merge pull request #1775 from facebook/edufix

fix educational decoder

Merge pull request #1777 from darxsys/improvDataGen

[Fuzz] Improve data generation #1723

Merge pull request #1773 from bimbashrestha/rle_first_block_decompression_fix

Removing redundant condition in decompression, making first block rle…

fix education decoder test

when `zstd` in not installed on local system
by allowing `ZSTD` variable to hold a custom location for the binary

Using a number instead of M prefix in head call

Addressing nits

Forward Declare `ZSTD_cwksp_available_space` to Fix Build

Inline Workspace Functions

Fixing issues with double usage of data.

Forward resetCCtx Errors when Using CDict

Fix sizeof_CCtx and sizeof_CDict Calculations for Statically Init'ed Objects