Run generic-dev:gcc-8-asan-ubsan-testzstd on latest Ubuntu

Fix seekable test to provide valid descriptor

Fix seek table descriptor check when loading

Merge pull request #2517 from PaulBone/num_cores

Make the number of physical CPU cores detection more robust

Merge pull request #2521 from animalize/doc_free

doc: ZSTD_free*() functions accept NULL pointer

Merge pull request #2523 from terrelln/huf-stack-reduction

Add HUF_writeCTable_wksp() function

Add HUF_writeCTable_wksp() function

This saves ~700 bytes of stack space in HUF_writeCTable.

Merge pull request #2522 from terrelln/stack-reduction

Reduce stack usage of ZSTD_buildCTable()

Reduce stack usage of ZSTD_buildCTable()

It is a stack high-point for some compression strategies and has an easy
fix. This moves the normalized count into the entropy workspace.

Merge pull request #2518 from facebook/seekTable

New direct seekTable access methods

added code comments for new API ZSTD_seekTable

Merge branch 'seekTable' of github.com:facebook/zstd into seekTable

doc: ZSTD_free*() functions accept NULL pointer

added test case for seekTable API

and simple roundtrip test

fixed gcc-7 conversion warning

fixed wrong assert condition

fixed gcc conversion warnings

Merge branch 'dev' into seekTable

Merge pull request #2516 from senhuang42/seekable_hang_fix

Seekable hang fix

various minor style fixes

Only set numPhysicalCores if ratio is valid

If cpuinfo parsing fails fallback to sysconf

strengthen compilation flags

fixed const guarantees

read-only objects are properly const-ified in parameters

fix potential leak on exit

Fix seekable decompress hanging

ZSTD_seekable_decompress() example that hangs.

Merge pull request #2113 from mdittmer/expose-seek-table

[contrib] Support seek table-only API

Merge pull request #2514 from felixhandte/v1.4.9

Prepare Codebase for v1.4.9 Release

Update CHANGELOG

Documentation Rebuild

Bump Library Version 1.4.8 -> 1.4.9

Merge pull request #2513 from felixhandte/fix-2493

Avoid Using `stat -c` on NetBSD

Merge pull request #2512 from felixhandte/fix-2509

Detect `..` in Paths Correctly

Avoid Using `stat -c` on NetBSD

Addresses #2493. I think. I don't have a NetBSD system to test on.

Cover These Edge Cases in Tests

Detect `..` in Paths Correctly

This commit addresses #2509.

Merge pull request #2510 from terrelln/regression

[regression] Update results.csv

[regression] Update results.csv

Fixes the update from PR #2508. I had accidentally forgotten to rebuild
the library, and the regression test suite isn't hooked up to the new
fancy build system yet.

I've double checked that the results are deterministic.

Merge pull request #2492 from niacat/dev

Use standard md5 tool on NetBSD.

Merge pull request #2489 from concatime/cmake-c-lib-programs

CMake: Enable only C for lib and programs projects

Merge pull request #2508 from terrelln/regression

[regression] Update results.csv

[regression] Update results.csv

9f327c02fd17a5aad2b24ae06b85d8226add1f93 changed the compression method
for LDM, so the results are slightly different.

I've re-tested LDM on some larger inputs and everything seems fine.
These ratio changes just seem to be noise. There is generally a 0.01%
swing in ratio, sometimes better sometimes worse, but never large.

Merge pull request #2507 from facebook/freebsd12_2

update FreeBSD image to latest 12.2

Merge pull request #2504 from skitt/stop-using-resetxstream

Stop using deprecated reset?Stream functions

disabled icc tests on Github Actions

Stop using deprecated reset?Stream functions

These are replaced by the corresponding context resets. When
converting resetCStream, CCtx_setPledgedSrcSize isn't called if the
source size is "unknown".

This helps reduce the reliance on "static only" symbols, as well as
reducing the use of deprecated functions.

Signed-off-by: Stephen Kitt <steve@sk2.org>

update FreeBSD image to latest 12.2

Merge pull request #2502 from facebook/ubsanfix

fix ubsan test errors

removing signed integer overflow exception from ubsan tests

Merge pull request #2503 from terrelln/fuzz-ubsan

[fuzz] Fix compiler detection & update ubsan flags

[fuzz] Fix compiler detection & update ubsan flags

* Fix compiler version regex, which was broken for multi-digit
  versions.
* Fix compiler detection for gcc.
* Disable `pointer-overflow` instead of `integer-overflow` for gcc
  versions newer than 8.0.0.

fix ubsan test errors

allows recovering from pointer overflow

Merge pull request #2495 from felixhandte/umask

Use umask() to Constrain Created File Permissions

Use umask() to Constrain Created File Permissions

This commit addresses #2491.

Note that a downside of this solution is that it is global: `umask()` affects
all file creation calls in the process. I believe this is safe since
`fileio.c` functions should only ever be used in the zstd binary, and these
are (almost) the only files ever created by zstd, and AIUI they're only
created in a single thread. So we can get away with messing with global state.

Note that this doesn't change the permissions of files created by `dibio.c`.
I'm not sure what those should be...

Merge pull request #2500 from senhuang42/add_cli_newline

[easy][cli] Add newline to boundary of --help message of --trace and --[no-]check

Add newline to end of cli help message

Merge pull request #2498 from terrelln/old-api-fix

[bug-fix] Make simple single-pass functions ignore advanced parameters

[bug-fix] Make simple single-pass functions ignore advanced parameters

The simple compression functions are intended to ignore the advanced
parameters, but they were accidentally using them. All the
`ZSTD_parameters` were set correctly, but any extra parameters were
used as-is. E.g. `ZSTD_c_format`.

This PR makes all the simple single-pass functions listed below ignore
the advanced parameters, as intended.

* `ZSTD_compressCCtx()`
* `ZSTD_compress_usingDict()`
* `ZSTD_compress_usingCDict()`
* `ZSTD_compress_advanced()`
* `ZSTD_compress_usingCDict_advanced()`

It also adds a test case that ensures that each of these functions
ignore the advanced parameters.

Merge pull request #2497 from terrelln/tracing

[lib] Set appliedParams.compressionLevel correctly

[lib] Set appliedParams.compressionLevel correctly

Forward the correct compressionLevel to the appliedParams in all cases.
It was already correct for the advanced API, so only the old single-pass
functions needed to be fixed.

This compression level is unused by the library, but is set so that the
tracing framework can consume it.

Merge pull request #2496 from terrelln/tracing

[trace] Minor fixes found during integration

[trace] Minor fixes found during integration

* Mark `ZSTD_CCtx_getParameter()` as const
* Add `extern "C"` guards to `zstd_trace.h`

Merge pull request #2483 from mpu/ldmgear

New algorithms for the long distance matcher

Use standard md5 tool on NetBSD.

This avoids a GNU coreutils dependency.

-n is used to match the output format of coreutils:
http://man.netbsd.org/md5.1

relocate large arrays from the stack to ldmState_t

Merge pull request #2490 from terrelln/tracing

[trace] Keep track of a uint64_t tracing context

[trace] Keep track of a uint64_t tracing context

The most common information that you want to track between begin() and
end() is the timestamp of the begin function, so you can measure the
duration of the (de)compression call. Allow the tracing library to put
this information inside the `ZSTD_TraceCtx`, so it doesn't need to keep
a global map in this case. If a single uint64_t is not enough, the
tracing library can return a unique identifier (like the context
pointer) instead, and use it as a key in a map.

This keeps the simple case simple.

fix some compiler warnings

CMake: Enable only C for lib and programs projects

Merge pull request #2482 from terrelln/tracing

Add (de)compression tracing functionality

Add basic tracing functionality

Merge pull request #2488 from terrelln/continuity

[zstd] Fix NULL pointer addition in ZSTD_checkContinuity()

[zstd] Fix NULL pointer addition in ZSTD_checkContinuity()

Don't start a new section when `dstSize == 0` to avoid NULL
pointer addition.

Merge pull request #2486 from facebook/nogcc6

minor: removed flackey gcc6 tests from github actions

Merge pull request #2487 from facebook/fixcast

fixed minor cast warning

fixed minor cast warning

removed flackey gcc6 tests

from github actions.
replaced by equivalent "current" gcc tests when it makes sense

deal safely with short inputs in ZSTD_ldm_generateSequences

The fuzzer CI found this bug.

new core ldm algorithm

Merge pull request #2464 from mpu/ldmfixes

Simple performance improvements for ldm

fix a variable name to reflect its nature

fix warning and remove one more occurrence of makeEntryAndInsertByTag

fix forgotten numTagBits in getTagMask

a couple performance improvement changes for ldm

Merge pull request #2475 from facebook/parallel_build

parallel make build on linux

parallel make build on linux

fix #2474

Merge pull request #2466 from felixhandte/force-stdin-console

Allow Input From Console When `-f`/`--force` is Passed

Merge pull request #2473 from terrelln/recovery

[contrib][recovery] Add recovery_directory program

[contrib][recovery] Add recovery_directory program

This program takes a file with concatenated zstd frames and splits the
file up by frame. E.g. if `dir.zst` has 4 frames:

```
> ./recover_directory dir.zst recovery/file
Recovering 4 files...
Recovered recovery/file0
Recovered recovery/file1
Recovered recovery/file2
Recovered recovery/file3
Complete
```

Also Update Man Page Documentation

Allow Input From Console When `--force` is Passed

Also update option flag documentation.

Merge pull request #2465 from senhuang42/cformat_2021

[license] Change year to 2021 compression_format.md

Merge pull request #2462 from lazka/cmake-fix-pc-escaping

cmake: use configure_file() for creating the .pc file

Change year to 2021 for compression format file

cmake: use configure_file() for creating the .pc file

Escaping in add_custom_target() seems to depend on the shell used in the cmake
generator and using Ninja on Windows, which uses cmd.exe, results in stray backslashes
in the .pc file.

Instead of going through escaping hell just use configure_file() with the existing
libzstd.pc.in file already used by the simple Makefile based build system.

This fixes the .pc file syntax when building zstd with CMake+Ninja+gcc on Windows.

Fix visibility of symbols in .so (#2441)

Fix visibility of symbols in .so and add an alias for renamed API

Merge pull request #2446 from senhuang42/multiple_ddicts_v3

[RFC] Support references to multiple DDicts

Merge pull request #2457 from facebook/cli-dll

zstd CLI can now be linked to libzstd dynamic library

Merge pull request #2459 from ThomasWaldmann/fix-typos

fix typos (work done by Andrea Gelmini)