refactor: Simplify logic of -x handling

Add unit tests for parsing -x argument

Disable some new Clang-Tidy features (#677)

Update NEWS

Add CI build with GCC 4.8.5

This tests GCC 4.8.5 which is the default compiler in RHEL/CentOS 7.

There is no intention to keep the GCC 4.8.5 build free from warnings
since doing so will make things worse for modern compilers and tools.

Use STATUS instead of NOTICE for CMake messages

NOTICE is apparently new for CMake 3.15.

Fix build error for TemporaryFile with GCC 4.8

Handle interrupted waitpid call properly in hash_command_output

Don’t add -I${CMAKE_SOURCE_DIR}/third_party when compiling

Third party headers are supposed to be included by “#include
third_party/...”.

Add Paul Bunch to .mailmap

Mention how to configure location of the secondary config file

refactor: Improve naming/interface of compopt functions (#663)

Upgrade to BLAKE3 0.3.7

Update NEWS

(cherry picked from commit 11a582f5b31b53e6c223f28c46bcf2d66504cbad)

Handle missing .gcno file gracefully

GCC ≥9 has changed behavior for -ftest-coverage and --coverage in
combination with -fprofile-dir=dir:

- Without -fprofile-dir=dir the file is placed next to the object file
  but with a “.gcno” extension.
- With -fprofile-dir=dir the file is also place next to the object file
  (i.e. not in the specified profile directory) but the same style of
  name as used for “.gcda” files (full pathname with slashes replaced
  with hash characters).

Fix this by:

- Checking if the expected (GCC <9) .gcno file is present. If not, fall
  back to running the compiler and increment the “unsupported option”
  counter.
- Making sure to perform the above check before copying the object file
  to the cache so that a later ccache invocation won’t believe that
  there is a result in the cache.
- Improving the copy_file routine to not create the destination file
  until it knows that there is a source file to copy from.

Fixes #674.

(cherry picked from commit 6abd78b5ec7cdfeedff36454b07a8dbff312b554)

Simplify source package generation

Since it now works to build from “git archive” archives, use such an
archive as the official source code release archive instead of using
CPack with a custom install script for modifying the source code. We can
revisit this in the future when and if we want a source code release
archive that is not simply an export of the version-controlled source
code.

Make it possible to build from “git archive” source archives

The ccache CMake scripts currently support building from an official
release archive or in a Git repository but not from a source archive
created by “git archive”.

Improve this by adding directives so that “git archive” substitutes
needed information when exporting the source tree.

Closes #667.

Fix bad variable name by inlining it

Introduced in 68905effcff923769800f837b1516fcb1583d71b.

Fix typo in manual section “Compiling in different directories”

Add error detection to zstd download (#673)

Add unittest for find_compiler (#670)

Co-authored-by: Joel Rosdahl <joel@rosdahl.net>

Use ubuntu-18.04 instead of ubuntu-20.04 for Clang-Tidy

The ubuntu-20.04 VM has intermittent build errors that look like this:

  sudo apt-get install libzstd-dev clang-tidy
  [...]
  The following packages have unmet dependencies:
   clang-tidy : Depends: clang-tidy-10 (>= 10~) but it is not going to be installed
  E: Unable to correct problems, you have held broken packages.

Clang-Tidy 9 also found “function ... has a definition with different
parameter names” warnings that needed to be fixed as part of this.

As discussed in #670.

Don’t update stats file if all counter updates are zero

Handle short read when writing result files

Result::Write::write_embedded_file_entry assumes that read(2) never
performs a “short read” (fewer bytes than the supplied count) for files.
A short read can however happen if the process is interrupted by a
signal, for instance on NFS with the “intr” mount option.

Fix this by properly reducing the remaining bytes counter by the amount
of actually read bytes.

Improve base_dir documentation

Closes #668.

Improve CMake targets related to documentation

- Rename the documentation target to doc-html.
- Rename the manpage target to doc-man-page.
- Make the doc-html target not recreate documentation files each time it
  is run by using the OUTPUT form of add_custom_command.
- Similar for the doc-man-page target.
- Add doc target which builds both HTML documentation and man page.

Fix Clang-Tidy 9 warning about differing parameter name

Remove unnecessary Result::Writer destructor

The destructor may throw exceptions and since it’s superfluous we can
just remove it.

Encode hash digests as 4 base16 digits + 29 base32hex digits

Reducing file lengths should be beneficial since it reduces the number
of needed system calls when scanning many files in the cache. The effect
is very small but there is no real downside. See also
b16001a67f4389956ef6e7ccf7d8023684b57119.

Base32 is chosen since the encoding algorithm is very simple compared to
e.g. base36. Base64 cannot be used since the encoded digest string is
used in filenames and the cache directory may be located on a case
insensitive filesystem. The base32hex variant is chosen instead of the
other base32 variants since it feels more natural and there are no
visual ambiguity issues.

The first two bytes are encoded as base16 to maintain compatibility with
the cleanup algorithm in older ccache versions and to allow for up to
four uniform cache levels.

Rename Util::format_hex to format_base16

Optimize Util::format_hex

Not that it matters much, but not using fmt::format makes
Util::format_hex ≈20x faster.

Fix base32hex code

- Const-ified input parameter.
- Use non-reserved macro for the include guard.
- Use unsigned int buffer to avoid “left shift of 1236923897 by 8 places
  cannot be represented in type int” reported by Clang’s
  UndefinedBehaviorSanitizer.

Add base32hex implementation by Peter Conrad

Implementation copied verbatim from (a patch in)
<https://github.com/pmconrad/tinydnssec>.

Use no indentation for license entries in LICENSE.adoc consistently

Sort entries in LICENSE.adoc according to file names

Pass Args by const ref

It doesn’t matter in practice, but LGTM gets happier.

Use short type suffix for cache files

x.result -> xR
x.manifest -> xM
x_n.raw -> xnW

Reducing file lengths should be beneficial since it reduces the number
of needed system calls when scanning many files in the cache. The effect
is very small but there is no real downside.

A one letter suffix is kept to allow for making decisions based on file
type without having to open the file. The suffix is uppercase so that is
doesn’t clash with pre-4.0 *.stderr files stored in the cache.

Reduce duplication in third party CMakeLists.txt

Store cache statistics on level 2 and cache bookkeeping still on level 1

In a “mostly cache hits” scenario, many parallel ccache invocations may
want to update statistics at the same time. Spreading out counter
updates over 256 instead of 16 stats files reduces lock contention
significantly.

Keeping cache bookkeeping (i.e. cache size and files counters) on level
1 preserves backward compatibility with the cleanup algorithm in older
ccache versions.

Some counters displayed by “ccache -s” won’t be accurate when an older
ccache version is run on a cache directory that is also used by ccache
4.x, but that shouldn’t be much of a problem in practice. Also, the
cache statistics isn’t backward compatible anyway since new counters may
be introduced and they will be invisible to older versions.

Closes #168 (only statistics are moved to the second level, though).

Silence unwanted output in CCACHE_UMASK test

Implement support for automatic cache levels

This makes ccache choose an appropriate cache level structure
automatically based on a maximum number of files per directory,
currently hardcoded to 2000.

Fix capitalization of CMake, Cppcheck, Clang-Format and Clang-Tidy

Avoid -Wshadow warnings with older compilers

Add ASSERT and DEBUG_ASSERT macros

CMake always defines NDEBUG in release builds, so assertions are only
enabled in debug builds. Assertions were however always enabled before
switching to CMake. I prefer keeping assertions enabled in release
builds as well unless they are part of a tight loop.

Fix this by introducing two custom assertion macors:

- ASSERT(condition): Like assert(condition) but always enabled.
- DEBUG_ASSERT(condition): Like assert(condition), i.e. only enabled in
  debug builds.

All usage of assert(condition) is converted to ASSERT(condition) since
none of the assertions are made in performance-critical code.

Handle waitpid interruption and add missing string header (#669)

Add support for hip language (#666)

Avoid mentioning __TIME__ and friends literally in header file

Having them in the header files disables direct mode when compiling
ccache itself.

Add Util::clamp function

test: Retrieve test suite list from CMakeLists.txt

Make “-fstack-usage” test work when $COMPILER is a masquerading ccache

Fix and simplify calculation of cache size change

Use appropriate type for size delta

Include thread ID in addition to process ID in symlink content

This fixes a race condition when doing recompression with multiple
threads.

recompress: Don’t defer updating statistics counter

As of dd8f65aa558, the Context destructor no longer flushes statistics.

Refactor create_cachedir_tag

Remove unnecessary suffix parameter from Util::get_path_in_cache

Remove cache_dir_levels (CCACHE_NLEVELS) setting

This is in preparation for two things:

1. Storing cache statistics (except size/files bookkeeping) on level 2
   instead of level 1, thus making “cache_dir_levels = 1” invalid.
2. Implementing automatic choice of cache levels based on the number of
   files in the cache.

refactor: Convert Util::strip_whitespace to use string_view (#661)

Refactor remaining stats_* functions into Statistics

Remove knowledge about legacy top-level stats file

The top-level stats file was removed in ccache 3.1 ten years ago so it
seems reasonable to remove knowledge about it now.

Refactor Statistics::{write,increment} into Statistics::update

Refactor away stats_{add_cleanup,set_sizes}

Remove upgrade code for populating config with legacy cache size values

Version 3.2, which introduced the configuration file, was released over
six years ago so it seems reasonable to remove upgrade code for older
versions now.

Refactor flushing of stats and logs at ccache exit

Perform flushing of statistics counters (potentially triggering cache
cleanup) and log files in a finalizer inside cache_compilation instead
of in Conxtext’s destructor. This moves somewhat complex logic from
Context into the main ccache code.

As a side effect of this, stats_flush and stats_flush_to_file are
superfluous.

Add and use Statistics::increment function

Extract stats_{read,write} and Statistic enum to Statistics namespace

Add unit tests of Counters class

Add and use Counters::increment(const Counters&)

Introduce Counters::{get,set}_raw

Casting an integer to an enum class value is undefined behavior so let’s
strive not to do that.

Introduce Counters::get/set/increment methods, replacing operator[]

The primary motivation for this is that it’s now possible to detect and
block underflow when incrementing a value in the unlikely but possible
event that a, say, cache_size_kibibyte is decremented below zero.

Replace stats_update_size with incrementing counters directly

Replace stats_update with incrementing counters directly

Tweak AsciiDoc section divider format

test: Introduce unit test for -Xclang handling (#659)

refactor: Compare Args::to_string in tests, not internal state (#658)

Switch from XXH64 to XXH3 for checksums (#657)

The latter promises better performance and supports automatic use of vector
instructions where appropriate.

Don’t create <objectfile>.ccache-log when there is no object file

Fixes #656.

Don’t log stat error in Util::read_file

An error is signalled via an exception so let’s make it up to the caller
whether to log or not.

Simplify TemporaryFile

Add Util::ensure_dir_exists

Add noexcept to move constructors and assignment operators

Move File method definitions outside the class for tidiness

Move manifest functions into a Manifest namespace

Add missing newline in --hash-file output

doc: Correct default compression level

Use “using nonstd::*” consistently

Introduce Util::parse_{unsigned,signed} functions

parse_unsigned replaces parse_uint32 while parse_signed replaces
parse_int. For simplicity, both return 64-bit values; I see no need to
be able to return narrower types since they are used for parsing
configuration values where a valid range is more important. Therefore
the functions optionally verify minimum and maximum allowed values.

Tweak some integer types

Allow for 64-bit values in statistics counters

This is primaily done to avoid overflowing timestamp values in 2038.

Improve name of ArgumentProcessingState::input_charset

It holds the full option argument, not the value.

Convert fromcache_call_mode enum to enum class

Clean up ProcessArgsResult

Remove redundant static keyword for namespace-level constants

Namespace-level constant objects have static storage duration by
default.

Clean up .gitignore

Simplify definition of the stats_info array

Improve variable names related to statistics counters

refactoring: Use return syntax for process_args (#652)

refactoring: Convert stats to enum class (#651)

Clarify naming conventions for enum and enum class values

Fix test errors with GCC 4.4