Refactor main primary storage backend code into storage/primary

This is the code that deals with retrieving and storing cache entries.

Refactor config and context setup

Remove now superfluous std::make_unique shim

Add Tokenizer class

The class behaves like a collection and can be used in a range-based for
loop.

Revise include file order to work with new directory structure

Remove superfluous context instance in test case

Use single command line arg for /FI (#869)

CMake seems to interpret /FI and its argument as two separate options.
For instance, CMake de-duplicates arguments, leading any to non-first
/FI flag to be removed. This might be the reason why the option is not
honored with Visual Studio 16.10.2 / CMake 3.20.3.

Fix by combining /FI and its argument into a single command line option.

Add sloppy include_file_mtime to ivfsoverlay test (#868)

Add CCACHE_SLOPPINESS=include_file_mtime to ivfsoverlay test. This is
possibly due to me using my self-compiled clang since it does not fail
with the version of Clang that comes with Ubuntu 20.04.

Skip nvcc_ldir test with non-working nvcc (#867)

Add detection to nvcc_ldir of whether nvcc works with chosen host
compiler. For instance, nvcc aborts with

    #error -- unsupported clang version! clang version must be less than 9 and greater than 3.2

if the version of clang (or gcc) is too new. The test should be skipped in
this case.

Use some generic lambda expressions

Require C++14-compatible compiler to build ccache

Ccache 4.0 introduced a requirement on a C++11-compatible compiler. The
language version was primarily chosen to support CentOS 7.

The time has now come to bump to C++14, to among other things get access
to generic lambda expressions and improved constexpr functions. Another
side effect is to get usable support for std::regex due to requiring a
newer GCC than 4.8 which lacks such support.

Remove Ubuntu 16.04/Clang 3.8 build

It no longer works.

Explicitly select C++ when using -fcxx-modules (#861)

Typically, clang is able to auto-detect C++ files and switch to C++
mode, even when `argv[0]` is simply `clang` (without the `++`).

However, Nixpkgs provides `clang` as a wrapper script over the
underlying compiler binary, and only enables C++ standard library
include paths when it thinks it's being invoked as a C++ compiler:

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L28

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L54-L55

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L135-L138

So for the benefit of less clever compiler toolchains which
can't always see that these invocations are using C++ mode,
we explicitly specify `-x c++` so they do the right thing.

Ignore CLion files (#862)

Don’t crash on relative PWD value

Even though PWD “shall represent an absolute pathname of the current
working directory”[1], we shouldn’t crash if a user sets it to a
relative path.

[1]: https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap08.html#tag_08_03

Fixes #860.

Improve architecture document

- framework -> core
- Describe source code directories in a section of their own.

Add stats log file, logging input file and result (#854)

Document the plan of changing naming conventions for namespaces

Namespaces are from now on planned to be in snake_case instead of
UpperCamelCase. This is of course entirely due to cosmetical reasons,
but I feel that it maps better to the upcoming changes in directory
structure where I don’t want camel-case directory names.

Document the new directory structure plan

See also #660 and #753.

Remove now mostly obsolete note about transitioning to C++

Test Clang 11 in CI

Remove Ubuntu 16.04 from CI

Ubuntu 16.04 has reached end of life already and GitHub Actions will
drop support for it soon anyway.

Refactor away Result::Writer knowledge about counter_updates

Add nonstd::expected 0.5.0

Silence stray printout from "-P -c" test case

Add missing MTR_BEGIN call for file/file_put

doc: Switch to common AsciiDoc heading syntax

Include config.h via command line instead of via system.h

This makes the definitions in config.h available to all source code,
including third_party_lib. It’s also a first step towards not having to
include system.hpp and its libc headers from all files.

Improve defines for third_party_lib

- Don’t filter out useful warnings like warning about implicit function
  declarations.
- Apply definitions in config.h to third party source code instead of
  passing feature defines as a special case.

Enable minitrace tracing and stop it from crashing (#852)

Need to make sure to pass the -DMTR_ENABLED also when compiling
the library and not only in the ccache internal config.h file.

When setting a standard (like C99), also need to define features.
The "strdup" function requires macro: _POSIX_C_SOURCE >= 200809L

Add support for clang's --config option (#850)

This is more or less equivalent to gcc's --specs option except that the
contents of the file have different syntaxes.

Upgrade to zstd 1.5.0

Fix typo in NEWS

Fix typo in NEWS

Update NEWS

Re-add clang-format off/on for formatting bug

Improve checksumming of downloaded clang-format binary

Update authors

Update .mailmap

Fix documentation of ivfsoverlay sloppiness

Quote CMake variables expansions in `CIBuildType.cmake`

This avoids CMake errors when `${CMAKE_C_FLAGS_CI}` or
`${CMAKE_CXX_FLAGS_CI}` expands to the empty string.

Fixes #846.

Tweak comment

Revert "ci: Fix build on Ubuntu 16.04"

This reverts commit aa7fd27609bea5ec78fd85afaec297d028119ee0.

GitLab has apparently reverted its changes to the Ubuntu 16.04
environment again.

Include object path in input hash for -fprofile-arcs (--coverage)

The object file contains a .gcda path based on the object file path.

Fixes #845.

Improve comment

source formatting: Don’t bin pack constructor initializer lists

Support `-specs file.specs` and `--specs file.specs` (#843)

* Support `-specs file.specs` and `--specs file.specs`

ccache currently supports specs files supplied via `-specs=file.specs`
and `--specs=file.specs`, but using a space instead of an `=` will cause
ccache to error out on the subsequent .specs file with
"unsupported source language".

Add support for `-specs file.specs` and `--specs file.specs`.

CMake: make build of documentation optional (#842)

So we don't need to support corner cases as for example one fixed in
commit f6202db308e3 ("doc/MANUAL.adoc: Don't use non-ASCII quotes
(#761)") when the documentation is actually not needed at all as ccache
is used as a build tool only.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Fix detection of pthread features (#840)

Add the -pthread flag to the compiler when building the test
program. Otherwise the compiler will build with wrong defines.

Fixes failing unit tests in Ubuntu 18.04.

Ignore -ivfsoverlay parameter (#839)

Co-authored-by: Peter Steinberger <steipete@gmail.com>

ci: Fix build on Ubuntu 16.04

For some reason libzstd1-dev now has broken dependencies in GitLab’s
Ubuntu 16.04 environment. Fix this by installing libzstd-dev instead.

See also 59202ffbe57cc81679c02abafd2222819e4bde41.

Fix AsciiDoc markup in NEWS

Canonicalize header path earlier to improve performance (#838)

The ctx.included_files.find(path) check was done before removing the "./" prefix
from the path, leading to decreased performance for such headers since the check
would always fail for such paths.

Improve statistics for “-P -E”

“-P” is currently considered too hard, so when it’s used in conjunction
with “-E” the “unsupported compiler option” statistics counter is
increased since “-P” is found before “-E” on the command line.

Improve this by not passing “-P” to the preprocessor so that’s it’s in
effect supported. “-P -E” will then instead bail out on “-E”, increasing
“called for preprocessing” instead.

Closes #812.

Disable split-dwarf code paths when outputting to /dev/null

This avoids an attempt to delete /dev/null.dwo, which is harmless but
apparently flagged by the sandboxing feature of Gentoo’s build system.

Fixes #833.

Use Clang-Format executable from muttleyxd/clang-tools-static-binaries

misc/format-files now executes misc/clang-format, which works like this:

1. If environment variable CLANG_FORMAT is set, execute $CLANG_FORMAT.
2. Otherwise, if <ccache-top-dir>/misc/.clang-format-exe exists, execute
   that program.
3. Otherwise, download a statically linked clang-format executable,
   verify its integrity, place it in
   <ccache-top-dir>/misc/.clang-format-exe and execute it.

This makes it possible for us to lock Clang-Format to version 10 and
remove most “// clang-format off/on” comments.

Merge pull request #832 from nickhutchinson/win-stat-pending-delete

Stat: treat pending deletes as missing files on Windows

Win32 functions like `CreateFile` return `ERROR_ACCESS_DENIED` when a
file is in the process of being deleted, which gets mapped to an errno
of `EACCES`. For the purposes of `Stat::stat` and `Stat::lstat`, it's
more useful to treat this as a missing file and mapping this to an errno
of `ENOENT`.

Fix clang-tidy job

Explicitly specify versions of clang, clang++ and clang-tidy so we don't
run with mismatched versions.

GitHub seems to have recently bumped the version of clang installed in
its Ubuntu 18.04 runners to version 9, and aliased it to
`/usr/bin/clang` / `/usr/bin/clang++`. But running `apt-get install
clang-tidy` would install an older version of clang-tidy from LLVM _6.0_
at `/usr/bin/clang-tidy`.

See: https://github.com/actions/virtual-environments/blob/main/images/linux/Ubuntu1804-README.md

Prepare for v4.2.1

Update authors

Simplify linker probing

Fix probing of faster linker when cross compiling

Update NEWS

Probe for working faster linker

As noted by Nicholas Hutchinson in #794, the availability of a linker
program is not enough to conclude that it works for some older compilers
and platforms like macOS and Windows.

Improve this by probing if it works to pass “-fuse-ld=$LINKER”.

Fix fast linker selection

This partially reverts commit 6b552a3247e285dd5a4b1c21b3afc3f38ce68161.

As noted in #788, the fix in 6b552a32 doesn’t work. However, I can’t
reproduce any problems with the original solution so let’s revert back
to it.

Fixes #794.

Clean up slightly after ea433578

Changed zstd url back to http (#830)

It looks like https://zstd.net isn't working anymore, however, http://zstd.net
works and simply redirects to https://facebook.github.io/zstd/ which is served
through https.

This change essentially reverts a single change from commit
a0f32f161f1b8b9c5d287ca8abe88e3fd1e940a2 where the zstd URL was changed from
http to https.

Update doctest license info

Upgrade to doctest 2.4.6

Closes #825.

doc: Fix references to the extra_files_to_hash configuration option

win32: Fix handling of long command lines (#816)

What is broken: handling of "execute" with long command parameters (see win32execute).

In more details:

* parameter lpCommandLine was formatted incorrectly (it has to contain app name too)
* temporary file with parameters to the compiler was formatted incorrectly (it
  should NOT contain app name; if it contains backslashes, then these
  backslashes need to be escaped as double-backslashes)
* wrong location (directory) of temporary files in win32execute
* premature deletion of temporary files in win32execute

Implement a better Stat::stat(), Stat::lstat() for Windows (#819)

`stat()` as implemented in msvcrt.dll (used by mingw-w64) has a number
of flaws:
- `st_ino` is always 0
- other file attributes are queried from the parent directory instead of
  the file itself, and so can be incorrect/stale, e.g. if a file is
  modified via another hard link.

The implementation in the UCRT is slightly better -- it prefers to query
attributes from the file itself if possible, but it still doesn't
populate `st_ino` and can silently fall back to querying from the parent
directory and giving stale results.

I don't believe the msvcrt.dll source is available (you have to infer
its behaviour from e.g. Process Monitor) but the ucrtbase.dll source
code is available in the Windows 10 SDK.

Write an implementation of `stat`/`lstat` that sidesteps these issues by
using Win32 APIs to query file information. A few implementation notes:

- We do not fall back to querying the parent directory (as the UCRT
  `stat()` implementation and [Python's `stat()`][1] do) if we can't get
  a handle to the actual file. If we don't have `FILE_READ_ATTRIBUTES`
  permissions, we fail with `EACCES` instead of returning
  incomplete/stale results fetched from the parent directory.
- Windows-specific `Stat::file_attributes()` / `Stat::reparse_tag()`
  added to provide the Win32 file attributes and file reparse tag.
- `lstat()` sets the `S_IFLNK` bit in `st_mode` for symlinks. On
  Windows, there are other symlink-like things ("name surrogate reparse
  points") such as directory junctions and mountpoints. To identify
  these, the caller can check the reparse tag to identify a directory
  junction/mountpoint.
- We use Python's mapping of Win32 error codes to C errno.

[1]: https://github.com/python/cpython/blob/6086ae7fd4aeb4089282189673f9bd0cc33abf9b/Modules/posixmodule.c#L1884

Bail out on too hard Clang option -gen-cdb-fragment-path

Only reject -f(no-)color-diagnostics for known GCC compiler

61ce8c44 made it so that ccache rejects -f(no-)color-diagnostics early
for non-Clang compilers. This was needed to avoid false cache hits for
the GCC case, but it had the side effect of rejecting
-fcolor-diagnostics for unknown compilers as well, such as for a
compiler named c++ that in reality is clang++ (which actually accepts
-f(no-)color-diagnostics).

Fix this by simply doing the special case for GCC instead of non-Clang.
This is OK since the speculative handling of color diagnostics options
is only done for GCC and Clang, not for other compiler types.

Fixes #806.

Clean up slightly after #814

Upgrade to doctest 2.4.5

Upgrade to zstd 1.4.9

test: Print line number of failing assert (#814)

build: Don't enable ccache when building with MSVC (#813)

Fix "Debug option" test (#807)

doc: Fix formatting of debug_dir documentation

Enforce cpp2 mode on macOS if -g is given

Newer Clang versions on macOS apparently produce different debug
information when compiling preprocessed code.

As mentioned in issue #807.

ci: Fix build on Ubuntu 18.04

For some reason libzstd1-dev now has broken dependencies in GitLab’s
Ubuntu 18.04 environment. Fix this by installing libzstd-dev instead.

doc: Fix formatting of debug_dir documentation

Write debug log file in most argument processing error scenarios

When the debug mode is enabled, ccache writes the log to
<objectfile>.ccache-log, but that can only be done if the object file
location has been determined. If an unsupported compiler option is
detected, ccache exits early and may not yet have determined the output
object filename.

Fix this by parsing all compiler options, then determining the object
file location and only then return an error from the process_args
function with. This will in practice make the debug mode work for most
invocations. There are still edge cases where it won’t work or will be
potentially confusing, for instance these:

    ccache gcc -dumpspecs
    ccache gcc -c nonexistent.c
    ccache gcc -c foo.c bar.c

Naturally, no debug log file will be written in the first case. In the
second case no debug log file will be written either since ccache
doesn’t consider a nonexistent file to be an input file. In the third
case the debug log file will be written foo.o.ccache-log but not
bar.o.ccache-log.

As mentioned in issue #806.

Fix Util::read_file truncating files if size_hint is an underestimate (#808)

If the size_hint passed to read_file was an underestimate, or the
platform's `stat()` implementation gives an inaccurate file size (e.g.
MinGW) then `Util::read_file()` would only issue a single `read()` call
instead of reading the entire file.

Fixes #803.

Support building ccache with xlclang++ on AIX 7.2 (#805)

- Update of config.h.in to build with xlclang++ on AIX 7.2
- Little fixes in code chunks never built on usual platforms

Handle -frecord-gcc-switches correctly

-frecord-gcc-switches records the full command line in the object file,
so include the original command line in the hash as suggested by
Lawrence Chan.

Fixes #804.

doc: Fix markup of compiler type “other”

Support -fcolor-diagnostics passed to cc1 with -Xclang (#802)

Before this change `clang++ -Xclang -fcolor-diagnostics -c foo.cc`
would result in diagnostics without color if stderr was not a TTY.

Fixes #801.

StdAtomic.cmake: Probe atomic increment as well (#800)

On sparc there are 8-byte atomic loads and stores available in ISA
but not atomic increments. As a result linking fails as:

```
ld: src/libccache_lib.a(InodeCache.cpp.o):
    undefined reference to symbol '__atomic_fetch_add_8@@LIBATOMIC_1.0'
ld: sparc-unknown-linux-gnu/8.2.0/libatomic.so.1:
    error adding symbols: DSO missing from command line
```

The fix is to add increment into libatomic test.
tested on `sparc-unknown-linux-gnu` target.

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Tweak passing of magic bytes to please GitHub CodeQL

Convert trivial switch statement to if statement

Only dup2 stderr into $UNCACHED_ERR_FD for preprocessor/compiler

Ccache dup2s the stderr FD and publishes the resulting FD number in
$UNCACHED_ERR_FD for usage by e.g. distcc. This is done any executed
child process.

As noted by Sam Varshavchik on the ccache mailing list, this leads to an
unfortunate and complex problem in combination with GNU Make, LTO
linking and the Linux PTY driver:

    https://www.mail-archive.com/ccache@lists.samba.org/msg01516.html

Since UNCACHED_ERR_FD is only relevant when running the preprocessor or
compiler, let’s only dup2 stderr when executing those, i.e. not when
falling back to just running the wrapped command such as the linker.

Use existing CMake “message()” level

Add missing word in news item

Prepare for v4.2

Update news

Use full path to env program

Minor improvement of 68d8481c.