Use URL class for URL parsing

Add CxxUrl v0.2

from https://github.com/chmike/CxxUrl

Globally define WIN32_LEAN_AND_MEAN (#882)

Fix CMake feature detection (#883)

When enabling CMake policy
<https://cmake.org/cmake/help/latest/policy/CMP0067.html> by either enabling it
directly or via a `cmake_minimum_required` of `3.8` or later, the
`test.inode_cache` test starts to fail.

This happens because this policy slightly changes the `CheckCSourceCompiles`
logic by passing-in any configured C-standard. The detection of the following
features now report absence:

    --- CMakeCache-old.txt 2021-07-05 15:50:25.698278961 +0200
    +++ CMakeCache-new.txt 2021-07-05 15:50:54.626397301 +0200
    @@ -657,7 +657,7 @@
     //Have function pthread_mutexattr_setpshared
     HAVE_PTHREAD_MUTEXATTR_SETPSHARED:INTERNAL=1
     //Test HAVE_PTHREAD_MUTEX_ROBUST
    -HAVE_PTHREAD_MUTEX_ROBUST:INTERNAL=1
    +HAVE_PTHREAD_MUTEX_ROBUST:INTERNAL=
     //Have include pwd.h
     HAVE_PWD_H:INTERNAL=1
     //Have function realpath
    @@ -675,9 +675,9 @@
     //Test HAVE_STRUCT_STATFS_F_FSTYPENAME
     HAVE_STRUCT_STATFS_F_FSTYPENAME:INTERNAL=
     //Test HAVE_STRUCT_STAT_ST_CTIM
    -HAVE_STRUCT_STAT_ST_CTIM:INTERNAL=1
    +HAVE_STRUCT_STAT_ST_CTIM:INTERNAL=
     //Test HAVE_STRUCT_STAT_ST_MTIM
    -HAVE_STRUCT_STAT_ST_MTIM:INTERNAL=1
    +HAVE_STRUCT_STAT_ST_MTIM:INTERNAL=
     //Have function syslog
     HAVE_SYSLOG:INTERNAL=1
     //Have include syslog.h

In case of `HAVE_PTHREAD_MUTEX_ROBUST` the now passed-in `-std=c99` does not
enable the required `__USE_XOPEN2K` extension:

    #ifdef __USE_XOPEN2K
    /* Robust mutex or not flags.  */
    enum
    {
      PTHREAD_MUTEX_STALLED,
      PTHREAD_MUTEX_STALLED_NP = PTHREAD_MUTEX_STALLED,
      PTHREAD_MUTEX_ROBUST,
      PTHREAD_MUTEX_ROBUST_NP = PTHREAD_MUTEX_ROBUST
    };
    #endif

To remedy the situation CMake now checks for those features within a C++
language context. In C++ those features seem to be available without enabling
any extra extensions.

It also makes the check more precise because all of the consumers are C++ (and
not C) compilation units.

Don’t collapse empty lines in rewrite_stderr_to_absolute_paths

Don’t collapse empty lines in Depfile::rewrite_paths

Add mode parameter to split_into_* and Tokenizer

Fix typo in Util::split_into_views doc string

Fix bug in debug_dir (CCACHE_DEBUGDIR)

The absolute path to the object file is not created correctly if the
object file doesn’t already exist.

Add util::to_absolute_path

Move is_absolute_path to util

Add magic file for identifying ccache files (#880)

Useful when working with streams from server.

doc: Mention “-” for standard input consistently

Add integration test for stats_log

Tweak stats_log documentation

Simplify format_stats_log implementation

Allow dumping stdin by giving - as path (#879)

Similar to other commands, such as tar.

Use generator expression for ccache location (#878)

With multi-config generators like Xcode the binary is stored
within an extra Debug / Release directory.

Tested with CMake 3.4.3

Merge pull request #873 from gjasny/fix-appleclang-detection

Fix source file suffix selection for libblake3

In the add_source_if_enabled function in
src/third_party/blake3/CMakeLists.txt, the suffix variable is unset on a
CMake reconfigure in an already configured build tree. This makes CMake
guess the extension and always choose “.c” on a reconfigure.

Fix this by always setting the suffix variable.

Allow one -Xarch_* option that matches -arch (#874)

Closes #871.

Default to clang compiler on macOS

Fix Apple Clang detection

Apple Clang, when called via `gcc` emits a `Configured with` line
on stderr which confuses the compiler detection. We just ignore
stderr for the `--version` query now.

Mark tests as skipped for unsupported compilers

Simplify header categorization rules

Use .clang-format regexes instead of comments to group system includes

Disable some clang-tidy checks that don’t contribute much

Remove unused function

Improve SecondaryStorage comments

Include $PWD in hash for -fprofile-generate with relative directory

For a relative profile directory D, GCC stores $PWD/D as part of the
profile filename in an object file generated with -fprofile-generate, so
we need to include the same information in the hash.

Fixes #872.

Add secondary file storage backend

Closes #857.

Implement configurations, API and framework for secondary storage

This introduces the possibility to add one or several secondary storage
backends to query after the primary cache storage. Note that cache
statistics counters will still be kept in the primary cache directory --
secondary storage backends only store cache results and manifests.

The API should now be ready enough to implement secondary storage
backends.

The framework is also ready enough for usage, but lacks two major things
that are still to be implemented:

1. Improved statistics handling. Up until now, ccache always increments
   exactly one statistics counter for each invocation (e.g. “hit”,
   “miss” or “some error”). Since I want to have separate statistics for
   primary and secondary storage, this model no longer works since an
   invocation can result in both a “primary miss” and a “secondary hit”.

2. Improved PrimaryStorage interface. The SecondaryStorage interface
   works with memory data, but PrimaryStorage, Result and Manifest still
   work with files at the API level. This means that if an invocation is
   a primary storage miss but a secondary storage hit, the data from
   secondary storage has to be written to a temporary file only to be
   read back into memory again by the Result/Manifest deserialization
   code.

Closes #855.
Closes #856.

Improve parsing of umask values

Add base parameter to Util::parse_unsigned

Correct documentation of Util::unlink_safe

Add util::percent_decode

Add util::split_once

Refactor main primary storage backend code into storage/primary

This is the code that deals with retrieving and storing cache entries.

Refactor config and context setup

Remove now superfluous std::make_unique shim

Add Tokenizer class

The class behaves like a collection and can be used in a range-based for
loop.

Revise include file order to work with new directory structure

Remove superfluous context instance in test case

Use single command line arg for /FI (#869)

CMake seems to interpret /FI and its argument as two separate options.
For instance, CMake de-duplicates arguments, leading any to non-first
/FI flag to be removed. This might be the reason why the option is not
honored with Visual Studio 16.10.2 / CMake 3.20.3.

Fix by combining /FI and its argument into a single command line option.

Add sloppy include_file_mtime to ivfsoverlay test (#868)

Add CCACHE_SLOPPINESS=include_file_mtime to ivfsoverlay test. This is
possibly due to me using my self-compiled clang since it does not fail
with the version of Clang that comes with Ubuntu 20.04.

Skip nvcc_ldir test with non-working nvcc (#867)

Add detection to nvcc_ldir of whether nvcc works with chosen host
compiler. For instance, nvcc aborts with

    #error -- unsupported clang version! clang version must be less than 9 and greater than 3.2

if the version of clang (or gcc) is too new. The test should be skipped in
this case.

Use some generic lambda expressions

Require C++14-compatible compiler to build ccache

Ccache 4.0 introduced a requirement on a C++11-compatible compiler. The
language version was primarily chosen to support CentOS 7.

The time has now come to bump to C++14, to among other things get access
to generic lambda expressions and improved constexpr functions. Another
side effect is to get usable support for std::regex due to requiring a
newer GCC than 4.8 which lacks such support.

Remove Ubuntu 16.04/Clang 3.8 build

It no longer works.

Explicitly select C++ when using -fcxx-modules (#861)

Typically, clang is able to auto-detect C++ files and switch to C++
mode, even when `argv[0]` is simply `clang` (without the `++`).

However, Nixpkgs provides `clang` as a wrapper script over the
underlying compiler binary, and only enables C++ standard library
include paths when it thinks it's being invoked as a C++ compiler:

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L28

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L54-L55

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L135-L138

So for the benefit of less clever compiler toolchains which
can't always see that these invocations are using C++ mode,
we explicitly specify `-x c++` so they do the right thing.

Ignore CLion files (#862)

Don’t crash on relative PWD value

Even though PWD “shall represent an absolute pathname of the current
working directory”[1], we shouldn’t crash if a user sets it to a
relative path.

[1]: https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap08.html#tag_08_03

Fixes #860.

Improve architecture document

- framework -> core
- Describe source code directories in a section of their own.

Add stats log file, logging input file and result (#854)

Document the plan of changing naming conventions for namespaces

Namespaces are from now on planned to be in snake_case instead of
UpperCamelCase. This is of course entirely due to cosmetical reasons,
but I feel that it maps better to the upcoming changes in directory
structure where I don’t want camel-case directory names.

Document the new directory structure plan

See also #660 and #753.

Remove now mostly obsolete note about transitioning to C++

Test Clang 11 in CI

Remove Ubuntu 16.04 from CI

Ubuntu 16.04 has reached end of life already and GitHub Actions will
drop support for it soon anyway.

Refactor away Result::Writer knowledge about counter_updates

Add nonstd::expected 0.5.0

Silence stray printout from "-P -c" test case

Add missing MTR_BEGIN call for file/file_put

doc: Switch to common AsciiDoc heading syntax

Include config.h via command line instead of via system.h

This makes the definitions in config.h available to all source code,
including third_party_lib. It’s also a first step towards not having to
include system.hpp and its libc headers from all files.

Improve defines for third_party_lib

- Don’t filter out useful warnings like warning about implicit function
  declarations.
- Apply definitions in config.h to third party source code instead of
  passing feature defines as a special case.

Enable minitrace tracing and stop it from crashing (#852)

Need to make sure to pass the -DMTR_ENABLED also when compiling
the library and not only in the ccache internal config.h file.

When setting a standard (like C99), also need to define features.
The "strdup" function requires macro: _POSIX_C_SOURCE >= 200809L

Add support for clang's --config option (#850)

This is more or less equivalent to gcc's --specs option except that the
contents of the file have different syntaxes.

Upgrade to zstd 1.5.0

Fix typo in NEWS

Fix typo in NEWS

Update NEWS

Re-add clang-format off/on for formatting bug

Improve checksumming of downloaded clang-format binary

Update authors

Update .mailmap

Fix documentation of ivfsoverlay sloppiness

Quote CMake variables expansions in `CIBuildType.cmake`

This avoids CMake errors when `${CMAKE_C_FLAGS_CI}` or
`${CMAKE_CXX_FLAGS_CI}` expands to the empty string.

Fixes #846.

Tweak comment

Revert "ci: Fix build on Ubuntu 16.04"

This reverts commit aa7fd27609bea5ec78fd85afaec297d028119ee0.

GitLab has apparently reverted its changes to the Ubuntu 16.04
environment again.

Include object path in input hash for -fprofile-arcs (--coverage)

The object file contains a .gcda path based on the object file path.

Fixes #845.

Improve comment

source formatting: Don’t bin pack constructor initializer lists

Support `-specs file.specs` and `--specs file.specs` (#843)

* Support `-specs file.specs` and `--specs file.specs`

ccache currently supports specs files supplied via `-specs=file.specs`
and `--specs=file.specs`, but using a space instead of an `=` will cause
ccache to error out on the subsequent .specs file with
"unsupported source language".

Add support for `-specs file.specs` and `--specs file.specs`.

CMake: make build of documentation optional (#842)

So we don't need to support corner cases as for example one fixed in
commit f6202db308e3 ("doc/MANUAL.adoc: Don't use non-ASCII quotes
(#761)") when the documentation is actually not needed at all as ccache
is used as a build tool only.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Fix detection of pthread features (#840)

Add the -pthread flag to the compiler when building the test
program. Otherwise the compiler will build with wrong defines.

Fixes failing unit tests in Ubuntu 18.04.

Ignore -ivfsoverlay parameter (#839)

Co-authored-by: Peter Steinberger <steipete@gmail.com>

ci: Fix build on Ubuntu 16.04

For some reason libzstd1-dev now has broken dependencies in GitLab’s
Ubuntu 16.04 environment. Fix this by installing libzstd-dev instead.

See also 59202ffbe57cc81679c02abafd2222819e4bde41.

Fix AsciiDoc markup in NEWS

Canonicalize header path earlier to improve performance (#838)

The ctx.included_files.find(path) check was done before removing the "./" prefix
from the path, leading to decreased performance for such headers since the check
would always fail for such paths.

Improve statistics for “-P -E”

“-P” is currently considered too hard, so when it’s used in conjunction
with “-E” the “unsupported compiler option” statistics counter is
increased since “-P” is found before “-E” on the command line.

Improve this by not passing “-P” to the preprocessor so that’s it’s in
effect supported. “-P -E” will then instead bail out on “-E”, increasing
“called for preprocessing” instead.

Closes #812.

Disable split-dwarf code paths when outputting to /dev/null

This avoids an attempt to delete /dev/null.dwo, which is harmless but
apparently flagged by the sandboxing feature of Gentoo’s build system.

Fixes #833.

Use Clang-Format executable from muttleyxd/clang-tools-static-binaries

misc/format-files now executes misc/clang-format, which works like this:

1. If environment variable CLANG_FORMAT is set, execute $CLANG_FORMAT.
2. Otherwise, if <ccache-top-dir>/misc/.clang-format-exe exists, execute
   that program.
3. Otherwise, download a statically linked clang-format executable,
   verify its integrity, place it in
   <ccache-top-dir>/misc/.clang-format-exe and execute it.

This makes it possible for us to lock Clang-Format to version 10 and
remove most “// clang-format off/on” comments.

Merge pull request #832 from nickhutchinson/win-stat-pending-delete

Stat: treat pending deletes as missing files on Windows

Win32 functions like `CreateFile` return `ERROR_ACCESS_DENIED` when a
file is in the process of being deleted, which gets mapped to an errno
of `EACCES`. For the purposes of `Stat::stat` and `Stat::lstat`, it's
more useful to treat this as a missing file and mapping this to an errno
of `ENOENT`.

Fix clang-tidy job

Explicitly specify versions of clang, clang++ and clang-tidy so we don't
run with mismatched versions.

GitHub seems to have recently bumped the version of clang installed in
its Ubuntu 18.04 runners to version 9, and aliased it to
`/usr/bin/clang` / `/usr/bin/clang++`. But running `apt-get install
clang-tidy` would install an older version of clang-tidy from LLVM _6.0_
at `/usr/bin/clang-tidy`.

See: https://github.com/actions/virtual-environments/blob/main/images/linux/Ubuntu1804-README.md

Prepare for v4.2.1

Update authors

Simplify linker probing

Fix probing of faster linker when cross compiling