Add secondary HTTP storage

Fixes: #858

Remove dead code in cpp-httplib

See: https://github.com/yhirose/cpp-httplib/pull/965

Add cpp-httplib 0.9.0

from https://github.com/yhirose/cpp-httplib

Improve ssize_t typedefs for Windows platforms

Remove system.hpp, including what’s needed instead

This is the next step after a57f70eda32e99221de56f5499079b4f00dc2bc5.

Don’t fail “Collect testdir” job if there is no testdir to collect

Move READ_BUFFER_SIZE to config.h, adding a CCACHE_ prefix

Add util::split_path_list function and remove PATH_DELIM macro

Remove now mostly superfluous DIR_DELIM_CH macro

Update dockerfiles with supported distributions (#886)

Merge pull request #881 from gjasny/use-url-class

Require CMake 3.10 (#885)

Fixes #884.

Use URL class for URL parsing

Add CxxUrl v0.2

from https://github.com/chmike/CxxUrl

Globally define WIN32_LEAN_AND_MEAN (#882)

Fix CMake feature detection (#883)

When enabling CMake policy
<https://cmake.org/cmake/help/latest/policy/CMP0067.html> by either enabling it
directly or via a `cmake_minimum_required` of `3.8` or later, the
`test.inode_cache` test starts to fail.

This happens because this policy slightly changes the `CheckCSourceCompiles`
logic by passing-in any configured C-standard. The detection of the following
features now report absence:

    --- CMakeCache-old.txt 2021-07-05 15:50:25.698278961 +0200
    +++ CMakeCache-new.txt 2021-07-05 15:50:54.626397301 +0200
    @@ -657,7 +657,7 @@
     //Have function pthread_mutexattr_setpshared
     HAVE_PTHREAD_MUTEXATTR_SETPSHARED:INTERNAL=1
     //Test HAVE_PTHREAD_MUTEX_ROBUST
    -HAVE_PTHREAD_MUTEX_ROBUST:INTERNAL=1
    +HAVE_PTHREAD_MUTEX_ROBUST:INTERNAL=
     //Have include pwd.h
     HAVE_PWD_H:INTERNAL=1
     //Have function realpath
    @@ -675,9 +675,9 @@
     //Test HAVE_STRUCT_STATFS_F_FSTYPENAME
     HAVE_STRUCT_STATFS_F_FSTYPENAME:INTERNAL=
     //Test HAVE_STRUCT_STAT_ST_CTIM
    -HAVE_STRUCT_STAT_ST_CTIM:INTERNAL=1
    +HAVE_STRUCT_STAT_ST_CTIM:INTERNAL=
     //Test HAVE_STRUCT_STAT_ST_MTIM
    -HAVE_STRUCT_STAT_ST_MTIM:INTERNAL=1
    +HAVE_STRUCT_STAT_ST_MTIM:INTERNAL=
     //Have function syslog
     HAVE_SYSLOG:INTERNAL=1
     //Have include syslog.h

In case of `HAVE_PTHREAD_MUTEX_ROBUST` the now passed-in `-std=c99` does not
enable the required `__USE_XOPEN2K` extension:

    #ifdef __USE_XOPEN2K
    /* Robust mutex or not flags.  */
    enum
    {
      PTHREAD_MUTEX_STALLED,
      PTHREAD_MUTEX_STALLED_NP = PTHREAD_MUTEX_STALLED,
      PTHREAD_MUTEX_ROBUST,
      PTHREAD_MUTEX_ROBUST_NP = PTHREAD_MUTEX_ROBUST
    };
    #endif

To remedy the situation CMake now checks for those features within a C++
language context. In C++ those features seem to be available without enabling
any extra extensions.

It also makes the check more precise because all of the consumers are C++ (and
not C) compilation units.

Don’t collapse empty lines in rewrite_stderr_to_absolute_paths

Don’t collapse empty lines in Depfile::rewrite_paths

Add mode parameter to split_into_* and Tokenizer

Fix typo in Util::split_into_views doc string

Fix bug in debug_dir (CCACHE_DEBUGDIR)

The absolute path to the object file is not created correctly if the
object file doesn’t already exist.

Add util::to_absolute_path

Move is_absolute_path to util

Add magic file for identifying ccache files (#880)

Useful when working with streams from server.

doc: Mention “-” for standard input consistently

Add integration test for stats_log

Tweak stats_log documentation

Simplify format_stats_log implementation

Allow dumping stdin by giving - as path (#879)

Similar to other commands, such as tar.

Use generator expression for ccache location (#878)

With multi-config generators like Xcode the binary is stored
within an extra Debug / Release directory.

Tested with CMake 3.4.3

Merge pull request #873 from gjasny/fix-appleclang-detection

Fix source file suffix selection for libblake3

In the add_source_if_enabled function in
src/third_party/blake3/CMakeLists.txt, the suffix variable is unset on a
CMake reconfigure in an already configured build tree. This makes CMake
guess the extension and always choose “.c” on a reconfigure.

Fix this by always setting the suffix variable.

Allow one -Xarch_* option that matches -arch (#874)

Closes #871.

Default to clang compiler on macOS

Fix Apple Clang detection

Apple Clang, when called via `gcc` emits a `Configured with` line
on stderr which confuses the compiler detection. We just ignore
stderr for the `--version` query now.

Mark tests as skipped for unsupported compilers

Simplify header categorization rules

Use .clang-format regexes instead of comments to group system includes

Disable some clang-tidy checks that don’t contribute much

Remove unused function

Improve SecondaryStorage comments

Include $PWD in hash for -fprofile-generate with relative directory

For a relative profile directory D, GCC stores $PWD/D as part of the
profile filename in an object file generated with -fprofile-generate, so
we need to include the same information in the hash.

Fixes #872.

Add secondary file storage backend

Closes #857.

Implement configurations, API and framework for secondary storage

This introduces the possibility to add one or several secondary storage
backends to query after the primary cache storage. Note that cache
statistics counters will still be kept in the primary cache directory --
secondary storage backends only store cache results and manifests.

The API should now be ready enough to implement secondary storage
backends.

The framework is also ready enough for usage, but lacks two major things
that are still to be implemented:

1. Improved statistics handling. Up until now, ccache always increments
   exactly one statistics counter for each invocation (e.g. “hit”,
   “miss” or “some error”). Since I want to have separate statistics for
   primary and secondary storage, this model no longer works since an
   invocation can result in both a “primary miss” and a “secondary hit”.

2. Improved PrimaryStorage interface. The SecondaryStorage interface
   works with memory data, but PrimaryStorage, Result and Manifest still
   work with files at the API level. This means that if an invocation is
   a primary storage miss but a secondary storage hit, the data from
   secondary storage has to be written to a temporary file only to be
   read back into memory again by the Result/Manifest deserialization
   code.

Closes #855.
Closes #856.

Improve parsing of umask values

Add base parameter to Util::parse_unsigned

Correct documentation of Util::unlink_safe

Add util::percent_decode

Add util::split_once

Refactor main primary storage backend code into storage/primary

This is the code that deals with retrieving and storing cache entries.

Refactor config and context setup

Remove now superfluous std::make_unique shim

Add Tokenizer class

The class behaves like a collection and can be used in a range-based for
loop.

Revise include file order to work with new directory structure

Remove superfluous context instance in test case

Use single command line arg for /FI (#869)

CMake seems to interpret /FI and its argument as two separate options.
For instance, CMake de-duplicates arguments, leading any to non-first
/FI flag to be removed. This might be the reason why the option is not
honored with Visual Studio 16.10.2 / CMake 3.20.3.

Fix by combining /FI and its argument into a single command line option.

Add sloppy include_file_mtime to ivfsoverlay test (#868)

Add CCACHE_SLOPPINESS=include_file_mtime to ivfsoverlay test. This is
possibly due to me using my self-compiled clang since it does not fail
with the version of Clang that comes with Ubuntu 20.04.

Skip nvcc_ldir test with non-working nvcc (#867)

Add detection to nvcc_ldir of whether nvcc works with chosen host
compiler. For instance, nvcc aborts with

    #error -- unsupported clang version! clang version must be less than 9 and greater than 3.2

if the version of clang (or gcc) is too new. The test should be skipped in
this case.

Use some generic lambda expressions

Require C++14-compatible compiler to build ccache

Ccache 4.0 introduced a requirement on a C++11-compatible compiler. The
language version was primarily chosen to support CentOS 7.

The time has now come to bump to C++14, to among other things get access
to generic lambda expressions and improved constexpr functions. Another
side effect is to get usable support for std::regex due to requiring a
newer GCC than 4.8 which lacks such support.

Remove Ubuntu 16.04/Clang 3.8 build

It no longer works.

Explicitly select C++ when using -fcxx-modules (#861)

Typically, clang is able to auto-detect C++ files and switch to C++
mode, even when `argv[0]` is simply `clang` (without the `++`).

However, Nixpkgs provides `clang` as a wrapper script over the
underlying compiler binary, and only enables C++ standard library
include paths when it thinks it's being invoked as a C++ compiler:

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L28

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L54-L55

https://github.com/NixOS/nixpkgs/blob/961cae37edeb34b5dec8060e49e5abbde3af9c00/pkgs/build-support/cc-wrapper/cc-wrapper.sh#L135-L138

So for the benefit of less clever compiler toolchains which
can't always see that these invocations are using C++ mode,
we explicitly specify `-x c++` so they do the right thing.

Ignore CLion files (#862)

Don’t crash on relative PWD value

Even though PWD “shall represent an absolute pathname of the current
working directory”[1], we shouldn’t crash if a user sets it to a
relative path.

[1]: https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap08.html#tag_08_03

Fixes #860.

Improve architecture document

- framework -> core
- Describe source code directories in a section of their own.

Add stats log file, logging input file and result (#854)

Document the plan of changing naming conventions for namespaces

Namespaces are from now on planned to be in snake_case instead of
UpperCamelCase. This is of course entirely due to cosmetical reasons,
but I feel that it maps better to the upcoming changes in directory
structure where I don’t want camel-case directory names.

Document the new directory structure plan

See also #660 and #753.

Remove now mostly obsolete note about transitioning to C++

Test Clang 11 in CI

Remove Ubuntu 16.04 from CI

Ubuntu 16.04 has reached end of life already and GitHub Actions will
drop support for it soon anyway.

Refactor away Result::Writer knowledge about counter_updates

Add nonstd::expected 0.5.0

Silence stray printout from "-P -c" test case

Add missing MTR_BEGIN call for file/file_put

doc: Switch to common AsciiDoc heading syntax

Include config.h via command line instead of via system.h

This makes the definitions in config.h available to all source code,
including third_party_lib. It’s also a first step towards not having to
include system.hpp and its libc headers from all files.

Improve defines for third_party_lib

- Don’t filter out useful warnings like warning about implicit function
  declarations.
- Apply definitions in config.h to third party source code instead of
  passing feature defines as a special case.

Enable minitrace tracing and stop it from crashing (#852)

Need to make sure to pass the -DMTR_ENABLED also when compiling
the library and not only in the ccache internal config.h file.

When setting a standard (like C99), also need to define features.
The "strdup" function requires macro: _POSIX_C_SOURCE >= 200809L

Add support for clang's --config option (#850)

This is more or less equivalent to gcc's --specs option except that the
contents of the file have different syntaxes.

Upgrade to zstd 1.5.0

Fix typo in NEWS

Fix typo in NEWS

Update NEWS

Re-add clang-format off/on for formatting bug

Improve checksumming of downloaded clang-format binary

Update authors

Update .mailmap

Fix documentation of ivfsoverlay sloppiness

Quote CMake variables expansions in `CIBuildType.cmake`

This avoids CMake errors when `${CMAKE_C_FLAGS_CI}` or
`${CMAKE_CXX_FLAGS_CI}` expands to the empty string.

Fixes #846.

Tweak comment

Revert "ci: Fix build on Ubuntu 16.04"

This reverts commit aa7fd27609bea5ec78fd85afaec297d028119ee0.

GitLab has apparently reverted its changes to the Ubuntu 16.04
environment again.

Include object path in input hash for -fprofile-arcs (--coverage)

The object file contains a .gcda path based on the object file path.

Fixes #845.

Improve comment

source formatting: Don’t bin pack constructor initializer lists

Support `-specs file.specs` and `--specs file.specs` (#843)

* Support `-specs file.specs` and `--specs file.specs`

ccache currently supports specs files supplied via `-specs=file.specs`
and `--specs=file.specs`, but using a space instead of an `=` will cause
ccache to error out on the subsequent .specs file with
"unsupported source language".

Add support for `-specs file.specs` and `--specs file.specs`.

CMake: make build of documentation optional (#842)

So we don't need to support corner cases as for example one fixed in
commit f6202db308e3 ("doc/MANUAL.adoc: Don't use non-ASCII quotes
(#761)") when the documentation is actually not needed at all as ccache
is used as a build tool only.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Fix detection of pthread features (#840)

Add the -pthread flag to the compiler when building the test
program. Otherwise the compiler will build with wrong defines.

Fixes failing unit tests in Ubuntu 18.04.

Ignore -ivfsoverlay parameter (#839)

Co-authored-by: Peter Steinberger <steipete@gmail.com>

ci: Fix build on Ubuntu 16.04

For some reason libzstd1-dev now has broken dependencies in GitLab’s
Ubuntu 16.04 environment. Fix this by installing libzstd-dev instead.

See also 59202ffbe57cc81679c02abafd2222819e4bde41.