Explicitly default use_syslog to false for clarity

Refactor printing of compression statistics

Convert primary storage to a public member of storage::Storage

Move/split statistics functionality into core and storage::primary

- The Counters class has been moved to core::StatisticsCounters.
- Functionality in the Statistics namespace has been split into:
    - core::StatsLog: Knows about “stats log” format.
    - core::Statistics: Knows about properties of statistics fields and
      how to present them.
    - storage::primary::PrimaryStorage: Knows how to store and update
      statistics in the primary storage backend.
    - storage::primary::StatsFile: Knows about the “stats file” format.

Move Statistic to core

Convert Sloppiness enum to type-safe class

Move code for cleanup, compressing and similar to storage/primary

Rename storage::CacheEntryWriter to EntryWriter

Move compression classes to compression directory/namespace

Convert nonstd::string_view to std::string using constructor

to_string doesn’t exist in the std::string_view form, so use the
std::string constructor to make a future conversion to newer C++
versions easier.

Tweak language

Unix systems use the name “symbolic link” or “symlink”, not “soft link”.

test: Use test_failed_internal in inode_cache suite

Using test_failed_internal makes line numbers in reported failures
correct.

Move exceptions.hpp to core

Derive ccache featues from storage registry (#903)

HTTP storage: Fix crash when not specifying port

Url::port(const std::string&) apparently doesn’t accept an empty string
as the port (even though Url::port() can return an empty string), so
work around that.

Move Util::get_path_in_cache to PrimaryStorage

PrimaryStorage is now the sole user of get_path_in_cache.

Store secondary storage hits in primary storage

Improve secondary storage framework

- Let the secondary storage framework create backend instances on demand and
  track their failure state - the framework will stop calling a backend after a
  connection error/timeout. This makes it possible for a backend to create a
  connection in the constructor if wanted.
- Added API and implementation for redacting secrets in secondary storage URLs
  and attributes. Passwords in URLs are now redacted in debug logs but not for
  "ccache -p" and "ccache -k secondary_storage".
- Adapted existing storage backends to the new APIs. In particular, the Redis
  backend could be simplified.
- Moved the SecondaryStorage class to src/storage/secondary, analogous to
  PrimaryStorage which is in src/storage/primary.

doc: Mention file URLs without double slash

Remove redundant _utils suffix for util headers

Add util::join function

Split util headers into interface and implementation sections

Move parse_signed and parse_unsigned to util

Add util::value_or_throw function

Move starts_with and ends_with to util

Move strip_whitespace to util

Sort Config::set_* methods

Use std::this_thread::sleep_for instead of usleep

For portability.

HTTP storage: Fix IPv6 address handling (#898)

Fix test-all-systems (#901)

Expose list of enabled features (#897)

HTTP storage: Implement timeout support (#896)

Closes #888.

HTTP storage: Implement authentication support (#895)

Closes #887.

Add CII Best Practices badge

Mention that test cases are preferred for contributed code

Only run redis test if backend is enabled (#891)

Add test for Redis storage with password

Remove read-only tests of HTTP and Redis storage backends

The “read-only” tests in secondary_http and secondary_redis were
inspired by the “read-only” test in secondary_file. However, that test
actually verifies the secondary storage *framework*, not the storage
backend itself, so it’s enough to just do it in secondary_file.

Make secondary_http and secondary_redis tests independent

Instead of starting an HTTP or Redis server that lives for the duration
of the test suite, start a new one for each test case. This makes tests
more independent and also opens up for future testing of e.g. different
ports and authentication modes by allowing different server
configurations for each test case.

test: Fix secondary_http suite for test/run called with relative path

Implement partial support for Redis provisional URI scheme

Reference: https://www.iana.org/assignments/uri-schemes/prov/redis

Supported: Username, password, host, port and db number. Not supported:
connection parameters.

This also drops support for Unix sockets.

Simplify Redis reply object management

Touch up Redis storage code slightly

Note: Unlike atoi, std::stoi throws an exception on conversion error so
use Util::parse_unsigned instead which throws an exception that is
caught correctly.

ci: Extract common package list to a variable

Add optional Redis secondary storage backend (#875)

Touch up secondary storage code slightly

Move is_full_path to util

Merge pull request #676 from gjasny/httpcache-backend

Add secondary HTTP storage.

Add secondary HTTP storage

Fixes: #858

Remove dead code in cpp-httplib

See: https://github.com/yhirose/cpp-httplib/pull/965

Add cpp-httplib 0.9.0

from https://github.com/yhirose/cpp-httplib

Improve ssize_t typedefs for Windows platforms

Remove system.hpp, including what’s needed instead

This is the next step after a57f70eda32e99221de56f5499079b4f00dc2bc5.

Don’t fail “Collect testdir” job if there is no testdir to collect

Move READ_BUFFER_SIZE to config.h, adding a CCACHE_ prefix

Add util::split_path_list function and remove PATH_DELIM macro

Remove now mostly superfluous DIR_DELIM_CH macro

Update dockerfiles with supported distributions (#886)

Merge pull request #881 from gjasny/use-url-class

Require CMake 3.10 (#885)

Fixes #884.

Use URL class for URL parsing

Add CxxUrl v0.2

from https://github.com/chmike/CxxUrl

Globally define WIN32_LEAN_AND_MEAN (#882)

Fix CMake feature detection (#883)

When enabling CMake policy
<https://cmake.org/cmake/help/latest/policy/CMP0067.html> by either enabling it
directly or via a `cmake_minimum_required` of `3.8` or later, the
`test.inode_cache` test starts to fail.

This happens because this policy slightly changes the `CheckCSourceCompiles`
logic by passing-in any configured C-standard. The detection of the following
features now report absence:

    --- CMakeCache-old.txt 2021-07-05 15:50:25.698278961 +0200
    +++ CMakeCache-new.txt 2021-07-05 15:50:54.626397301 +0200
    @@ -657,7 +657,7 @@
     //Have function pthread_mutexattr_setpshared
     HAVE_PTHREAD_MUTEXATTR_SETPSHARED:INTERNAL=1
     //Test HAVE_PTHREAD_MUTEX_ROBUST
    -HAVE_PTHREAD_MUTEX_ROBUST:INTERNAL=1
    +HAVE_PTHREAD_MUTEX_ROBUST:INTERNAL=
     //Have include pwd.h
     HAVE_PWD_H:INTERNAL=1
     //Have function realpath
    @@ -675,9 +675,9 @@
     //Test HAVE_STRUCT_STATFS_F_FSTYPENAME
     HAVE_STRUCT_STATFS_F_FSTYPENAME:INTERNAL=
     //Test HAVE_STRUCT_STAT_ST_CTIM
    -HAVE_STRUCT_STAT_ST_CTIM:INTERNAL=1
    +HAVE_STRUCT_STAT_ST_CTIM:INTERNAL=
     //Test HAVE_STRUCT_STAT_ST_MTIM
    -HAVE_STRUCT_STAT_ST_MTIM:INTERNAL=1
    +HAVE_STRUCT_STAT_ST_MTIM:INTERNAL=
     //Have function syslog
     HAVE_SYSLOG:INTERNAL=1
     //Have include syslog.h

In case of `HAVE_PTHREAD_MUTEX_ROBUST` the now passed-in `-std=c99` does not
enable the required `__USE_XOPEN2K` extension:

    #ifdef __USE_XOPEN2K
    /* Robust mutex or not flags.  */
    enum
    {
      PTHREAD_MUTEX_STALLED,
      PTHREAD_MUTEX_STALLED_NP = PTHREAD_MUTEX_STALLED,
      PTHREAD_MUTEX_ROBUST,
      PTHREAD_MUTEX_ROBUST_NP = PTHREAD_MUTEX_ROBUST
    };
    #endif

To remedy the situation CMake now checks for those features within a C++
language context. In C++ those features seem to be available without enabling
any extra extensions.

It also makes the check more precise because all of the consumers are C++ (and
not C) compilation units.

Don’t collapse empty lines in rewrite_stderr_to_absolute_paths

Don’t collapse empty lines in Depfile::rewrite_paths

Add mode parameter to split_into_* and Tokenizer

Fix typo in Util::split_into_views doc string

Fix bug in debug_dir (CCACHE_DEBUGDIR)

The absolute path to the object file is not created correctly if the
object file doesn’t already exist.

Add util::to_absolute_path

Move is_absolute_path to util

Add magic file for identifying ccache files (#880)

Useful when working with streams from server.

doc: Mention “-” for standard input consistently

Add integration test for stats_log

Tweak stats_log documentation

Simplify format_stats_log implementation

Allow dumping stdin by giving - as path (#879)

Similar to other commands, such as tar.

Use generator expression for ccache location (#878)

With multi-config generators like Xcode the binary is stored
within an extra Debug / Release directory.

Tested with CMake 3.4.3

Merge pull request #873 from gjasny/fix-appleclang-detection

Fix source file suffix selection for libblake3

In the add_source_if_enabled function in
src/third_party/blake3/CMakeLists.txt, the suffix variable is unset on a
CMake reconfigure in an already configured build tree. This makes CMake
guess the extension and always choose “.c” on a reconfigure.

Fix this by always setting the suffix variable.

Allow one -Xarch_* option that matches -arch (#874)

Closes #871.

Default to clang compiler on macOS

Fix Apple Clang detection

Apple Clang, when called via `gcc` emits a `Configured with` line
on stderr which confuses the compiler detection. We just ignore
stderr for the `--version` query now.

Mark tests as skipped for unsupported compilers

Simplify header categorization rules

Use .clang-format regexes instead of comments to group system includes

Disable some clang-tidy checks that don’t contribute much

Remove unused function

Improve SecondaryStorage comments

Include $PWD in hash for -fprofile-generate with relative directory

For a relative profile directory D, GCC stores $PWD/D as part of the
profile filename in an object file generated with -fprofile-generate, so
we need to include the same information in the hash.

Fixes #872.

Add secondary file storage backend

Closes #857.

Implement configurations, API and framework for secondary storage

This introduces the possibility to add one or several secondary storage
backends to query after the primary cache storage. Note that cache
statistics counters will still be kept in the primary cache directory --
secondary storage backends only store cache results and manifests.

The API should now be ready enough to implement secondary storage
backends.

The framework is also ready enough for usage, but lacks two major things
that are still to be implemented:

1. Improved statistics handling. Up until now, ccache always increments
   exactly one statistics counter for each invocation (e.g. “hit”,
   “miss” or “some error”). Since I want to have separate statistics for
   primary and secondary storage, this model no longer works since an
   invocation can result in both a “primary miss” and a “secondary hit”.

2. Improved PrimaryStorage interface. The SecondaryStorage interface
   works with memory data, but PrimaryStorage, Result and Manifest still
   work with files at the API level. This means that if an invocation is
   a primary storage miss but a secondary storage hit, the data from
   secondary storage has to be written to a temporary file only to be
   read back into memory again by the Result/Manifest deserialization
   code.

Closes #855.
Closes #856.

Improve parsing of umask values

Add base parameter to Util::parse_unsigned

Correct documentation of Util::unlink_safe

Add util::percent_decode

Add util::split_once

Refactor main primary storage backend code into storage/primary

This is the code that deals with retrieving and storing cache entries.

Refactor config and context setup

Remove now superfluous std::make_unique shim