feat: Download dependencies from the Internet when unavailable (#1112)

Change the behavior of ZSTD_FROM_INTERNET and HIREDIS_FROM_INTERNET to
always be on and only come into affect when the package is not found on
the system by normal means.

Also use the cmake standard module FetchContent for the
download/checksum/unpack logic.

Signed-off-by: Rafael Kitover <rkitover@gmail.com>

fix: Avoid false positive cache hits for __asm__(".incbin" " \"file\"")

Regression in #983.

Fixes #1120.

feat: Add download-redis script matching the upload-redis (#1111)

fix(file-storage): Remove duplicate backslash from directory

ci: Add VS2022 and MSBuild to Windows CI runners (#1108)

feat(file-storage): Support server name in URL on Windows

fix: Avoid false success for -fcolor-diagnostics probe with GCC

Ccache will produce a false hit in the following scenario, if "cc" is
GCC without being a symlink to "gcc":

  1. ccache cc -c example.c                      # adds a cache entry
  2. ccache cc -c example.c -fcolor-diagnostics  # unexpectedly succeeds

(Most major Linux distributions install cc as a symlink to gcc, and then
the problem doesn't show up since ccache then is able to guess that the
compiler is GCC.)

This bug was introduced by [1] which tried to make yet another tweak of
the color diagnostics guessing/probing by no longer rejecting
-fcolor-diagnostics for an unknown compiler, based on the assumption
that the probing call (speculatively adding -fdiagnostics-color) is only
made when we have guessed a GCC compiler. Unfortunately, this broke the
fix in [2] when the compiler is unknown.

All of this is inherently brittle and I don't see any good way to make
it better with the current compiler guessing approach and adding options
speculatively. The cure is to start doing proper compiler identification
instead (#958). Until that is done, the only reasonable fix is to avoid
doing anything related to color diagnostics flags when the compiler is
unknown. This means that an unknown compiler from now on won't produce
colors when used via ccache even if the compiler actually is GCC or
Clang.

[1]: 97a40af49f56e4be2db5e4318d8131e937bd5598
[2]: 61ce8c44c5b1da0be7a8d10c014f1a85b7967433

Closes #1116.

feat: Add support for GCC -fprofile-abs-path option

Note: -fprofile-abs-path makes the compiler include absolute paths based
on actual CWD in the .gcno file. We therefore need to include the actual
CWD in the hash in order not to get false positive cache hits. To opt
out of this, set "gcno_cwd" sloppiness.

Closes #1060.

refactor: Improve formatting of test_lockfile.cpp

test: Simplify secondary_redis_unix tests

chore: Improve Redis log and exception message

refactor: Simplify Redis URL parameter parsing

doc: Improve description of Redis URLs

fix: Handle more cases of invalid secondary storage URLs

feat: Support Redis over unix socket (#1064)

build: Fix FTBFS with not yet released GCC 13

Reference: https://gcc.gnu.org/gcc-13/porting_to.html#header-dep-changes

Fixes #1105.

fix: Don't display max size in ccache -s if it's 0 (= unlimited)

enhance: Improve lock file implementation

This commit improves brings two improvements to the lock file
implementation:

1. Support for long-lived locks.
2. Support for non-blocking lock acquisition.

There are now two types of lock file classes: ShortLivedLockFile and
LongLivedLockFile. On Windows the implementations are identical. On
other systems, LongLivedLockFile creates a separate "alive file" whose
mtime will be updated regularly by a helper thread until the lock is
released. This makes it possible for another process to wait for the
lock indefinitely but also to know then a lock is stale and can be
broken. The ShortLivedLockFile class works like the lock file class used
to work before: it considers a lock stale after waiting for two seconds
and noticing that the symlink target has not changed during that time.
ShortLivedLockFile is to be used when the lock is expected to be held
for a very short time so that it's a waste of resources to start a
helper thread to keep the lock alive.

On some systems it would be possible to update mtime of the symlink
itself instead of a separate file, but that does not seem to be portable
enough.

Also worth mentioning is that the reason to not use proper fcntl/flock
locks on non-Windows systems is to continue supporting a cache directory
on NFS since file locks on NFS don't have a good track record.

test: Add program for manually testing the lock file implementation

enhance: Fall back to utimes(2) if utimensat(2) is unavailable

fix: Remove AsciiDoc markup from help text of --trim-dir

feat: Let -s/--show-stats show cleanups counter with verbosity 2

bump: Upgrade to nonstd::expected 0.6.1

feat: Add support for Intel compiler on Windows (#1100)

refactor: Remove now unneeded defines of nodiscard and maybe_unused

refactor: Use [[fallthrough]] attribute

refactor: Use structured binding declarations

refactor: Use uppercase literal suffixes

Clang-Analyzer prefers it that way.

refactor: Remove some now unnecessary static_assert messages

refactor: Use std::clamp

ci: Run CodeQL on Ubuntu 20.04

fix: Use a cleanup stamp instead of directory timestamp for cleanup

In order to know when to clean up the temporary directory, ccache checks
mtime of $CCACHE_DIR and updates it to "now" on cleanup. This doesn't
work well when the configuration file is modified often since that also
updates the same mtime.

Fix this by using a separate cleanup stamp file instead.

fix: Clean up temporary dir if it's left the default

Cleanup of the temporary directory is done if it is $CCACHE_DIR/tmp,
which used to be the default until [1] where the default was changed to
/run/user/$UID/ccache-tmp. Improve this so that cleanup happens if the
temporary directory is equal to the default regardless of the default.

[1]: 213d9883a0c3944749f8512eeb784d8572ad8d91

bump: Upgrade to doctest 2.4.9

docs: Mention that mtime is used for LRU cleanup

Closes #1095.

chore: Fix typo in comment about MSVC object files

build: Fix build with newer MSVC 2022 versions (#1093)

feat: Include timestamp in per-object debug filenames

Including a timestamp in the filenames makes it easier to compare two
builds without having to save previous debug files before the second
build. It also makes sure debug files won't be overwritten if an object
file is compiled several times during one build.

test: Avoid warning when running inode_cache in isolation

chore: Fix spelling

feat: Support masquerading as a compiler via copy or hard link

Setting up ccache to masquerade as a compiler has always meant using
symbolic links, but there is no technical reason why that has to be the
case. This commit adds support for masquerading via a copy or hard link
of the ccache executable as well. This is mostly useful on platforms or
file systems where symbolic links are not supported.

feat: Set CCACHE_DISABLE when calling compiler

If ccache for some reason executes a compiler that in turn calls ccache
then ccache will be run twice (and will potentially store two different
result in the cache since the compiler identications differ), which is
not very useful. This could for instance happen if the compiler is a
wrapper script that in turn calls "ccache $compiler ...".

Improve this by setting CCACHE_DISABLE when executing the compiler. Any
subsequent ccache invocations will then fall back to running the real
compiler.

fix: Add and use Util::{get,set}_umask functions

Using

    mode_t mask = umask(0);
    umask(mask);

to retrieve the current umask isn't thread-safe. This messed up file
permissions when recompressing the cache.

Fix this by caching the last set value and always using
Util::{get,set}_umask to get and set the umask.

fix: Retain mtime/atime for recompressed files

enhance: Add util::set_timestamps function for setting mtime/atime

ci: Bump Clang-Tidy job to Clang-Tidy 12

build: Make it possible to opt out of probing for fastest linker

chore: Align arguments in misc/test-all-systems

ci: Use Ubuntu 20.04 for standard jobs

ci: Remove unsupported platforms

ci: Bump CUDA job to Ubuntu 20.04

refactor: Extract option parsing code from process_arg

bump: Upgrade to cpp-httplib 0.10.8

fix: Use correct umask when populating primary cache from secondary

Util::get_umask retrieves the process's umask and caches it to avoid
some system calls. This doesn't interact well now when using UmaskScope
to change umask temporarily since Util::get_umask then only sometimes
returns the correct value. This leads to the incorrect umask being used
when writing cache entries to the primary storage for secondary storage
hits.

Fix this by not caching the umask system call.

Closes #1087.

fix: Create temporary file with cpp extension instead of hard linking

[1] added a suitable file extension to the temporary file used for
capturing the preprocessed output by creating a hard link. This fails
when the temporary directory is on a file system that doesn't support
hard links.

Fix this by making it possible to pass a suffix to TemporaryFile and
passing the proper cpp suffix for the tmp stdout file instead of
creating a hard link as an alias.

[1]: 4da9f2b474b7ee39cd54ab4261f90936f3c944ec

Closes #1079.

Revert "fix: Fall back to copying temporary preprocessed output file"

This reverts commit cbedccc9fa30f8958dc3e7fbdf900a952f63d5ad since the
fix doesn't work.

The hard link in question is used in get_result_key_from_cpp to create
an alias of file that captures stdout from the preprocessor, where the
alias has the correct cpp extension. It can't just be a copy since
do_execute writes to the original name. See #1079.

fix: Fix build for MSVC (#1078)

For Windows the order of the includes is important in wincompat.hpp.

feat: Fetch/update secondary storage manifest on primary miss (#1065)

feat: Generalize STATIC_LINK option + fixes (#1058)

fix: Fall back to compiler when producing assembler listing file

Ccache currently doesn't store the listing produced by -Wa,...=file, so
fall back to running the real compiler.

See #1083.

chore: Add debug log for -P + other preprocessor option

test(test-all-systems): Enable ccache if available in Docker image

test: Add Ubuntu 22.04 Dockerfile

docs: Fix typo in help text

ci: Add GCC 11 build on Ubuntu 22.04

fix: Work around problem with GCC in util::ends_with

The util::ends_with implementation is taken directly from the
implementation suggestion in the C++20 standard, but it produces a
stringop-overread warning with GCC 11.2. There's either some subtle
aspect to this that I don't understand or a compiler bug, but let's work
around it by tweaking the implementation.

Closes #1082.

bump: Upgrade xxh_x86dispatch.c to xxHash 0.8.1

xxh_x86dispatch.c was by mistake not included in
6eb7eb340bf163b807cb9267935e39fa619dde0b. See #1078.

feat: Improve --show-stats

- Added percentage for most values.
- All indented values now have their total count equal to the parent
  value.
- Moved presentation of {direct,preprocessed}_cache_{hit,miss}
  counters to a separate "Successful lookups" section.
- Removed "Use the -v/--verbose option for more details." from
  --show-stats output since it's a bit wordy.

bump: Upgrade to nonstd::expected 0.6.0

fix(win32execute): Handle space in paths when using response file (#1080)

fix: Fall back to copying temporary preprocessed output file

[1] added a suitable file extension to the temporary file used for
capturing the preprocessed output by creating a hard link. This fails
when the temporary directory is on a file system that doesn't support
hard links.

Fix this by falling back to copying when hard-linking fails.

Closes #1079.

[1]: 4da9f2b474b7ee39cd54ab4261f90936f3c944ec

Revert "build: Bump required compiler versions"

This reverts commit 077e2a6c279755f6521ab78f4a1a049ae6a93990.

Not needed yet.

fix: Fix and optimize Redis upload script (#1081)

build: Bump required compiler versions

build: Remove now superfluous cmake policy setting

CMP0091 defaults to NEW with cmake_minimum_required 3.15 and later.

test: Fix test failure when compiler is masquerading old ccache

chore: Remove no longer needed workaround for older GCCs

build: Enable Clang-Tidy modernize-concat-nested-namespaces check

build: Enable Clang-Tidy performance-no-automatic-move check

chore: Replace nonstd::string_view with std::string_view

chore: Replace nonstd::optional with std::optional

build: Require C++17 compiler and CMake 3.15

A C++17-compatible compiler is now readily available on all systems we
target primarily, so it's time to bump to C++17.

Also, we want to use features in CMake 3.15 (see #1069), so bump that
too.

build: Enable static runtime linking for MSVC (#1069)

fix: Fix crash with empty include filename in preprocessor output (#1075)

chore: Update NEWS

chore: Update authors

style: Improve names of Args::AtFileFormat values

ci: Bump to CodeQL action v2

fix: Support Redis URL without host

chore: Don’t store unused return value

chore: Constify core::Manifest::add_result parameter

chore: Set version “unknown” instead of empty string if unknown

fix: Support Git 1.x when determining ccache version

chore: Prepare for binary patching SYSCONFDIR

chore: Add Jacob Young to .mailmap

fix: Avoid incorrect error log for Redis write in reshare mode

chore: Remove anonymous users from AUTHORS

fix: Correctly represent statistics counters > 1 in log and stats log

fix: Fix parsing of MSVC response files (#1071)

docs: Add warning about base_dir

See #1042.