fix: Handle more cases of invalid secondary storage URLs

(cherry picked from commit b41ac6a7bc42f56161f929dd1f2c8fdeb22493ad)

build: Fix FTBFS with not yet released GCC 13

Reference: https://gcc.gnu.org/gcc-13/porting_to.html#header-dep-changes

Fixes #1105.

(cherry picked from commit 19ef6e267d38d4d8b3e11c915213472d5662d593)

fix: Don't display max size in ccache -s if it's 0 (= unlimited)

(cherry picked from commit ab4074edef9481306e910b4e04d1a7625b8065a1)

enhance: Fall back to utimes(2) if utimensat(2) is unavailable

(cherry picked from commit d67f26e5168dc6c6dbb12b6ef55407af215218e8)

fix: Remove AsciiDoc markup from help text of --trim-dir

(cherry picked from commit 8d470e6cf79cb4c7117f84bc46756428fc70a209)

fix: Use a cleanup stamp instead of directory timestamp for cleanup

In order to know when to clean up the temporary directory, ccache checks
mtime of $CCACHE_DIR and updates it to "now" on cleanup. This doesn't
work well when the configuration file is modified often since that also
updates the same mtime.

Fix this by using a separate cleanup stamp file instead.

(cherry picked from commit ec27506da3a03e0f5bf5f80494174fcdd9a43b0e)

fix: Clean up temporary dir if it's left the default

Cleanup of the temporary directory is done if it is $CCACHE_DIR/tmp,
which used to be the default until [1] where the default was changed to
/run/user/$UID/ccache-tmp. Improve this so that cleanup happens if the
temporary directory is equal to the default regardless of the default.

[1]: 213d9883a0c3944749f8512eeb784d8572ad8d91

(cherry picked from commit ce6b0c3dbdf1f84ab625d4c86770297f93b87032)

docs: Mention that mtime is used for LRU cleanup

Closes #1095.

(cherry picked from commit b1c37b330c24fd2b9f3f41762a755a51806fbaaf)

chore: Fix typo in comment about MSVC object files

(cherry picked from commit 35e181c9c0e1e16fe7d7c741bd18f215e7cdc6d0)

test: Avoid warning when running inode_cache in isolation

(cherry picked from commit d40452090c36ee207eb3b5043d921203353a25f8)

fix: Add and use Util::{get,set}_umask functions

Using

    mode_t mask = umask(0);
    umask(mask);

to retrieve the current umask isn't thread-safe. This messed up file
permissions when recompressing the cache.

Fix this by caching the last set value and always using
Util::{get,set}_umask to get and set the umask.

(cherry picked from commit f8f1c35344e37bc52c9fe71daebb5b378bd353f3)

fix: Retain mtime/atime for recompressed files

(cherry picked from commit c57929acd676c577e1abae8aae6467c37ecd7b4b)

enhance: Add util::set_timestamps function for setting mtime/atime

(cherry picked from commit 176bdc0016b9f0bdbf23b111f135e3ff1931fdf7)

fix: Use correct umask when populating primary cache from secondary

Util::get_umask retrieves the process's umask and caches it to avoid
some system calls. This doesn't interact well now when using UmaskScope
to change umask temporarily since Util::get_umask then only sometimes
returns the correct value. This leads to the incorrect umask being used
when writing cache entries to the primary storage for secondary storage
hits.

Fix this by not caching the umask system call.

Closes #1087.

(cherry picked from commit 6484cdfa0f22214d91cd61562f48d4d9060d2533)

fix: Create temporary file with cpp extension instead of hard linking

[1] added a suitable file extension to the temporary file used for
capturing the preprocessed output by creating a hard link. This fails
when the temporary directory is on a file system that doesn't support
hard links.

Fix this by making it possible to pass a suffix to TemporaryFile and
passing the proper cpp suffix for the tmp stdout file instead of
creating a hard link as an alias.

[1]: 4da9f2b474b7ee39cd54ab4261f90936f3c944ec

Closes #1079.

(cherry picked from commit e55d7e6d97e65580e21389b1b5b69d35421720be)

fix: Fix build for MSVC (#1078)

For Windows the order of the includes is important in wincompat.hpp.

(cherry picked from commit 375d566635a934ba22287c391f39e58e85aa8567)

fix: Fall back to compiler when producing assembler listing file

Ccache currently doesn't store the listing produced by -Wa,...=file, so
fall back to running the real compiler.

See #1083.

(cherry picked from commit b36a81893c6f2cd20087815df2ddeb56dd547813)

chore: Add debug log for -P + other preprocessor option

(cherry picked from commit 1ae1ae2bf9540fd0f623e6c61f8fe56ca3b572f5)

fix(win32execute): Handle space in paths when using response file (#1080)

(cherry picked from commit bb024c69353cd34145c72d3a64fc94604e0407ce)

test: Fix test failure when compiler is masquerading old ccache

(cherry picked from commit 0d60322086c0030bb1af72891d48e83be5c295a2)

fix: Fix crash with empty include filename in preprocessor output (#1075)

chore: Update NEWS

chore: Update authors

style: Improve names of Args::AtFileFormat values

ci: Bump to CodeQL action v2

fix: Support Redis URL without host

chore: Don’t store unused return value

chore: Constify core::Manifest::add_result parameter

chore: Set version “unknown” instead of empty string if unknown

fix: Support Git 1.x when determining ccache version

chore: Prepare for binary patching SYSCONFDIR

chore: Add Jacob Young to .mailmap

fix: Avoid incorrect error log for Redis write in reshare mode

chore: Remove anonymous users from AUTHORS

fix: Correctly represent statistics counters > 1 in log and stats log

fix: Fix parsing of MSVC response files (#1071)

docs: Add warning about base_dir

See #1042.

chore: Update license for nonstd::expected

See #1053.

refactor: Simplify Reader::read_int

std::string::operator[](0) is well-defined for empty strings.

fix: Log expanded secondary storage URL in put/remove

fix: Fix miscompile of nonstd::expected on MSVC v19.22 (#1053)

fix: Check for short reads in Reader::read_str (#1068)

fix: Fix "Multiple precompiled headers used" error if /Yu option is used after /Fp (#1059)

feat: Make upload-redis output more like other tools (#1070)

fix: Improve MSVC /Fp and /Yu options further

Improve 09dea223466e to also handle relative paths to -Fp/-Yu.

chore: Add knowledge of linker option -z to avoid note in debug log

Closes #1061.

fix: Handle MSVC /Fp and /Yu options with concatenated path again

Regression in c8fb539523c801bf15591c395c3029b4530a7a2f.

See #1063.

feat: Handle -imsvc compiler option (#1055)

build: Fix build arguments to clang-cl (#1054)

fix: Fix sporadic test.profiling failures (#1056)

Using cut, which is always line-based, to remove bytes from a binary file can
cause problems if the binary timestamp field happens to contain a newline
character, which causes test.profiling to fail <1% of the time. Instead use tail
which has a character mode that ignores newlines.

fix: Isolate inode cache file in tests

All test suites use the default temporary directory location
/run/user/<UID>/ccache-tmp when possible, which means that the inode
cache file is shared between all test suites. This is problematic when
running test suites in parallel since one test suite may run “ccache -C”
(which removes the inode cache file) between two compilations in the
inode_cache suite, thus making the second compilation not behave as
expected, failing the test.

Fix this by putting the temporary directory inside the test-specific
ccache directory instead of using the default global location.

Fixes #1045.

feat: Improve inode cache logging

ci: Fix CUDA installation

fix: Normalize paths to fix basedir option on Windows (#1033)

Co-authored-by: Joel Rosdahl <joel@rosdahl.net>

refactor: Improve absolute path normalization functions

The Util::normalize_absolute_path function only works on the syntactic
level, i.e. the result may not actually resolve to the same filesystem
entry (nor to any file system entry for that matter). It was meant to be
used for paths that don’t necessarily exist yet, such as a future
directory in which to write debug files. It may fail in edge cases with
symlinks in the path in combination with .. segments. If the caller
wants to ensure that the resulting path actually makes sense, it needs
to check if the resulting path points to the same file entry as the
original.

To improve on this, Util::normalize_absolute_path has now been renamed
to Util::normalize_abstract_absolute_path and there is a new
Util::normalize_concrete_absolute_path function which returns the
original path if the normalized result doesn't resolve to the same file
system entry as the original path.

fix: Make Stat::same_inode_as consider error code

docs: Mention default cache locations for Windows and macOS

fix: Fix static linkage with hiredis on Windows (#1041)

fix: Replace skip_last_empty with IncludeDelimiter (#1046)

fix: Fix code restructuring mistake in 5a55014f

fix: Fix process_preprocessed_file bug for distcc marker

2044fea84b86001b2976ecde946d3d6d0e88ec0a (included in ccache 4.6)
removed the special-casing of distcc’s pump in
process_preprocessed_file. That in turn revealed a bug that has been
present since 432d1ca6a6aa51f708124172169073c399fb68d2 (included in
ccache 3.4) but previously only affected compilations with distcc-pump
as the “compiler”: the detection and handling of distcc-pump’s
“__________” messages is broken in two ways:

1. It throws away everything between the last preprocessor directive and
   the “__________” marker. Thus, changes to such sections will not be
   included in the hash.
2. It detects “__________” markers in the middle of lines, not only at
   the beginning of lines.

style: Tweak code style to match conventions

style: Enable some clang-tidy readability checks for unit tests

Merge pull request #1037 from orgads/cl-strip-lf

fix: Do not add redundant newlines for stdout

Tokenizer is used with include_empty, and the output typically ends with
\n.

For each line, tokenizer returns it without the \n, and the function
appends
it. But if the output ends with \n, the tokenizer returns an additional
empty string, and a redundant LF is written to stdout.

Another issue can be if the last line of the original output doesn't end
with \n at all, ccache added it anyway.

It was probably unnoticed until now since gcc has no output at all, while
cl outputs the source file name.

feat: Support preserving the delimiters on tokenizer

test: Simplify tokenizer tests

fix: Only use /run/user/<UID>/ccache-tmp if writable

The fix for #984 addressed a problem when /run/user/0 already exists and
ccache is run with fakeroot. However, it didn’t handle the case when
/run/user/0/ccache-tmp already exists, which will happen for instance if
the real root user has run ccache at least once.

Fix this by using access(2) to verify that the ccache-tmp directory is
writable. Note: Can’t just check the mode bits of the directory since
they appear OK since fakeroot fakes the UID.

Fixes #1044.

fix: Add ASM and ASM_MASM to project() languages (#1043)

fix: Improve handling of .gcno files

When support for caching a compilation with coverage (producing a .gcno
file), the commit[1] made sure to avoid rewriting the input path to
relative with the motivation “also make sure to use the source file
path, since this is in the notes”. However, this seems to be unnecessary
since a relative input file path will be written as is to the .gcno, not
the absolute path. This is the case for at least GCC 4.7+ and Clang
3.6+. Fix this by potentially converting the input path to relative even
when generating coverage.

When investigating the above issue, I noticed that GCC 9+ includes the
current working directory (CWD) in the .gcno file. This means that we
have include the CWD in the hash when compiling with
-ftest-coverage/--coverage in order to replicate what the compiler would
produce. Since this makes it impossible get cache hits when compiling in
different directories, a new gcno_cwd sloppiness has been added for
opting out of hashing the CWD, with the tradeoff of potentially getting
an incorrect directory in the .gcno file.

[1]: 02d3f078bd2495b8db2264ae0b2c692b4c5ba1bd

Fixes #1032.

refactor: Sort sloppiness parsing/generation

chore: Disable some clang-tidy checks that don’t contribute much

docs: Add reference to reference build configs (#1031)

fix: Bail out on too hard MSVC environment variables CL and _CL_

To handle the CL and _CL_ variables properly, ccache needs to parse them
according to [1] and then include the compiler options as part of
regular argument processing. Until that is done we have to bail out and
just run the original compiler.

[1]: https://docs.microsoft.com/en-us/cpp/build/reference/cl-environment-variables?view=msvc-170

Fixes #1022.

fix: Prefer CMake find module for hiredis package

refactor: Simplify string append in process_arg

chore: Improve error message for read error in from_cache

fix: Prefer CMake find module for zstd package (#1030)

feat: Support directory for MSVC -Fo option (#1019)

fix: Don't exit with error on read failure from cached file (#1036)

fix: Don’t cache preexisting object file when using -fsyntax-only

Fixes #1034.

fix: Authenticate with Redis before database selection (#1020)

fix: Work around endianness problem in Util::read_text_file

The code in Util::read_text_file for converting UTF-16LE to UTF-8 only
works on little-endian machines. This makes the unit test fail on
big-endian machines.

Since the conversion is only needed on Windows (for Visual Studio, which
creates UTF-16LE .rsp files) in practice, work around the problem by
only doing the conversion in Windows builds.

Fixes #1014.

test: Don’t require C++-capable compiler for the test suite

docs: Add missing word in release notes

chore: Prepare for v4.6

chore: Update NEWS

style: Add missing newline at end of file

chore: Sort codespell allowlist

refactor: Make Util::is_absolute_path_with_prefix return optional

style: Tweak comments

chore: Improve hint in source code format error message

fix: Don’t increment direct_cache_miss for forced recache

fix: Make conversion to relative paths more reliable on Windows (#1011)

chore: Add Vili Väinölä to .mailmap

fix: Hash object file directory for MSVC compilers

The object file produced by MSVC includes the full path to the object
file even without debug flags.

bump: Upgrade to BLAKE3 1.3.1

docs: Tweak hard link config option description

fix: Respect umask when making hard linked files read only

Fixes #1007.

refactor: Extract get_umask function to Util