chore: Update NEWS

test: Disable "output file failure" test for unsupported filesystem

The "Failure to write output file" test assumes that the filesystem
supports read-only directories. Improve this by probing this assumption
before running the test.

Fixes #1150.

(cherry picked from commit 553fc98f846bf6de1566e8526f4a779b70d814c8)

chore: Update NEWS

fix: Use -P -Fi for saving MSVC preprocessor output

Even though MSVC supports "-E" and "-c -o" it apparently doesn't support
"-E -o", so [1] broke MSVC.

[1]: 64fc42ca2c5c9fe60ef4f1dc3882edb5f35579d6

Fixes #1146.

(cherry picked from commit 80a228c3c2014d9953b51ed3ade7ad21f50912f8)

fix: Fix build with musl when using GCC 12 (#1145)

(cherry picked from commit bb72cc26bc91bc56567dbef608088a9437f836bb)

fix: Detect PCH for concatenated -include option

Fixes #1143.

(cherry picked from commit 53b1fef9c818f53fb04455b357ebbc6572987962)

chore: Update NEWS

chore: Update authors

fix: Add missing format argument to error message

(cherry picked from commit 5210d5b4885ee9fd13a3f35eb568ca77d6e4d238)

build: Fix MSVC build error

fix: Don't crash in race between file read and cleanup

As mentioned in discussion #1102.

Regression in 02dac1f18084c0931aa6b8c1a07e9aedfadb5642.

(cherry picked from commit 56aac268892491465b042db51a0a3884403b92e3)

chore: Improve log message about too many raw file entries

(cherry picked from commit 94508882ca6a9b715b02de5d9f2d14de69496af7)

fix: Only enable inode cache if subsecond stat timestamps are available

If such fields are not available we risk false positive inode cache
hits.

(cherry picked from commit 879007ad0ced5373b314ac92590b665c072f814a)

chore: Remove unused InodeCache::Key::sloppy_time_macros field

(cherry picked from commit 196b55fe0d0bce7268e6301328a2fa8629cfdbea)

enhance: Support Stat::{atim,ctim,mtim} on macOS

(cherry picked from commit bcdaeb5c6082717bac984ab2ffafd0bdee552458)

fix: Hash sanitizeblacklist delimiter correctly

Regression in a502145296044ea32b24e329d75122e777c598e6.

(cherry picked from commit df2602bb2de99f5d28cb05f6896920327314b783)

test: Ignore clang warning from -fdebug-prefix-map test

(cherry picked from commit 5dd3696439d115870b4a73733ff910192550e56e)

test: Only run -ftest-coverage + -fprofile-dir tests for GCC

Clang complains with "warning: argument unused during compilation:
'-fprofile-dir=dir'".

(cherry picked from commit 9d899e98e643b08737c3ee1e70149ace461426d5)

fix: Always rewrite dependency file if base_dir is used

[1] added the has_absolute_include_headers variable as a performance
optimization for base_dir/CCACHE_BASEDIR so that the dependency file
only has to be parsed/rewritten when necessary. This is based on the
assumption that if no include file has an absolute path then no rewrite
is needed, but apparently Clang can insert other paths into the
dependency file as well, for instance the asan_blacklist.txt file when
using -fsanitize=address.

Fix this by simply always parsing the dependency file when base_dir is
active.

Fixes #1128.

[1]: 60178b7a8eb8d03b364afb2fb8bd6753924cd9b7

(cherry picked from commit 1ee5365507ff3dd3d071f9ccd9380ad5c661ee12)

fix: Handle --hash-file/--checksum-file error properly

(cherry picked from commit 97076dcfe287413f2c48cf6c3bd03ddb6ee2e420)

fix: Restore order of cpp and cppstderr sections in input hash

This retains input hash compatibility with revisions before
64fc42ca2c5c9fe60ef4f1dc3882edb5f35579d6.

(cherry picked from commit 11f3d650f94fce6766302642c74b92462c263bdd)

fix: Work around Clang bug when outputting to full NFS disk

See <https://github.com/llvm/llvm-project/issues/56499>.

Fixes #1115.

(cherry picked from commit 64fc42ca2c5c9fe60ef4f1dc3882edb5f35579d6)

test: Remove superfluous period from error message

(cherry picked from commit c1ad0adf7db95c9a1982325074ebb1a79ba5cd1b)

test: Fix printing of error messages with embedded newlines

(cherry picked from commit 4b15d706691c2bef424888753dc98e4f5e1a3af3)

fix: Log "bad output file" instead of "cache miss" on output file error

(cherry picked from commit e08af162df0f921116c0883bcf4e43ca0ff078a3)

fix: Avoid false positive cache hits for __asm__(".incbin" " \"file\"")

Regression in #983.

Fixes #1120.

(cherry picked from commit 7ee6030bc7b2e6ef321c01854f88ce0fd81c4513)

fix: Avoid false success for -fcolor-diagnostics probe with GCC

Ccache will produce a false hit in the following scenario, if "cc" is
GCC without being a symlink to "gcc":

  1. ccache cc -c example.c                      # adds a cache entry
  2. ccache cc -c example.c -fcolor-diagnostics  # unexpectedly succeeds

(Most major Linux distributions install cc as a symlink to gcc, and then
the problem doesn't show up since ccache then is able to guess that the
compiler is GCC.)

This bug was introduced by [1] which tried to make yet another tweak of
the color diagnostics guessing/probing by no longer rejecting
-fcolor-diagnostics for an unknown compiler, based on the assumption
that the probing call (speculatively adding -fdiagnostics-color) is only
made when we have guessed a GCC compiler. Unfortunately, this broke the
fix in [2] when the compiler is unknown.

All of this is inherently brittle and I don't see any good way to make
it better with the current compiler guessing approach and adding options
speculatively. The cure is to start doing proper compiler identification
instead (#958). Until that is done, the only reasonable fix is to avoid
doing anything related to color diagnostics flags when the compiler is
unknown. This means that an unknown compiler from now on won't produce
colors when used via ccache even if the compiler actually is GCC or
Clang.

[1]: 97a40af49f56e4be2db5e4318d8131e937bd5598
[2]: 61ce8c44c5b1da0be7a8d10c014f1a85b7967433

Closes #1116.

(cherry picked from commit 96ec6c9d98b88f00e1a69bdd0214c237bc7ed04e)

fix: Handle more cases of invalid secondary storage URLs

(cherry picked from commit b41ac6a7bc42f56161f929dd1f2c8fdeb22493ad)

build: Fix FTBFS with not yet released GCC 13

Reference: https://gcc.gnu.org/gcc-13/porting_to.html#header-dep-changes

Fixes #1105.

(cherry picked from commit 19ef6e267d38d4d8b3e11c915213472d5662d593)

fix: Don't display max size in ccache -s if it's 0 (= unlimited)

(cherry picked from commit ab4074edef9481306e910b4e04d1a7625b8065a1)

enhance: Fall back to utimes(2) if utimensat(2) is unavailable

(cherry picked from commit d67f26e5168dc6c6dbb12b6ef55407af215218e8)

fix: Remove AsciiDoc markup from help text of --trim-dir

(cherry picked from commit 8d470e6cf79cb4c7117f84bc46756428fc70a209)

fix: Use a cleanup stamp instead of directory timestamp for cleanup

In order to know when to clean up the temporary directory, ccache checks
mtime of $CCACHE_DIR and updates it to "now" on cleanup. This doesn't
work well when the configuration file is modified often since that also
updates the same mtime.

Fix this by using a separate cleanup stamp file instead.

(cherry picked from commit ec27506da3a03e0f5bf5f80494174fcdd9a43b0e)

fix: Clean up temporary dir if it's left the default

Cleanup of the temporary directory is done if it is $CCACHE_DIR/tmp,
which used to be the default until [1] where the default was changed to
/run/user/$UID/ccache-tmp. Improve this so that cleanup happens if the
temporary directory is equal to the default regardless of the default.

[1]: 213d9883a0c3944749f8512eeb784d8572ad8d91

(cherry picked from commit ce6b0c3dbdf1f84ab625d4c86770297f93b87032)

docs: Mention that mtime is used for LRU cleanup

Closes #1095.

(cherry picked from commit b1c37b330c24fd2b9f3f41762a755a51806fbaaf)

chore: Fix typo in comment about MSVC object files

(cherry picked from commit 35e181c9c0e1e16fe7d7c741bd18f215e7cdc6d0)

test: Avoid warning when running inode_cache in isolation

(cherry picked from commit d40452090c36ee207eb3b5043d921203353a25f8)

fix: Add and use Util::{get,set}_umask functions

Using

    mode_t mask = umask(0);
    umask(mask);

to retrieve the current umask isn't thread-safe. This messed up file
permissions when recompressing the cache.

Fix this by caching the last set value and always using
Util::{get,set}_umask to get and set the umask.

(cherry picked from commit f8f1c35344e37bc52c9fe71daebb5b378bd353f3)

fix: Retain mtime/atime for recompressed files

(cherry picked from commit c57929acd676c577e1abae8aae6467c37ecd7b4b)

enhance: Add util::set_timestamps function for setting mtime/atime

(cherry picked from commit 176bdc0016b9f0bdbf23b111f135e3ff1931fdf7)

fix: Use correct umask when populating primary cache from secondary

Util::get_umask retrieves the process's umask and caches it to avoid
some system calls. This doesn't interact well now when using UmaskScope
to change umask temporarily since Util::get_umask then only sometimes
returns the correct value. This leads to the incorrect umask being used
when writing cache entries to the primary storage for secondary storage
hits.

Fix this by not caching the umask system call.

Closes #1087.

(cherry picked from commit 6484cdfa0f22214d91cd61562f48d4d9060d2533)

fix: Create temporary file with cpp extension instead of hard linking

[1] added a suitable file extension to the temporary file used for
capturing the preprocessed output by creating a hard link. This fails
when the temporary directory is on a file system that doesn't support
hard links.

Fix this by making it possible to pass a suffix to TemporaryFile and
passing the proper cpp suffix for the tmp stdout file instead of
creating a hard link as an alias.

[1]: 4da9f2b474b7ee39cd54ab4261f90936f3c944ec

Closes #1079.

(cherry picked from commit e55d7e6d97e65580e21389b1b5b69d35421720be)

fix: Fix build for MSVC (#1078)

For Windows the order of the includes is important in wincompat.hpp.

(cherry picked from commit 375d566635a934ba22287c391f39e58e85aa8567)

fix: Fall back to compiler when producing assembler listing file

Ccache currently doesn't store the listing produced by -Wa,...=file, so
fall back to running the real compiler.

See #1083.

(cherry picked from commit b36a81893c6f2cd20087815df2ddeb56dd547813)

chore: Add debug log for -P + other preprocessor option

(cherry picked from commit 1ae1ae2bf9540fd0f623e6c61f8fe56ca3b572f5)

fix(win32execute): Handle space in paths when using response file (#1080)

(cherry picked from commit bb024c69353cd34145c72d3a64fc94604e0407ce)

test: Fix test failure when compiler is masquerading old ccache

(cherry picked from commit 0d60322086c0030bb1af72891d48e83be5c295a2)

fix: Fix crash with empty include filename in preprocessor output (#1075)

chore: Update NEWS

chore: Update authors

style: Improve names of Args::AtFileFormat values

ci: Bump to CodeQL action v2

fix: Support Redis URL without host

chore: Don’t store unused return value

chore: Constify core::Manifest::add_result parameter

chore: Set version “unknown” instead of empty string if unknown

fix: Support Git 1.x when determining ccache version

chore: Prepare for binary patching SYSCONFDIR

chore: Add Jacob Young to .mailmap

fix: Avoid incorrect error log for Redis write in reshare mode

chore: Remove anonymous users from AUTHORS

fix: Correctly represent statistics counters > 1 in log and stats log

fix: Fix parsing of MSVC response files (#1071)

docs: Add warning about base_dir

See #1042.

chore: Update license for nonstd::expected

See #1053.

refactor: Simplify Reader::read_int

std::string::operator[](0) is well-defined for empty strings.

fix: Log expanded secondary storage URL in put/remove

fix: Fix miscompile of nonstd::expected on MSVC v19.22 (#1053)

fix: Check for short reads in Reader::read_str (#1068)

fix: Fix "Multiple precompiled headers used" error if /Yu option is used after /Fp (#1059)

feat: Make upload-redis output more like other tools (#1070)

fix: Improve MSVC /Fp and /Yu options further

Improve 09dea223466e to also handle relative paths to -Fp/-Yu.

chore: Add knowledge of linker option -z to avoid note in debug log

Closes #1061.

fix: Handle MSVC /Fp and /Yu options with concatenated path again

Regression in c8fb539523c801bf15591c395c3029b4530a7a2f.

See #1063.

feat: Handle -imsvc compiler option (#1055)

build: Fix build arguments to clang-cl (#1054)

fix: Fix sporadic test.profiling failures (#1056)

Using cut, which is always line-based, to remove bytes from a binary file can
cause problems if the binary timestamp field happens to contain a newline
character, which causes test.profiling to fail <1% of the time. Instead use tail
which has a character mode that ignores newlines.

fix: Isolate inode cache file in tests

All test suites use the default temporary directory location
/run/user/<UID>/ccache-tmp when possible, which means that the inode
cache file is shared between all test suites. This is problematic when
running test suites in parallel since one test suite may run “ccache -C”
(which removes the inode cache file) between two compilations in the
inode_cache suite, thus making the second compilation not behave as
expected, failing the test.

Fix this by putting the temporary directory inside the test-specific
ccache directory instead of using the default global location.

Fixes #1045.

feat: Improve inode cache logging

ci: Fix CUDA installation

fix: Normalize paths to fix basedir option on Windows (#1033)

Co-authored-by: Joel Rosdahl <joel@rosdahl.net>

refactor: Improve absolute path normalization functions

The Util::normalize_absolute_path function only works on the syntactic
level, i.e. the result may not actually resolve to the same filesystem
entry (nor to any file system entry for that matter). It was meant to be
used for paths that don’t necessarily exist yet, such as a future
directory in which to write debug files. It may fail in edge cases with
symlinks in the path in combination with .. segments. If the caller
wants to ensure that the resulting path actually makes sense, it needs
to check if the resulting path points to the same file entry as the
original.

To improve on this, Util::normalize_absolute_path has now been renamed
to Util::normalize_abstract_absolute_path and there is a new
Util::normalize_concrete_absolute_path function which returns the
original path if the normalized result doesn't resolve to the same file
system entry as the original path.

fix: Make Stat::same_inode_as consider error code

docs: Mention default cache locations for Windows and macOS

fix: Fix static linkage with hiredis on Windows (#1041)

fix: Replace skip_last_empty with IncludeDelimiter (#1046)

fix: Fix code restructuring mistake in 5a55014f

fix: Fix process_preprocessed_file bug for distcc marker

2044fea84b86001b2976ecde946d3d6d0e88ec0a (included in ccache 4.6)
removed the special-casing of distcc’s pump in
process_preprocessed_file. That in turn revealed a bug that has been
present since 432d1ca6a6aa51f708124172169073c399fb68d2 (included in
ccache 3.4) but previously only affected compilations with distcc-pump
as the “compiler”: the detection and handling of distcc-pump’s
“__________” messages is broken in two ways:

1. It throws away everything between the last preprocessor directive and
   the “__________” marker. Thus, changes to such sections will not be
   included in the hash.
2. It detects “__________” markers in the middle of lines, not only at
   the beginning of lines.

style: Tweak code style to match conventions

style: Enable some clang-tidy readability checks for unit tests

Merge pull request #1037 from orgads/cl-strip-lf

fix: Do not add redundant newlines for stdout

Tokenizer is used with include_empty, and the output typically ends with
\n.

For each line, tokenizer returns it without the \n, and the function
appends
it. But if the output ends with \n, the tokenizer returns an additional
empty string, and a redundant LF is written to stdout.

Another issue can be if the last line of the original output doesn't end
with \n at all, ccache added it anyway.

It was probably unnoticed until now since gcc has no output at all, while
cl outputs the source file name.

feat: Support preserving the delimiters on tokenizer

test: Simplify tokenizer tests

fix: Only use /run/user/<UID>/ccache-tmp if writable

The fix for #984 addressed a problem when /run/user/0 already exists and
ccache is run with fakeroot. However, it didn’t handle the case when
/run/user/0/ccache-tmp already exists, which will happen for instance if
the real root user has run ccache at least once.

Fix this by using access(2) to verify that the ccache-tmp directory is
writable. Note: Can’t just check the mode bits of the directory since
they appear OK since fakeroot fakes the UID.

Fixes #1044.

fix: Add ASM and ASM_MASM to project() languages (#1043)

fix: Improve handling of .gcno files

When support for caching a compilation with coverage (producing a .gcno
file), the commit[1] made sure to avoid rewriting the input path to
relative with the motivation “also make sure to use the source file
path, since this is in the notes”. However, this seems to be unnecessary
since a relative input file path will be written as is to the .gcno, not
the absolute path. This is the case for at least GCC 4.7+ and Clang
3.6+. Fix this by potentially converting the input path to relative even
when generating coverage.

When investigating the above issue, I noticed that GCC 9+ includes the
current working directory (CWD) in the .gcno file. This means that we
have include the CWD in the hash when compiling with
-ftest-coverage/--coverage in order to replicate what the compiler would
produce. Since this makes it impossible get cache hits when compiling in
different directories, a new gcno_cwd sloppiness has been added for
opting out of hashing the CWD, with the tradeoff of potentially getting
an incorrect directory in the .gcno file.

[1]: 02d3f078bd2495b8db2264ae0b2c692b4c5ba1bd

Fixes #1032.

refactor: Sort sloppiness parsing/generation

chore: Disable some clang-tidy checks that don’t contribute much

docs: Add reference to reference build configs (#1031)