chore: Update NEWS

chore: Update AUTHORS

chore: Convert misc/update-authors to Python

chore: Update .mailmap

chore: Add alma-9 dockerfile

chore: Add debian-13 dockerfile

test: Simplify get_root()

docs: Document "Unsupported source encoding" statistics counter

test: Handle GetVolumePathName errors, prevent access violation (#1626)

For example GetVolumePathName returns `F:/git_projects` on my computer which
does not fit in a char[4]. As a result GetVolumePathName returns an error and
a std::string is initialized from uninitialized memory which may not contain
a '\0' resulting in out of bounds memory reads.

Co-authored-by: Leander Schulten <Leander.Schulten@tetys.de>

fix: Avoid expanding symlinks in relative path candidates

Commit 8223ed38abd9cf75ab75cb19dc2081c44bf568d0 changed
make_relative_path to also try matching real_path(path) against the
apparent/actual CWD, assuming that an absolute path p could be
substituted with real_path(p).

This assumption is incorrect for source files: if the source file
includes a file via a relative path, expanding symlinks may cause the
include file to be searched in the wrong directory.

Fix by reverting that change. The new test case "Symlink to source file,
longer symlink path" fails without this fix.

Note: this effectively reverts #724.

Fixes #1620.

chore: Touch up basedir.bash

fix: Hash specs file actually used by GCC

"gcc -specs=foo" (when "foo" doesn't include a slash) makes GCC search
in various system directories for the file, so ccache fails to hash the
file if it's found in such a directory.

Fix this by asking the compiler (using "-print-file-name") which file it
will actually read.

Fixes #1625.

feat: Add support for Clang --config= option

Clang >= 16 supports "--config=name" in addition to "--config name".

docs: Fix markup in NEWS file

refactor: Simplify HTTP logging slightly

chore: Update .mailmap

refactor: Simplify UTF-16LE to UTF-8 conversion in util::read_file

bump: Upgrade to tl-expected 1.3.1

build(blake3): Don't use NEON on aarch64_be (#1624)

ci: Fix version logic in prepare-release for PR workflows

ci: Fix ccache version for PR workflows

fix: Fix crash on HTTP request failure (#1628)

If the request fails and `result.error() != Error::Success` `result->` can return
a `nullptr` resulting in a null pointer dereference.

Co-authored-by: Leander Schulten <Leander.Schulten@tetys.de>

fix: Fix bad conversion from UTF-16 in util::read_file on Windows (#1627)

When interpreting a char* string that is null terminated as wchar* string
it is not guaranteed that the wchar* string is also null terminated. A char[3]
string/memeory region with the content ['a', '\0', '\0', 100] interpreted as
wchar* has no ending null character resulting in out of bounds memory reads
when trying to construct a std::wstring from it.

Co-authored-by: Leander Schulten <Leander.Schulten@tetys.de>

ci: Add jobs to build and create release

This includes new binary releases for Linux aarch64 and Windows aarch64.

Closes #1579. See also discussion #1310.

ci: Add artifact retention

ci: Verify llvm-mingw toolchain download

ci: Rename binary jobs to common "-binary" suffix

ci: Add traces to CI jobs to make debug cycle shorter

build: Improve installation of documentation

- Make HTML and man page part of "cmake --install".
- Make modifications of man page in-place to avoid leaving a .tmp file
  behind.

ci: Rename macOS to Darwin in CI context

ci: Rename macOS binary jobs to match others

ci: Add documentation build job

ci: Run on ubuntu-24.04 instead of ubuntu-latest

I prefer to avoid *-latest tags.

ci: Improve binary build jobs

For x86_64, build in an Alma Linux 8 container since RHEL 8 is the
oldest still active LTS mainstream Linux distribution to my knowledge.

For aarch64, cross compile in an x86_64 environment instead of in a
native aarch64 environment. This is because I want to be able to build
release binaries locally on my x86_64 machine if there is some problem
with the CI environment and it feels good to match that in CI. The build
is still on Ubuntu 22.04 – I made a quick attempt to get
cross-compilation working in Alma Linux 8 working but gave up.

ci: Bump to newer codespell and typos versions

build: Detect ccache version from GitHub Actions environment

refactor: Use std::array instead of const char* array (#1623)

feat: Add support for multiple directories in base_dir/CCACHE_BASEDIR

Closes #597.

enhance: Add util::join_path_list

enhance: Implement util::to_string(const fs::path&)

chore: Improve comments

docs: Reflow long line in manual

fix: Support wide characters in filenames for MSVC

Fixes #1619.

chore: Improve ccache.exe.manifest.in structure

chore: Downgrade clang-format to 18.1.3, matching Ubuntu 24.04

ci: Enable tests in the msys2 mingw64+clang configuration (#1618)

Instead of disabling tests altogether, pass the -Wno-deprecated
option, working around https://github.com/doctest/doctest/issues/900
in a different fashion.

ci: Disable Windows MSYS2 clangarm64 job for now

The job occasionally crashes with an "Exception: SegFault" message,
perhaps from CTest?

See #1618.

chore: Modernize Python code in test/http-*

test: Fix detection of test suites in test/run

Broke in 9da7c09c9390b2db5c745a8dad58d7a3ac3af9b0.

fix: Redact URLs logged by remote http backend

docs: Mention that #pragma once could be problematic with PCH

Fixes #1615.

refactor: Improve name and type of only_if_missing parameter

Merge pull request #1598 from mstorsjo/ci-arm

ci: Add jobs for building binaries for Windows and Linux

Build binaries for x86_64 and aarch64 on Linux, and i686, x86_64
and aarch64 for Windows.

The Windows binaries are cross compiled from Linux. For x86, it
uses distro provided compilers, while it uses llvm-mingw installed
separately for targeting aarch64. (Most distros don't have packages
for mingw cross compilers for targeting Windows on aarch64 yet. GCC
isn't mature for this target yet, but Clang has supported this
target for many years now. Llvm-mingw is essentially the same toolchain
setup as MSYS2 uses in their clangarm64 environment, but available
as a standalone cross compiler too.)

ci: Add a toolchain file for (cross) compilation for aarch64-w64-mingw32

Contrary to the existing toolchain files, this doesn't hardcode
CMAKE_FIND_ROOT_PATH to a location in /usr, but locates the
compiler from the path, and picks a sysroot adjacent to it - allowing
using a compiler installed in any path.

This uses a compiler named "${TOOLCHAIN_PREFIX}-gcc" - toolchains
such as llvm-mingw do provide cross tools named "-gcc" for
compatibility, even if they use Clang.

ci: Run build_and_test on Linux on ARM too

ci: Run the Windows VS2022 ARM64 MSBuild tests on actual ARM hardware

ci: Extend the msys2 testing to the "clangarm64" environment

The clangarm64 msys environment doesn't have a "gcc" command
by default, unless the "gcc-compat" package is installed.

One may consider using "cc" as well, which is available when
the "toolchain" package is installed in each environment, but
that tool in clang environments fails the "direct" test case.

ci: Use pacboy to simplify installation of msys2 packages

See [1] and [2] for reference on using pacboy to simplify installing
mingw packages in msys2. The relevant bit to know is that by
specifying plain package names with a ":p" suffix, in the "pacboy"
section in msys2/setup-msys2, those packages are installed within
the current msys2 environment.

This avoids needing to specify the long package prefix like
"mingw-w64-x86_64". For other environments like "ucrt64", "clang64"
and "clangarm64", the prefix is even longer and less obvious.

[1] https://github.com/msys2/setup-msys2?tab=readme-ov-file#pacboy
[2] https://www.msys2.org/docs/package-naming/#avoiding-writing-long-package-names

ci: Stop manually installing Ninja on Linux and macOS

Since https://github.com/actions/runner-images/pull/11706,
https://github.com/actions/runner-images/pull/11707 and
https://github.com/actions/runner-images/pull/11737, ninja is
preinstalled in the Ubuntu, macOS and x86 Windows runner images.

refactor: Use TRY_ASSIGN and TRY

fix: Properly make unique temporary name in TRY_ASSIGN

refactor: Extract macros for creating unique variable names

ci: Declare downloaded zstd as EXCLUDE_FROM_ALL

8648532e3cdcd6a0c4fb12b65e1ca9a8972a1e06 removed usage of
FetchContent_Populate to avoid warnings from newer CMake versions, but
the EXCLUDE_FROM_ALL part got lost in translation.

Corresponding semantics is available by passing EXCLUDE_FROM_ALL to
FetchContent_Declare, but only since CMake 3.28 so we need to add some
backward compatibility goo.

build: Remove obsolete variable in FindZstd.cmake

chore: Make code buildable with tl-expected 1.2.0

tl-expected 1.2.0 has made tl::expected objects [[nodiscard]], so make
sure to handle all tl::expected return values properly.

bump: Upgrade to tl-expected 1.2.0

enhance: Add TRY_ASSIGN macro

enhance: Improve TRY macro

refactor: Simplify EINTR check for waitpid

feat: Don't log failure when removing output file in hard link mode

If there is no preexisting output object file then we shouldn't indicate
an error.

refactor: Rename local variable in macro to avoid clashes

chore: Remove redundant logging of error

ci: Avoid using windows-latest runner image

fix: Expand system-dependent -m{arch,cpu,tune}=native options

The -march=native, -mcpu=native and -mtune=native options have different
effects depending on which system the compiler is run.

Fix this by asking the compiler which cc1 options the -m*=native options
expand to and including them in the input hash.

Fixes #824.

refactor: Extract command execution code from hashutil to util function

feat: Improve logging in execute* functions

chore: Simplify Windows-specific hacks for shell scripts in test suite

refactor: Improve variable name in win32execute

chore: Remove dead code in hash_command_output

refactor: Move Args to util namespace

enhance: Add Args initializer list constructor

chore: Add build-ccache-with-itself script

This script can be used to verify that ccache is able to cache a build
of itself.

Example usage:

    COMMAND=/source/misc/build-ccache-with-itself misc/build-in-docker debian-12

chore: Finalize renaming of namespaces to lowercase

fix: Keep original order of compiler arguments

Now when CCACHE_NOCPP2 (run_second_cpp = false) has been removed (see
fd9de83446aeaf1eb1b33a2d900ea1ff757c4509) we can simplify compiler
argument juggling: instead of partitioning arguments into different
lists and reassemble them later, we can build up the preprocessor and
compiler command lines while we go, thus keeping the original order of
arguments.

Fixes #738.

chore: Remove ability to avoid 2nd call to preprocessor (run_second_cpp)

ccache before version 1.6 (2002) always sent precompiled source to the
compiler as an optimization to avoid running the preprocessor a second
time. ccache 1.6 (2002) introduced CCACHE_CPP2 to optionally disable
this optimization. This seemed to work well until mid 2010s when
compilers started to behave differently when compiling preprocessed and
non-preprocessed source code. Thus, ccache 3.3 (2016) flipped the
default to make the optimization opt-in via CCACHE_NOCPP2 (or
"run_second_cpp = false").

Fast forward to 2025:

- As far as I can tell, CCACHE_NOCPP2 is used by essentially nobody
  which isn't surprising since it generally doesn't work well.
- The feature comes with increased code complexity. The most painful
  part is that compiler arguments need to be carefully filtered and sent
  to only the preprocessor, only the compiler or both, depending on
  whether run_second_cpp is true or false. And it can be forced to true
  in the middle of argument parsing when an argument that is
  incompatible with "run_second_cpp = false" is found.
- There have been a non-trivial amount of bugs related to CCACHE_NOCPP2
  during the years due to the added complexity and due to new compiler
  behavior that is incompatible with the mode.a
- The depend mode is a more performant alternative to "run_second_cpp =
  false" since ccache 3.6 (2019), though with different tradeoffs.

Thus it's time to make the code less complex and more maintainable:
remove the optimization to send the precompiled source code to the
compiler.

This opens up making argument juggling simpler and fixing bug #738.

chore: Improve code style

chore: Bump to Clang-Format 18

docs: Mention mitigation for direct mode caveat

fix: Fix bug in support for Clang to compile CUDA code on Windows

chore: Remove ubuntu-20.04 Dockerfile as its CMake is too old

build: Drop minimum CMake version to 3.18

This is to keep supporting Debian 11 for a while longer.

Note that 8648532e3cdcd6a0c4fb12b65e1ca9a8972a1e06 requires CMake > 3.16
(not sure whether 3.17 works), so dropping back to 3.15 is not possible.

Closes #1611.

fix: Include MSVC variables INCLUDE and EXTERNAL_INCLUDE in input hash

See discussion #1606.

ci: Small GH actions cleanup (#1602)

Remove superfluous ${{ }}.

Link libatomic statically when STATIC_LINK is set (#1601)

Link libatomic statically when STATIC_LINK is set.

build: Avoid warning from downloaded zstd's CMake scripts

build: Use FetchContent_MakeAvailable instead of FetchContent_Populate

Closes #1501.

build: Require CMake 3.22 or newer

For reference, CMake 3.22 is available in Debian 11 as well as Ubuntu
22.04. Distributions based on RHEL 8 have 3.25 or later.

feat: Embed manifest to enable long paths on Windows (#1596)

On a windows build, add a ccache.exe manifest which enables long path awareness in Windows 10+.

Fixes #1595.

test: Add test for tricky preprocessed cache hit case

See PR #1594.