chore: Update NEWS

chore: Fix reference to format.cc in LICENSE.adoc

(cherry picked from commit 080d59385332a53ee6407ed666b675022741d46b)

build: Remove no longer needed workaround when building downloaded Zstd

(cherry picked from commit e0abc817e23c80bceb330936fdc64a583180be84)

build: Bundle Fmt again

Fmt is currently the only required C++ dependency that isn't bundled.
Since the Fmt API is still evolving, it's convenient for Ccache users
that lack a proper Fmt version locally to be able to build without
having to download Fmt. Thus, bundle Fmt again for now. (When we can
bump compiler requirements to versions that implement std::format
properly in the future we will switch to std::format instead.)

Closes #1470.

(cherry picked from commit 726fc1d27d8e49d64e47a98ae3dac565e1983c4d)

test: Improve CCACHE_PREFIX test to catch regression fixed in PR #1474

(cherry picked from commit 89bc5c80e96734f91820462542d7c106f4b18923)

docs: Clarify that --set-config writes to the configuration file

See also discussion #1468.

(cherry picked from commit d220910c1bb52b8f5ea2a8b8ad56f951cf0862c1)

build: Search for libcpp-httplib before libhttplib

The cpp-httplib project has now standardized on libcpp-httplib.so for
the shared library, so search for that name first.

(cherry picked from commit f83aff58bbf9fdf7439ff16f6387f4063cde1487)

fix: Fix prefix command lookup from PATH (#1474)

This fixes regression in 6b85822b50cc509b4d595bf89340bdf0da526dc9.

(cherry picked from commit 8372b56ead496a2f9d152590263bcd7b23013f77)

build: Find CppHttplib named libhttplib.so as well (#1465)

On Gentoo, the library name is 'httplib', not 'cpp-httplib'. Search
for that first (as it appears to be "more vanilla"), then fall back
to 'cpp-httplib'.

(cherry picked from commit a641e5ea3087752af71e60690dcf3ed3c1dbc56a)

chore: Fix blake3.h pattern in .clang-format after 2950646b473e

(cherry picked from commit f887434d35bf6544ce3b56dd7684de804cdaacfa)

build: Fix detection and usage of system blake3 (#1464)

(cherry picked from commit b87dadf4a771e8ab01cb180a42bd39d01608689c)

chore: Remove Xcode assembly workaround for zstd (#1463)

The fix is included in upstream zstd 1.5.6.

(cherry picked from commit 2950646b473ee1c53aafca4b912ea58967949dc7)

chore: Update authors

chore: Update NEWS

ci: Disable Ubuntu 24.04 builds temporarily

Logs end like this:

    Running kernel seems to be up-to-date.

    Restarting services...
     systemctl restart chrony.service containerd.service cron.service fwupd.service haveged.service hv-kvp-daemon.service multipathd.service packagekit.service php8.3-fpm.service polkit.service redis-server.service rsyslog.service runner-provisioner.service systemd-journald.service systemd-networkd.service systemd-resolved.service systemd-udevd.service udisks2.service walinuxagent.service
    Error: The operation was canceled.

build: Fix zstd build for older CMake versions

With CMake 3.17.5 on CentOS7:

    -- Downloading Zstd from the internet since Zstd>=1.3.4 was not found locally and DEPS=AUTO
    CMake Error at cmake/FindZstd.cmake:60 (set_target_properties):
      set_target_properties Can not find target to add properties to:
      libzstd_static
    Call Stack (most recent call first):
      cmake/Dependencies.cmake:29 (find_package)
      CMakeLists.txt:88 (include)

    CMake Error at cmake/FindZstd.cmake:68 (add_library):
      add_library cannot create ALIAS target "dep_zstd" because target
      "libzstd_static" does not already exist.
    Call Stack (most recent call first):
      cmake/Dependencies.cmake:29 (find_package)
      CMakeLists.txt:88 (include)

chore: Juggle some include headers

build: Fix MSVC /Zc:preprocessor warning (#1461)

Don't add the /Zc:preprocessor- compiler flag when it's not needed, to
avoid the following warning:
D9025 : overriding '/Zc:preprocessor' with '/Zc:preprocessor-

The latest Windows SDK v10.0.22621 compiles fine with conforming
preprocessor enabled, the bug was in older SDK-s like <=10.0.20348.0.

Add the /Zc:preprocessor for msvc >=v19.25, it didn't exist before this
version (it existed as /experimental:preprocessor before).

chore: Remove unused headers (#1460)

refactor: Use tl::expected for process_args return value

This should make the error paths more obvious.

As discussed in #1459.

chore: Fix some Cppcheck warnings

chore: Remove obsolete os_path helper in test_storage_local_util

chore: Improve cast and avoid repeating types (#1459)

feat: Add argument handling for Emscripten's --em-config (#1458)

build: Fix setting of DEPS=LOCAL if FETCHCONTENT_FULLY_DISCONNECTED=ON

Fixes #1456.

chore: Fix spelling

perf: Use posix_spawn for executing compiler check command (#1451)

refactor: Simplify code

ci: Add GCC 14 build

ci: Use ubuntu-24.04 for GCC 13

Apparently the ubuntu-22.04 image no longer has the g++-13-multilib
package, at least not in GitHub.

feat: Add --print-version option (#1454)

I have added a new `--print-version` option as ccache will support PCH
on msvc and I will need to somehow detect the ccache version to
correctly decide if PCH should be disabled
(`CMAKE_DISABLE_PRECOMPILE_HEADERS`).

So if ccache >=4.10 then don't disable PCH and if it's below then set
`CMAKE_DISABLE_PRECOMPILE_HEADERS=ON`.

fix: Remove TAKES_ARG for /Fp and /Yu MSVC options (#1453)

/Fp and /Yu don't allow space between option and option value.

Fixes #1452

fix: Handle -Yc without -Fp and -Fo for msvc (#1450)

It allows passing the `-Yc` option without the `-Fp` option and also
without the `-Fo` option.

fix: Handle -Yc without filepath for msvc (#1448)

This PR further fixes the #1384. Fixes the case when the `/Yc` option is
without the filepath and the `/Fppathname` is also defined.

The `/Yc` can be passed in two ways with and w/o the filepath. When it's
passed w/o the filepath it must take the value of the `/Fp` option and
if the `/Fp` option isn't defined then the resulting .pch file must have
the same base name as the base source file with appended `.pch`
extension (this case isn't handled correctly by ccache).

The `/Yc` option doesn't support passing a filepath with the space
between like `/Yc filepath`. Because of this the `TAKES_ARG` must be
removed. All occurrences of `compopt_takes_path()` can't be invoked for

I have also added a new unittest for this case: "MSVC PCH options with
empty -Yc" and also tested it manually on my example project. Just now,
I have also tested it on a big project with 200 TU with qmake and cmake
build systems with msvc and also clang-cl with msvc compilers with 100%
cache hits (PCH enabled and /Zi replaced with /Z7).

feat: Add support for -fdump-ipa-clones (#1449)

Fixes #1447. Citing:

`-fdump-ipa-clones` is used heavily for live patching. Especially, when
one builds a distro kernel (like SLE 15 SP6), the build uses the option
to generate additional `.000i.ipa-clones` files.

fix: Force run_second_cpp=true when generating profiling information

If run_second_cpp=false the coverage report will refer to the temporary
preprocessed file instead of the source file. Fix this by forcing
run_second_cpp=true if profiling information is being generated.

Fixes #1441.

fix: Hash "apparent real path" of object file when using -fprofile-arcs

The object file stores an absolute path based on apparent CWD when
-fprofile-arcs is used, not only the relative object filename.

test: Improve verbose printing of test names

refactor: Add more Hash::hash overloads

docs: Improve documentation of gcno_cwd sloppiness

As suggested by Ben Portner in #1444.

fix: Handle -fdiagnostics-color for Clang again

Regression in 96ec6c9d98b88f00e1a69bdd0214c237bc7ed04e (ccache 4.6.2).

Fixes #1446.

chore: Clean up comment and debug log string

test: Improve printing of test suite

chore: Fix typo

chore: Add Andrew Stubbs to typos ignore list

chore: Remove unnecessary depend_extra_args

The ordinary compiler_args list can be used for executing the compiler
in the depend mode since dependency arguments are present there after
07b55f13e119a2a35d166a73929643911ea69d52.

test: Improve verbose printing of test names

feat: Support -Xpreprocessor -fopenmp in direct mode

All uses of -Xpreprocessor disable the direct mode as a safety measure
since the command line could include things like

  -Xpreprocessor -MF -Xpreprocessor file.d

which ccache needs to understand as

  -MF file.d

Ideally, ccache should handle this in a generic way. Meanwhile, let's
allow it in the a special case of "-Xpreprocessor -fopenmp" since that's
required on macOS to enable OpenMP.

Closes #1434.

refactor: fs::path-ify some functions

Fixes #1417.

bump: Update to nonstd-span 0.11.0

bump: Update to zstd 1.5.6

refactor: Improve util::copy_file implementation

- Merge macOS and POSIX implementations into one.
- Improve error messages.
- Improve variable names.

refactor: Improve dependency file parsing

- Use Depfile::tokenize to parse the dep file in rewrite_source_paths
  instead of an even more ad-hoc parser.
- Add Depfile::untokenize to go from tokens back to text representation.

ci: Improve MSYS2 job names

build: Improve handling of dependencies (#1429)

- Introduced a new CMake variable called `DEPS` with the following
semantics:
- `AUTO` (the default): Use dependencies from the local system if
available. Otherwise: Use bundled dependencies if available. Otherwise:
Download dependencies from the internet (dependencies will then be
linked statically).
- `DOWNLOAD`: Use bundled dependencies if available. Otherwise: Download
recommended versions from the internet (dependencies will then be linked
statically).
- `LOCAL`: Use dependencies from the local system if available.
Otherwise: Use bundled dependencies if available.

The old `HIREDIS_FROM_INTERNET`, `ZSTD_FROM_INTERNET` and `OFFLINE`
variables have been removed in favor of `DEPS`.
- Streamlined the CMake code for hiredis and zstd.
- Removed bundled `getopt_long` implementation.

It seems likely that getopt_long is available on all platforms where
ccache is built nowadays, except Windows. Therefore, remove the bundled
getopt_long implementation for now.

If it turns out that somebody wants to compile ccache on a system that
lacks getopt_long we can add support specifying a system or downloaded
version.
- Implemented our own AVX2 runtime detection instead of using a blake3's
ditto. This opens up for using blake3 from the system.
- Added support for using blake3, httplib, nonstd/span and tl/expected
from the system instead of bundled versions.
- Removed bundled doctest, fmt and xxhash dependencies. Instead,
download them if missing.

Closes #1396.
Closes #1424.

build: Add support for using system blake3

refactor: Implement AVX2 runtime detection instead of using blake3's

build: Avoid bundling xxhash

Download xxhash if missing locally instead of using a bundled version.

build: Extract win32-compatibility stuff to a separate library

build: Let blake3 be a separate target not depended on by third_party

build: Improve build of bundled cxxurl third party dependency

build: Add support for using system tl-expected

build: Add support for using system nonstd-span

build: Add support for using system cpp-httplib

build: Remove bundled getopt_long implementation

It seems likely that getopt_long is available on all platforms where
ccache is built nowadays, except Windows. Therefore, remove the bundled
getopt_long implementation for now.

If it turns out that somebody wants to compile ccache on a system that
lacks getopt_long we can add support specifying a system or downloaded
version.

build: Avoid bundling fmt

Download fmt if missing locally instead of using a bundled version.

build: Avoid bundling doctest

Download doctest if missing locally instead of using a bundled version.

build: Add add_header_only_library function

build: Improve handling of hiredis and zstd dependencies

Introduced a new CMake variable called DEPS with the following
semantics:

- AUTO (the default): Use dependencies from the local system if
  available. Otherwise: Use bundled dependencies if available.
  Otherwise: Download dependencies from the internet (dependencies will
  then be linked statically).
- DOWNLOAD: Use bundled dependencies if available. Otherwise: Download
  recommended versions from the internet (dependencies will then be
  linked statically).
- LOCAL: Use dependencies from the local system if available. Otherwise:
  Use bundled dependencies if available.

The old {HIREDIS,ZSTD}_FROM_INTERNET and OFFLINE variables have been
removed in favor of DEPS.

Also streamlined the CMake code for hiredis and zstd.

perf: Use native file copy on Windows (#1431)

Copyfile improvement for windows.

ci: Add Windows arm64 build (#1433)

Basic arm64 build for windows

ci: Update macOS images used (#1432)

Updates macos images used. macOS-14 is M1 arm64. Macos11 has been
deprecated and will be removed in june

perf: Use copyfile(3) on apple systems (#1430)

Use copyfile for more efficient copying on OSX.

feat: Add sloppiness for .incbin handling (#1423)

Code to address some issues in #1421.

perf: Use sendfile(2) for file copying (#1427)

Use sendfile for file copying as it avoids copying the data to
user-space and back to kernel space.

bump: Upgrade to blake3 1.5.1 (#1428)

Update our dependencies

ci: Disable building test on macOS binaries (#1426)

We don't run the tests when building macOS universal binaries as it's
covered elsewhere so we can save some compile time by removing test
builds.

chore: Fix path to build-in-docker

feat: Clear manifest on recache

If there are bad entries in the manifest it doesn't help to run with
recache if the new entry (resulting from the recached compilation)
already exists as an older entry in the manifest.

Improve this by not populating the manifest in recache mode.

chore: Suppress false positive typos

chore: Sort list

test: Don't leave fs_test.tmp* files after InodeCache unit tests

chore: Add fedora-40 dockerfile

chore: Fix typo in LICENSE.adoc

build: Move add_compile_flag_if_supported to Utils.cmake

ci: Sort package list

chore: Remove redundant copy of DEF_WRAP_1_R

chore: Remove unsupported ubuntu-18.04 build from misc/test-all-systems

chore: Make it possible to run misc/build-in-docker from any directory

chore: Fix build parallelism in ci/build again

The -j option was removed in 39dcc7488159e6812292ecbd15a1ed25ade493a2,
but that means that builds using make will be serial. Thus add the
option again.

chore: Start docker containers with --init

chore: Fix grammar

refactor: Use {read,write}_file for MSYS2 code paths in LockFile

enhance: Implement O_EXCL mode for util::write_file

refactor: Let util::read_file stat fd on POSIX as well

enhance: Teach DirEntry how to stat a file descriptor

fix: Adapt util::LockFile to MSYS2 (#1416)

MSYS2 will not let you create a symlink to a nonexistent file, only to
an already existing file. To overcome this issue we use files, and write
content on it.

For Cygwin/MSYS2, the patch leverages POSIX `open` with the flags
`O_WRONLY | O_CREAT | O_EXCL`, effectively creating an exclusive lock
file. As suggested by @jrosdahl , thank you so much for the suggestion.
This still does not pass the test suite, but makes ccache usable.

perf: Optimize file reading on Windows (#1418)

Reading the file in do_hash_file as Bytes skips CRLF to LF conversion
and is therefore way faster.

Optimize read_file size_hint on Windows by getting the file size of the
existing handle instead of opening a duplicate one.

Optimize read_file size_hint on Windows

Read file in do_hash_file as Bytes