ci: Update macOS images used (#1432)

Updates macos images used. macOS-14 is M1 arm64. Macos11 has been
deprecated and will be removed in june

perf: Use copyfile(3) on apple systems (#1430)

Use copyfile for more efficient copying on OSX.

feat: Add sloppiness for .incbin handling (#1423)

Code to address some issues in #1421.

perf: Use sendfile(2) for file copying (#1427)

Use sendfile for file copying as it avoids copying the data to
user-space and back to kernel space.

bump: Upgrade to blake3 1.5.1 (#1428)

Update our dependencies

ci: Disable building test on macOS binaries (#1426)

We don't run the tests when building macOS universal binaries as it's
covered elsewhere so we can save some compile time by removing test
builds.

chore: Fix path to build-in-docker

feat: Clear manifest on recache

If there are bad entries in the manifest it doesn't help to run with
recache if the new entry (resulting from the recached compilation)
already exists as an older entry in the manifest.

Improve this by not populating the manifest in recache mode.

chore: Suppress false positive typos

chore: Sort list

test: Don't leave fs_test.tmp* files after InodeCache unit tests

chore: Add fedora-40 dockerfile

chore: Fix typo in LICENSE.adoc

build: Move add_compile_flag_if_supported to Utils.cmake

ci: Sort package list

chore: Remove redundant copy of DEF_WRAP_1_R

chore: Remove unsupported ubuntu-18.04 build from misc/test-all-systems

chore: Make it possible to run misc/build-in-docker from any directory

chore: Fix build parallelism in ci/build again

The -j option was removed in 39dcc7488159e6812292ecbd15a1ed25ade493a2,
but that means that builds using make will be serial. Thus add the
option again.

chore: Start docker containers with --init

chore: Fix grammar

refactor: Use {read,write}_file for MSYS2 code paths in LockFile

enhance: Implement O_EXCL mode for util::write_file

refactor: Let util::read_file stat fd on POSIX as well

enhance: Teach DirEntry how to stat a file descriptor

fix: Adapt util::LockFile to MSYS2 (#1416)

MSYS2 will not let you create a symlink to a nonexistent file, only to
an already existing file. To overcome this issue we use files, and write
content on it.

For Cygwin/MSYS2, the patch leverages POSIX `open` with the flags
`O_WRONLY | O_CREAT | O_EXCL`, effectively creating an exclusive lock
file. As suggested by @jrosdahl , thank you so much for the suggestion.
This still does not pass the test suite, but makes ccache usable.

perf: Optimize file reading on Windows (#1418)

Reading the file in do_hash_file as Bytes skips CRLF to LF conversion
and is therefore way faster.

Optimize read_file size_hint on Windows by getting the file size of the
existing handle instead of opening a duplicate one.

Optimize read_file size_hint on Windows

Read file in do_hash_file as Bytes

fix: Don't use Windows lockfile implementation on MSYS2

This reverts commit c6a6e6accefe9e79601e56be5f7438cb593ff016, as
requested in #1415.

build: Use Windows BLAKE3 implementation on MSYS2

Related to issue #1415.

fix: Use Windows lockfile implementation on MSYS2

Likely fixes #1415.

feat: Add knowledge about Xcode -ivfsstatcache option

Closes #1414.

build: Move CMake configuration of dependencies to a separate file

ci: Add CMake toolchain files for cross-compiling to Windows

build: Remove obsolete CMake version check

test: Include unistd.h for getpid

fix: Reduce the risk of false positive direct mode hits

To reduce the risk of getting a false positive hit when a directory
early in the include path now exists, record whether include directories
and similar input paths exist. Note that this is not 100% waterproof
since it only detects newly appearing directories and not newly
appearing header files.

chore: Improve source tree structure

In preparation for adding support for using dependencies from the system
in addition to bundled or downloaded dependencies, restructure the
source tree so that:

- Third party headers are included without a third_party/ prefix, e.g.
  #include <xxhash.h> instead of #include <third_party/xxhash.h>.
- Ccache headers are included with a ccache/ prefix, e.g. #include
  <ccache/util/string.hpp> instead of #include <util/string.hpp>.

This keeps ccache and other headers separated but in another way than
before.

chore: Remove internal tracing framework

The internal tracing calls enabled by ENABLE_TRACING work fine, but I
have found that I never use them or add tracepoints to new code, so in
reality they mostly contribute with dead weight. In an effort to reduce
the amount of dependencies, I have therefore decided to remove the trace
calls, including the bundled minitrace sources.

fix: Hash arguments that affect PCH result with MSVC /Yu

Fixes #1410.

feat: Add -fprofile-update support (#1408)

fix: Allow nonexistent include files in preprocessor mode

After 43c3a44aadcb nonexistent include files found in the preprocessed
output would increment "Could not read or parse input file" and fall
back to just running the compiler. This made ccache not attempt
preprocessor mode for generated code with #line header referencing files
that can't be found, e.g. in an out-of-source build scenario.

Fix this by just disabling direct mode, restoring the pre-43c3a44aadcb
behavior in such cases.

Fixes #1406.

chore: Rename util/fmtmacros.hpp to util/format.hpp

chore: Add missing #includes

refactor: Use util::Bytes::insert for span<const uint8_t>

enhance: Add util::Bytes::insert for span<const uint8_t>

refactor: Avoid raw fmt::format call in TextTable

chore: Clean up usage of #include in headers

chore: Tweak formatting and comments

ci: Add new compilers and update actions (#1402)

feat: Add support for -fcallgraph-info (#1401)

fix: Mark -fcallgraph-info as too hard

-fcallgraph-info generates a .ci file which ccache currently doesn't
know how to store and restore.

Fixes #1400.

feat: Port the inode cache to Windows (#1388)

This PR ports the existing InodeCache to make it work under Windows.
This speeds up ccache a lot, both in the hit and miss cases, when a lot
of headers files are included in several compilation units. In our case
this makes the difference between ccache being worth using or not.

The logic of the InodeCache itself is unchanged. I introduced a
MemoryMap helper class that does the platform specific calls to
mmap/MapViewOfFile. Despite its generic name, I've implemented what was
needed for the InodeCache, it only supports mapping a file (no anonymous
mmap) in a shared fashion with read/write access.
Due to differences in behavior between unix and Windows regarding
unlinking a file that is opened, I am not convinced that it will work
correctly in every situation (for example if a process hold a bucket
lock for more than 5 seconds, the cache is dropped and recreated, under
Windows that won't work as the unlink will fail). That being said it
seems to work well enough when nothing unexpected happens.

I made a small change to the unit test because under Windows, we can't
open() a directory so instead I try to open a temp file in that
directory. After that change the unit tests pass unmodified.
For the bash based test, only the symbolic link test fails. This is
quite strange, when I try to run the test, the call to `ln -fs test1.c
test2.c` fails, but when run manually the same command succeeds. I tried
to run the test manually and it fails anyway but I haven't done anything
to fix it, this looks like more an issue from the DirEntry side than the
InodeCache side. Because of that I've left the bash based test disabled
for Windows, maybe we want to change that to only disable the symbolic
link test?

chore: Use brace initialization for integer literals

chore: Bail out on too large files on 32-bit systems

chore: Improve log messages for selected compression level

perf: Avoid value initialization of data in util::Bytes

fix: Fix reading of files larger than 2^31 bytes

For some kernels read(2) makes a short read for counts larger than 2^31,
even for files on 64-bit architectures. Other kernels seem to not like
large counts at all, returning a failure.

Fix this by limiting the read buffer to a smaller value. This also
removes a short read optimization which should have been removed in
cff3bf417420ea88fe53e7267ae2a356898ae326.

chore: Further improve /Tc and /Tp handling

- Remember if /Tc or /Tp was used and prepend it to the source file sent
  to the preprocessor and compiler.
- Mark non-concatenated versions of /Tc and /Tp as too hard for now.

chore: Fix grammar in NEWS

chore: Update NEWS

(cherry picked from commit ec510e9b0f333b8e97aee98108de3e0858340d59)

chore: Update copyright years

fix: Fix MSVC crash when using /Zi /Fddebug.pdb

With /Zi, MSVC starts a long-lived mspdbsrv.exe background process. The
implementation of #1274 kills all processes created by ccache including
mspdbsrv.exe, which can make cl.exe crash with this error message:

    fatal error C1090: PDB API call failed, error code '23': (0x000006BA)

Fix this by setting JOB_OBJECT_LIMIT_SILENT_BREAKAWAY_OK to only kill
the compiler and not processes that the compiler creates.

Fixes #1386 in a better way.

chore: Undo revert in "Fix MSVC crash when using /Zi /Fddebug.pdb"

In preparation for solving #1386 while keeping the essence of #1274.

This reverts commit a2bf2956d78599b2397081a9e7b253a569c7c932.

fix: Don't crash on full disk when recompressing the cache

chore: Make implementation of /Tc and /Tp actually work

In addition to 7b8aaf562feb.

fix: Detect bad remote storage URLs gracefully again

Regression in 829f93c48f21.

Fixes #1394.

feat: Add support for MSVC /Tc and /Tp options

Closes #1387.

bump: Upgrade to fmt 10.2.1

refactor: Simplify Statistics::format_machine_readable slightly

bump: Upgrade to cpp-httplib 0.15.2

fix: Fix MSVC crash when using /Zi /Fddebug.pdb

This commit reverts 8e3ada3f830ad0e7d3ddf4eaf2b16e695bd084e4 (#1274).

Fixes #1386.

feat: Let --inspect retain atime if possible

For storage that relies on atime for LRU cleanup purposes, it makes
sense not to affect atime when inspecting cache entries.

perf: Remove now unnecessary fs::path::string calls

refactor: fs::path-ify core::CacheEntry::Header

perf: Use util::PathString instead of fs::path copy

enhance: Add util::PathString

chore: Remove obsolete section from LICENSE.adoc

chore: Fix some clang-tidy warnings

feat: Add support for MSVC /Yc option (precompiled headers) (#1384)

feat: Add `--print-stats` format selection, JSON format (#1382)

feat: Add `--print-log-stats` (#1381)

This adds a "machine readable" variant of `--show-log-stats`, similar to
`--print-stats` as a variant of `--show-stats`.

chore: Remove left-over debug comment

fix: Disable caching for modified source/include files

On a cache miss, ccache opts out of the direct mode when a "too new"
include file is found. This is done to avoid a race condition in the
direct mode when a header file if modified after ccache is invoked but
before the compiler is executed. Modifying the main source code file is
not a race condition when "run_second_cpp = false", which was the case
at the time the direct mode was introduced. However, the default of
run_second_cpp was changed to true in ccache 3.3, and the potiential
race condition then exists for both the source and the include files.

Fix this by disabling caching completely (not only the direct mode) when
modification of a source/include file is detected.

Closes #1378.

feat: Allow any prefix in prefix_command(_cpp) options

The prefix_command and prefix_command_cpp configuration options require
that the prefixes can be found in PATH.

This commit relaxes this requirement so that a relative prefix can be
used and a prefix program can have arguments.

refactor: fs::path-ify util::is_dev_null_path

enhance: Add Args::push_back(std::string&& arg)

chore: Remove time_of_compilation in favor of time_of_invocation

We can compare source/include files against time of invocation just as
well; source files shouldn't be modified when ccache has started anyway.

refactor: Move Util::is_absolute_path_with_prefix to util

refactor: Use std::string_view in compopt functions

fix: Avoid crash for -arch as last compiler option

The bug has been present since 89aa39f394e0fa4935e6cadd7184e372a37f9506
(ccache 3.3).

Fixes #1377.

refactor: Convert usage of Util::remove_extension to std::filesystem

refactor: Convert usage of Util::dir_name to std::filesystem

enhance: Add wrapper of std::filesystem::equivalent

refactor: Convert usage of Util::change_extension to std::filesystem

refactor: Convert usage of Util::get_extension to std::filesystem

refactor: Convert usage of util::real_path to std::filesystem

test: Add test of core::rewrite_stderr_to_absolute_paths

refactor: Convert usage of Util::base_name to std::filesystem