fix: Force run_second_cpp=true when generating profiling information

If run_second_cpp=false the coverage report will refer to the temporary
preprocessed file instead of the source file. Fix this by forcing
run_second_cpp=true if profiling information is being generated.

Fixes #1441.

fix: Hash "apparent real path" of object file when using -fprofile-arcs

The object file stores an absolute path based on apparent CWD when
-fprofile-arcs is used, not only the relative object filename.

test: Improve verbose printing of test names

refactor: Add more Hash::hash overloads

docs: Improve documentation of gcno_cwd sloppiness

As suggested by Ben Portner in #1444.

fix: Handle -fdiagnostics-color for Clang again

Regression in 96ec6c9d98b88f00e1a69bdd0214c237bc7ed04e (ccache 4.6.2).

Fixes #1446.

chore: Clean up comment and debug log string

test: Improve printing of test suite

chore: Fix typo

chore: Add Andrew Stubbs to typos ignore list

chore: Remove unnecessary depend_extra_args

The ordinary compiler_args list can be used for executing the compiler
in the depend mode since dependency arguments are present there after
07b55f13e119a2a35d166a73929643911ea69d52.

test: Improve verbose printing of test names

feat: Support -Xpreprocessor -fopenmp in direct mode

All uses of -Xpreprocessor disable the direct mode as a safety measure
since the command line could include things like

  -Xpreprocessor -MF -Xpreprocessor file.d

which ccache needs to understand as

  -MF file.d

Ideally, ccache should handle this in a generic way. Meanwhile, let's
allow it in the a special case of "-Xpreprocessor -fopenmp" since that's
required on macOS to enable OpenMP.

Closes #1434.

refactor: fs::path-ify some functions

Fixes #1417.

bump: Update to nonstd-span 0.11.0

bump: Update to zstd 1.5.6

refactor: Improve util::copy_file implementation

- Merge macOS and POSIX implementations into one.
- Improve error messages.
- Improve variable names.

refactor: Improve dependency file parsing

- Use Depfile::tokenize to parse the dep file in rewrite_source_paths
  instead of an even more ad-hoc parser.
- Add Depfile::untokenize to go from tokens back to text representation.

ci: Improve MSYS2 job names

build: Improve handling of dependencies (#1429)

- Introduced a new CMake variable called `DEPS` with the following
semantics:
- `AUTO` (the default): Use dependencies from the local system if
available. Otherwise: Use bundled dependencies if available. Otherwise:
Download dependencies from the internet (dependencies will then be
linked statically).
- `DOWNLOAD`: Use bundled dependencies if available. Otherwise: Download
recommended versions from the internet (dependencies will then be linked
statically).
- `LOCAL`: Use dependencies from the local system if available.
Otherwise: Use bundled dependencies if available.

The old `HIREDIS_FROM_INTERNET`, `ZSTD_FROM_INTERNET` and `OFFLINE`
variables have been removed in favor of `DEPS`.
- Streamlined the CMake code for hiredis and zstd.
- Removed bundled `getopt_long` implementation.

It seems likely that getopt_long is available on all platforms where
ccache is built nowadays, except Windows. Therefore, remove the bundled
getopt_long implementation for now.

If it turns out that somebody wants to compile ccache on a system that
lacks getopt_long we can add support specifying a system or downloaded
version.
- Implemented our own AVX2 runtime detection instead of using a blake3's
ditto. This opens up for using blake3 from the system.
- Added support for using blake3, httplib, nonstd/span and tl/expected
from the system instead of bundled versions.
- Removed bundled doctest, fmt and xxhash dependencies. Instead,
download them if missing.

Closes #1396.
Closes #1424.

build: Add support for using system blake3

refactor: Implement AVX2 runtime detection instead of using blake3's

build: Avoid bundling xxhash

Download xxhash if missing locally instead of using a bundled version.

build: Extract win32-compatibility stuff to a separate library

build: Let blake3 be a separate target not depended on by third_party

build: Improve build of bundled cxxurl third party dependency

build: Add support for using system tl-expected

build: Add support for using system nonstd-span

build: Add support for using system cpp-httplib

build: Remove bundled getopt_long implementation

It seems likely that getopt_long is available on all platforms where
ccache is built nowadays, except Windows. Therefore, remove the bundled
getopt_long implementation for now.

If it turns out that somebody wants to compile ccache on a system that
lacks getopt_long we can add support specifying a system or downloaded
version.

build: Avoid bundling fmt

Download fmt if missing locally instead of using a bundled version.

build: Avoid bundling doctest

Download doctest if missing locally instead of using a bundled version.

build: Add add_header_only_library function

build: Improve handling of hiredis and zstd dependencies

Introduced a new CMake variable called DEPS with the following
semantics:

- AUTO (the default): Use dependencies from the local system if
  available. Otherwise: Use bundled dependencies if available.
  Otherwise: Download dependencies from the internet (dependencies will
  then be linked statically).
- DOWNLOAD: Use bundled dependencies if available. Otherwise: Download
  recommended versions from the internet (dependencies will then be
  linked statically).
- LOCAL: Use dependencies from the local system if available. Otherwise:
  Use bundled dependencies if available.

The old {HIREDIS,ZSTD}_FROM_INTERNET and OFFLINE variables have been
removed in favor of DEPS.

Also streamlined the CMake code for hiredis and zstd.

perf: Use native file copy on Windows (#1431)

Copyfile improvement for windows.

ci: Add Windows arm64 build (#1433)

Basic arm64 build for windows

ci: Update macOS images used (#1432)

Updates macos images used. macOS-14 is M1 arm64. Macos11 has been
deprecated and will be removed in june

perf: Use copyfile(3) on apple systems (#1430)

Use copyfile for more efficient copying on OSX.

feat: Add sloppiness for .incbin handling (#1423)

Code to address some issues in #1421.

perf: Use sendfile(2) for file copying (#1427)

Use sendfile for file copying as it avoids copying the data to
user-space and back to kernel space.

bump: Upgrade to blake3 1.5.1 (#1428)

Update our dependencies

ci: Disable building test on macOS binaries (#1426)

We don't run the tests when building macOS universal binaries as it's
covered elsewhere so we can save some compile time by removing test
builds.

chore: Fix path to build-in-docker

feat: Clear manifest on recache

If there are bad entries in the manifest it doesn't help to run with
recache if the new entry (resulting from the recached compilation)
already exists as an older entry in the manifest.

Improve this by not populating the manifest in recache mode.

chore: Suppress false positive typos

chore: Sort list

test: Don't leave fs_test.tmp* files after InodeCache unit tests

chore: Add fedora-40 dockerfile

chore: Fix typo in LICENSE.adoc

build: Move add_compile_flag_if_supported to Utils.cmake

ci: Sort package list

chore: Remove redundant copy of DEF_WRAP_1_R

chore: Remove unsupported ubuntu-18.04 build from misc/test-all-systems

chore: Make it possible to run misc/build-in-docker from any directory

chore: Fix build parallelism in ci/build again

The -j option was removed in 39dcc7488159e6812292ecbd15a1ed25ade493a2,
but that means that builds using make will be serial. Thus add the
option again.

chore: Start docker containers with --init

chore: Fix grammar

refactor: Use {read,write}_file for MSYS2 code paths in LockFile

enhance: Implement O_EXCL mode for util::write_file

refactor: Let util::read_file stat fd on POSIX as well

enhance: Teach DirEntry how to stat a file descriptor

fix: Adapt util::LockFile to MSYS2 (#1416)

MSYS2 will not let you create a symlink to a nonexistent file, only to
an already existing file. To overcome this issue we use files, and write
content on it.

For Cygwin/MSYS2, the patch leverages POSIX `open` with the flags
`O_WRONLY | O_CREAT | O_EXCL`, effectively creating an exclusive lock
file. As suggested by @jrosdahl , thank you so much for the suggestion.
This still does not pass the test suite, but makes ccache usable.

perf: Optimize file reading on Windows (#1418)

Reading the file in do_hash_file as Bytes skips CRLF to LF conversion
and is therefore way faster.

Optimize read_file size_hint on Windows by getting the file size of the
existing handle instead of opening a duplicate one.

Optimize read_file size_hint on Windows

Read file in do_hash_file as Bytes

fix: Don't use Windows lockfile implementation on MSYS2

This reverts commit c6a6e6accefe9e79601e56be5f7438cb593ff016, as
requested in #1415.

build: Use Windows BLAKE3 implementation on MSYS2

Related to issue #1415.

fix: Use Windows lockfile implementation on MSYS2

Likely fixes #1415.

feat: Add knowledge about Xcode -ivfsstatcache option

Closes #1414.

build: Move CMake configuration of dependencies to a separate file

ci: Add CMake toolchain files for cross-compiling to Windows

build: Remove obsolete CMake version check

test: Include unistd.h for getpid

fix: Reduce the risk of false positive direct mode hits

To reduce the risk of getting a false positive hit when a directory
early in the include path now exists, record whether include directories
and similar input paths exist. Note that this is not 100% waterproof
since it only detects newly appearing directories and not newly
appearing header files.

chore: Improve source tree structure

In preparation for adding support for using dependencies from the system
in addition to bundled or downloaded dependencies, restructure the
source tree so that:

- Third party headers are included without a third_party/ prefix, e.g.
  #include <xxhash.h> instead of #include <third_party/xxhash.h>.
- Ccache headers are included with a ccache/ prefix, e.g. #include
  <ccache/util/string.hpp> instead of #include <util/string.hpp>.

This keeps ccache and other headers separated but in another way than
before.

chore: Remove internal tracing framework

The internal tracing calls enabled by ENABLE_TRACING work fine, but I
have found that I never use them or add tracepoints to new code, so in
reality they mostly contribute with dead weight. In an effort to reduce
the amount of dependencies, I have therefore decided to remove the trace
calls, including the bundled minitrace sources.

fix: Hash arguments that affect PCH result with MSVC /Yu

Fixes #1410.

feat: Add -fprofile-update support (#1408)

fix: Allow nonexistent include files in preprocessor mode

After 43c3a44aadcb nonexistent include files found in the preprocessed
output would increment "Could not read or parse input file" and fall
back to just running the compiler. This made ccache not attempt
preprocessor mode for generated code with #line header referencing files
that can't be found, e.g. in an out-of-source build scenario.

Fix this by just disabling direct mode, restoring the pre-43c3a44aadcb
behavior in such cases.

Fixes #1406.

chore: Rename util/fmtmacros.hpp to util/format.hpp

chore: Add missing #includes

refactor: Use util::Bytes::insert for span<const uint8_t>

enhance: Add util::Bytes::insert for span<const uint8_t>

refactor: Avoid raw fmt::format call in TextTable

chore: Clean up usage of #include in headers

chore: Tweak formatting and comments

ci: Add new compilers and update actions (#1402)

feat: Add support for -fcallgraph-info (#1401)

fix: Mark -fcallgraph-info as too hard

-fcallgraph-info generates a .ci file which ccache currently doesn't
know how to store and restore.

Fixes #1400.

feat: Port the inode cache to Windows (#1388)

This PR ports the existing InodeCache to make it work under Windows.
This speeds up ccache a lot, both in the hit and miss cases, when a lot
of headers files are included in several compilation units. In our case
this makes the difference between ccache being worth using or not.

The logic of the InodeCache itself is unchanged. I introduced a
MemoryMap helper class that does the platform specific calls to
mmap/MapViewOfFile. Despite its generic name, I've implemented what was
needed for the InodeCache, it only supports mapping a file (no anonymous
mmap) in a shared fashion with read/write access.
Due to differences in behavior between unix and Windows regarding
unlinking a file that is opened, I am not convinced that it will work
correctly in every situation (for example if a process hold a bucket
lock for more than 5 seconds, the cache is dropped and recreated, under
Windows that won't work as the unlink will fail). That being said it
seems to work well enough when nothing unexpected happens.

I made a small change to the unit test because under Windows, we can't
open() a directory so instead I try to open a temp file in that
directory. After that change the unit tests pass unmodified.
For the bash based test, only the symbolic link test fails. This is
quite strange, when I try to run the test, the call to `ln -fs test1.c
test2.c` fails, but when run manually the same command succeeds. I tried
to run the test manually and it fails anyway but I haven't done anything
to fix it, this looks like more an issue from the DirEntry side than the
InodeCache side. Because of that I've left the bash based test disabled
for Windows, maybe we want to change that to only disable the symbolic
link test?

chore: Use brace initialization for integer literals

chore: Bail out on too large files on 32-bit systems

chore: Improve log messages for selected compression level

perf: Avoid value initialization of data in util::Bytes

fix: Fix reading of files larger than 2^31 bytes

For some kernels read(2) makes a short read for counts larger than 2^31,
even for files on 64-bit architectures. Other kernels seem to not like
large counts at all, returning a failure.

Fix this by limiting the read buffer to a smaller value. This also
removes a short read optimization which should have been removed in
cff3bf417420ea88fe53e7267ae2a356898ae326.

chore: Further improve /Tc and /Tp handling

- Remember if /Tc or /Tp was used and prepend it to the source file sent
  to the preprocessor and compiler.
- Mark non-concatenated versions of /Tc and /Tp as too hard for now.

chore: Fix grammar in NEWS

chore: Update NEWS

(cherry picked from commit ec510e9b0f333b8e97aee98108de3e0858340d59)

chore: Update copyright years

fix: Fix MSVC crash when using /Zi /Fddebug.pdb

With /Zi, MSVC starts a long-lived mspdbsrv.exe background process. The
implementation of #1274 kills all processes created by ccache including
mspdbsrv.exe, which can make cl.exe crash with this error message:

    fatal error C1090: PDB API call failed, error code '23': (0x000006BA)

Fix this by setting JOB_OBJECT_LIMIT_SILENT_BREAKAWAY_OK to only kill
the compiler and not processes that the compiler creates.

Fixes #1386 in a better way.