fix: Remove usage of deprecated codecvt header (#1172)

Based on https://stackoverflow.com/a/69410299/764870.

refactor: Store compiler output as bytes

As discussed in #1173.

enhance: Add util::to_string instantiations for Bytes and span

test: Add tests for util::to_string and util::to_string_view

fix: Handle spaces between target and colon in dependency files (#1166)

Support dependency files that are generated with spaces between the target and
the colon sign.

test: Add another depend mode test (#1174)

The first test exercises a relative path only identical generation.

The second test exhibits a known limitation when the same test case is done with
an absolute path (depend file is wrong).

fix: Retain line CRLF in compiler output on Windows (#1173)

When the cached data is read, the output to fd is binary
(Util::send_to_fd), so in order to maintain the original
line endings, the output must be stored as binary too.

Revert "feat: Support auto depend mode for MSVC without /showIncludes (#1158)"

This reverts commit 8b65880b5ad817156b58c58b5133aafc99b0a264.

See <https://github.com/ccache/ccache/pull/1158#issuecomment-1268748557>.

feat: Support auto depend mode for MSVC without /showIncludes (#1158)

Co-authored-by: Luboš Luňák <l.lunak@centrum.cz>

build: Use pkgconfig for zstd search (#1169)

fix: Capture MSVC stdout/stderr when running from Visual Studio (#1170)

fix: Fix implementation of unsetenv on Windows (#1171)

doc: Sort sloppiness values by name

feat: Improve handling of -frandom-seed and description of sloppiness

I should not be necessary to distinguish between existence and
non-existence of -frandom-seed if random_seed sloppiness is requested,
so don't hash the "-frandom-seed=" part either.

feat: Add sloppiness for -frandom-seed (#1168)

feat: Improve statistics for remote hits/misses

ccache collects statistics about local and remote storage layer get/put
operations and describes them as "local/remote hits/misses" in the
output of "ccache -s". However, since "hits" and "misses" mean "result
hit/miss" in the "cacheable calls" section, it's easy to think that they
measure the same thing.

This commit improves the situation by:

- Adding new "local/remote hits/misses" counters that mean "result
  hit/miss". These are shown if remote storage is used (since they
  otherwise are redundant and equal to the normal "hits/misses"
  counters) or if the -v/--verbose option is given.
- Presenting the previous "local/remote hits/misses" counters as
  "local/remote reads". Only shown in verbose mode.
- Adding "local/remote writes" counters. Only shown in verbose mode.

Closes #1016.

chore: Improve inode cache log messages

fix: Don't increment preprocessed_cache_miss in recache mode

refactor: Sort k_statistics_fields

refactor: Extract code for retrieving manifest to a function

feat: Implement "remote only" mode

Closes #1010.

chore: Rename primary/secondary storage to local/remote storage

There is a feature request to be able not to use a local cache at all,
only a network cache. With such a feature, the names "primary storage"
and "secondary storage" make less sense since ccache would be operating
in "secondary only" mode, but then that storage would of course become
the primary (and only).

Let's rename "primary storage" to "local storage" and "secondary
storage" to "remote storage" – operating in "remote only" mode then
makes sense.

One of the original motivations to call networked storage "secondary" is
that the file storage can be used for local file systems as well, making
such storage "not quite remote", but in practice I guess the file
storage backend used primarily for network file systems.

chore: Rename primary/secondary config to config/system config

fix: Support /external:I for MSVC (#1165)

test: Fix typo in depend tests (#1167)

test: Fix KEEP_TESTDIR test in test/run (#1161)

feat: Use subsecond timestamps for include file check

To avoid a race condition, ccache disables the direct mode if an include
file has a too new mtime or ctime. Previously this check used one second
resolution timestamps, which meant that a generated include file often
would disable direct mode hits for up to one second. Now ccache uses
timestamps with subsecond resolution (nanoseconds on Linux), so the
direct mode will in practice no longer have to be disabled for generated
include files.

feat: Use subsecond resolution timestamps in manifest files

This improves accuracy in with "file_stat_matches" sloppiness.

refactor: Use util::TimePoint for timestamps

enhance: Add util::TimePoint and util::Duration

test: Silence output from $COMPILER --version

feat: Merge local manifest with fetched remote manifest

With read-only secondary storage, it can happen that primary storage has
a manifest named M with a result entry R1, while secondary storage also
has a manifest M but with result R2. On a compilation that matches R2,
ccache will first succeed to look up M in primary storage, fail to find
R2 and then get M from secondary storage where R2 can be found. Since M
already exists locally, ccache will simply return the cache hit but not
store knowledge of R2 locally. On a rebuild of R2, ccache therefore
needs to fetch from secondary storage again.

The improvement brought by this commit is that ccache now merges the
manifests from primary and secondary storage and stores the merged
version in primary storage. In other words, ccache setups with read-only
secondary storage will be able to accumulate local header file
combinations and seamlessly combine them with changes from secondary
storage.

Closes #1049.

refactor: Extract timestamp logic from Manifest

refactor: Improve Storage::get API to be able to return multiple times

fix: Don't reshare results with raw files to secondary storage

refactor(storage): Pass cache entries via memory instead of files

fix: Make sure that temporary files always have .tmp. in the name

PrimaryStorage::clean_dir relies on being able to classify temporary
files from the filename.

feat: Print result format version and no of files in --inspect

chore: Simplify cache entry reading and writing

Cache entries are now fully read into memory before (de)compressing,
checksumming and parsing, instead of streaming data like before. While
this increases memory usage when working with large object files, it
also simplifies the code a lot. Another motivation for this change is
that cache entry data is not streamed from secondary storage anyway, and
it makes sense to keep the architecture simple and similar for primary
and secondary storage code paths.

The cache entry format has modified so that the checksum covers the
potentially compressed payload (plus the header), not the uncompressed
payload (plus the header) like before. The checksum is now also stored
in an uncompressed epilogue. Since the cache entry format has been
changed, the input hash has been changed as well.

enhance: Add util::zstd_* functions

refactor: Let core::CacheEntryDataWriter work with util::Bytes

feat: Improve logging for Util::clone_hard_link_or_copy_file

refactor: Let util::DataReceiver take uint8_t

refactor: Use util::throw_on_error

enhance: Add util::throw_on_error functions

enhance: Add prefix parameter to util::value_or_throw

enhance: Add util::read_file_part function

perf: Use util::Bytes

enhance: Add util::Bytes class

refactor: Use memory buffers instead of streams for manifests

This is part of a larger refactoring effort with the goal of simplifying
how cache entries are read and processed.

refactor: Use memory buffers instead of streams for results

- Result objects now only know and care about the result payload part of
  a result cache entry.
- Result object are no longer tightly coupled with the primary storage
  implementation.

This is part of a larger refactoring effort with the goal of simplifying
how cache entries are read and processed.

build: Remove now redundant CMAKE_CURRENT_SOURCE_DIR usage

As of CMake 3.13, target_sources works as expected with relative paths
in subdirectories.

ci: Add minimum GitHub token permissions for workflows (#1159)

refactor: Reuse local reference in process_args (#1157)

fix: Don't crash with no or nonexistent source file with base_dir

Regression in fec405539bca90ebd0992ae6606bd10eec3a64da.

Fixes #1155.

chore: Support clang-format 14

clang-format 14 chokes on a construction in unittest/test_Stat.cpp. Work
around this by moving ifdefs around.

fix: Unlink destination before opening in util::write_file

This allows for writing to a file that already exists with read-only
permissions.

enhance: Let util::write_file take an std::string_view

enhance: Add util::to_span and util::to_string_view functions

enhance: Short circuit StatisticsCounters::increment for zero value

enhance: Improve error messages for Util::copy_file

refactor: Pass Config instead of Context to Result::Writer

refactor: Use more std::string_view

refactor: Replace util::Blob alias

I want to introduce more use of nonstd::span<const uint8_t> and I think
that it makes more sense to use unaliased types.

enhance: Support nonstd::span<const uint8_t> for util::write_file

enhance: Add nonstd::span 0.10.3

fix: Don't fail if object file exists and is unwritable

chore: Remove share-hits attribute for secondary storage

[1] added a share-hits attribute for secondary storages so that it's
possible to avoid sharing hits to primary storage for a specific
secondary storage. I believe that nobody needs that level of control --
what one would like is the ability to not use the primary storage at
all. Such a feature will be added in a a future commit, but for now the
share-hits=false functionality is just in the way, so let's remove it.

[1]: 1924ad69cc42336a61ee69d0042de53db2a2a52c

(cherry picked from commit fd91ae11db7b49ad26a347f08517b81c7d549153)

refactor: Split calculate_result_and_manifest_key function

feat: Add support for Clang "--" option

Closes #1149.

chore: Tweak code format and comment

feat: Add support for caching assembler listing files

Closes #1090.

fix: Handle failure to write to stderr when failing to write to log file

This can happen with

    CCACHE_LOGFILE=/dev/stdout ccache compiler ... |& head -n 1

or similar.

test: Disable "output file failure" test for unsupported filesystem

The "Failure to write output file" test assumes that the filesystem
supports read-only directories. Improve this by probing this assumption
before running the test.

Fixes #1150.

fix: Use -P -Fi for saving MSVC preprocessor output

Even though MSVC supports "-E" and "-c -o" it apparently doesn't support
"-E -o", so [1] broke MSVC.

[1]: 64fc42ca2c5c9fe60ef4f1dc3882edb5f35579d6

Fixes #1146.

fix: Fix build with musl when using GCC 12 (#1145)

fix: Detect PCH for concatenated -include option

Fixes #1143.

fix: Avoid narrowing warning for struct statfs f_type field

As noted in #1142.

doc: Touch up config file and cache directory documentation

chore: Tweak formatting

chore: Touch up documentation of Util::make_path

build: Improve descriptions of installation variables

refactor: Use FMT macro to format exception messages

Using the FMT macro explicitly makes invalid format message
constructions compile-time errors instead of run-time errors.

chore: Update NEWS

(cherry picked from commit ee6ea5f33dd18710730d22416a91ea1e0178bef2)

chore: Update authors

(cherry picked from commit b4f0a18f30ba65b9f291fdc820955189b895c896)

fix: Add missing format argument to error message

fix: Don't crash in race between file read and cleanup

As mentioned in discussion #1102.

Regression in 02dac1f18084c0931aa6b8c1a07e9aedfadb5642.

fix: Strip .exe from executable name on version output (#1135)

test: Add version output on failure (#1134)

fix: Fix Clang/Windows build (#1132)

chore: Remove now unused Util::{read_fd,read_file,write_file} functions

refactor: Use util::{read_fd,read_file,write_file} functions

refactor: Use new util::Blob typedef

refactor: Use util::Blob for binary data in storage API

enhance: Add util::{read_fd,read_file,write_file} functions

chore: Improve log message about too many raw file entries

chore: Touch up {download,upload}-redis scripts

bump: Upgrade to nonstd::expected 0.6.2

feat: Enable inode cache by default

See discussion #1086.

feat: Improve inode cache robustness

- Only enable the inode cache at compile-time if it's possible to
  determine filesystem type.
- Only use the inode cache at run-time if the filesystem type is known
  to work with the inode cache instead of refusing just on NFS.