fix: Disable masm on msbuild for blake3 with VS

Because of some bug with either msbuild or the cmake generator, the C
compiler flags are passed to the masm assembler making it fail.

Use the C intrinsic versions for blake3 when msbuild is in use.

Fix #1278

Signed-off-by: Rafael Kitover <rkitover@gmail.com>

bump: Update blake3 1.3.1 -> 71a2646

Update blake3 to master, commit 71a2646 .

Signed-off-by: Rafael Kitover <rkitover@gmail.com>

docs: Clarify --evict-older-than semantics

Closes #1292.

fix: Support Windows drive letter in file URLs for remote storage

Closes #1291.

fix: Make --trim-max-size accept 0 for no limit

test: Simplify util::read_file_part test again

build: Enable _GLIBCXX_ASSERTIONS in debug build mode

See also #1288.

fix: Fix undefined behavior in util::read_file_part for zero count

If util::read_file_part's count argument is 0 (which can currently only
happen in unit tests), we'll do &result[0] where result is
default-initialized std::unique_ptr<uint8_t[]>. This is not allowed even
though we won't actually dereference the pointer. Found by compiling
with -D_GLIBCXX_ASSERTIONS.

Fixes #1288.

test: Fix typo (missing line continuation) (#1287)

Fixes  typo in ef634bdb292e1e24b8d1b5490e7857144a77c0fd.

chore: Update authors

chore: Update NEWS

bump: Upgrade to cpp-httplib 0.12.3

test: Fix test failure in GitHub CI mingw64 jobs

doc: Add remote file storage example with URL-encoded space

As suggested in #1281.

bump: Upgrade to doctest 2.4.11

Fixes #1194.

chore: Suppress clang-tidy warnings we don't want to fix

refactor: Improve calculate_result_and_manifest_key parameters

As suggested by clang-tidy
(readability-suspicious-call-argument,-warnings-as-errors).

refactor: Use constructor member initializer lists

As suggested by clang-tidy
(cppcoreguidelines-prefer-member-initializer).

refactor: Use std::unique_ptr for data in util::Bytes

chore: Sort .clang-tidy check list

chore: Add comments for all statistics counters

As suggested in discussion #1271.

refactor: Extract MSVC debug option logic to a function

fix: Limit MSVC debug flag detection to documented parameters (#1263)

fix: Don't add additional depend mode options after Clang -- option

With the depend mode enabled, ccache executes the original command line
verbatim, potentially with the addition of a few extra options. However,
for clang or clang-cl it is not possible to simply append the additional
options to the end of the original command line since there may be a
"--" option to indicate the end of options.

Fix this by inserting the additional options directly after the compiler
instead of at the end.

Fixes #1273.

bump: Update to zstd 1.5.5 (#1272)

fix: Find Ccache version from lightweight Git tag

Ccache calculates its version from a matching Git tag by using the "git
describe" command, which only considers annotated tags. All ccache tags
are annotated. However, when running a GitHub action job for a tag the
local Git repository is (at least by default) a shallow clone with the
tag being converted to a lightweight tag. This makes "git describe" not
see the tag.

Fix this by adding --tags to "git describe" to make it consider
lightweight tags as well.

Fixes #1270.

test: Add test for default value of inode_cache

fix: Make output of "ccache -k max_size" parsable

ci: Disable Windows 64-bit MSBuild jobs for now

The Windows VS2019 64-bit MSBuild and Windows VS2022 64-bit MSBuild
GitHub actions jobs have started failing on master due to some changes
in the CI environment. See issue #1278.

feat: Don't treat /Zi as unsupported for clang-cl (#1266)

For MSVC /Zi is unsupported since it writes a additional
.pdb file per each .obj file and it creates some messy
interaction with ccache. But for clang-cl /Zi is actually
treated as /Z7 and only embeds the debug info in the .obj
file so it makes sense to allow this flag when compiling
with clang-cl.

Update NEWS

(cherry picked from commit 9b1033f3ae534e5aad02c10f663b589b8f28c026)

build: Make ccache compile with clang-cl on Windows (#1260)

chore: Update copyright years

chore: Update NEWS

Revert "bump: Upgrade to zstd 1.5.4"

This reverts commit 1853902f75567089a5ef46511573c7f352c6c232.

zstd 1.5.4 requires CMake 3.18+ (by mistake), so downgrade for now.

chore: Fix typos

chore: Add typos configuration

feat: Support overriding MSVC /Z* options

MSVC options /Zi and /ZI are too hard since they produce separate PDB
files. /Z7 is OK, but if the command line contains /Zi or /ZI followed
by /Z7, MSVC will use the latter (with a warning) but ccache will still
consider the command line too hard.

This commit makes ccache understand that only the last /Z* option will
be used and thus accepts the command line if the last /Z* option is /Z7.

Closes #1239.

refactor: Improve InodeCache::get signature

feat: Make it possible to disable ccache for a certain source code file

enhance: Add util::read_file_part<std::string> implementation

refactor: Use util::BitSet for hash_source_code_file

refactor: Use util::BitSet for core::Sloppiness

enhance: Add util::BitSet

bump: Upgrade to doctest 2.4.10

feat: Improve cache size presentation and specification

Aligned how cache size is presented (in "ccache --show-stats", "ccache
--show-compression", "ccache --recompress", debug logs, etc.) and
specified (in configuration files, "ccache --max-size" and "ccache
--trim-max-size"). The size units are now formatted according to the
type of size unit prefix used for the max_size/CCACHE_MAXSIZE setting: a
decimal size unit prefix (k/M/G/T with or without B for bytes) in
max_size means using decimal size unit prefix for presented sizes, and
similar for binary size unit prefixes (Ki/Mi/Gi/Ti with or without B for
bytes). If no unit is specified, GiB is assumed, . For example, "ccache -M
10" means 10 GiB.

Also aligned how cache sizes are calculated. Now all sizes are computed
as "apparent size", i.e., rounded up to the disk block size. This means
that the cache size in "--show-stats" and the sizes presented in
"--show-compression" and "--recompress" now match.

enhance: Add util::TextTable::Cell::Cell(std::string_view)

feat: Improve disk size calculation on Windows

Windows file system block size is typically 4096 bytes, not 1024.

enhance: Add util::likely_size_on_disk

enhance: Add util::split_once(std::string&&, char)

refactor: Move Util::parse_size to util

refactor: Move Util::format_{human,parsable}_* to util

feat: Improve error message when failing to parse command line config

chore: Remove now superfluous "this->" in lambda

It was needed for compatibility with older compilers.

chore: Always add -Wdouble-promotion to dev mode flags

Clang 3.4 is not longer supported anyway.

chore: Enable and fix some more warnings

chore: Clean up Redis helper scripts a bit (#1254)

- Support any version of manifest and result.
- Skip over tmp dir and allow avoiding setnx.

feat: Add support for setting per-compilation config on command line

Closes #1035.

chore: Fix typos

bump: Upgrade to zstd 1.5.4

fix: Log config and command line before finding compiler

If the compiler can't be found then ccache exits early and doesn't print
the config and command line to the log. This makes it harder to debug
problems with finding the compiler, like issue #1249.

Improve this by logging "safe things" before searching for the compiler.

perf: Don't update stats file when there are no incremented counters

This can happen for instance when ccache is about to exit with a fatal
error.

fix: Don't read first character of empty strings

fix: Handle Unix-style paths as non-options to MSVC

For MSVC, ccache treats all arguments starting with a slash as an
option, which makes it fail to detect the source code file if it's
passed as a Unix-style absolute path.

Fix this by not treating an argument as an option if it's (a) an unknown
option, and (b) the argument exists as a file in the file system.

Fixes #1230.

chore: Fix spelling in comment

feat: Log executed command lines on Windows

feat: Add quotes around arguments with space in logged command lines

docs: Fix bad reference to "Remote storage backends"

fix: Fix rare crash in signal handler

If the process is signaled after SignalHandler::~SignalHandler has run
then this assert will trigger:

    ccache: SignalHandler.cpp:87: static void SignalHandler::on_signal(int): failed assertion: g_the_signal_handler

Fix this by deregistering the signal handler function before destructing
the SignalHandler object.

Fixes #1246.

bump: Upgrade to cpp-httplib 0.11.4

build: Fix Zstd and Hiredis downloads for unstable GitHub archives

The content of the Zstd and Hiredis GitHub source achive URLs like
<https://github.com/$X/$Y/archive/$tag.tar.gz> apparently change from
time to time. Color me surprised. [1] says that this is intentional
(although, at the time of writing, reverted temporarily). Let's use
another URL for Zstd and not verify the checksum for Hiredis (since
there is no release source archive).

[1]: https://github.blog/changelog/2023-01-30-git-archive-checksums-may-change/

ci: Upgrade to Node 16-based actions

Reference:
<https://github.blog/changelog/2022-09-22-github-actions-all-actions-will-begin-running-on-node16-instead-of-node12/>

fix: Cache path relativization in preprocessed output

After PR #1033 and [1], a stat call is made each time a note about an
include file is found in the preprocessed output. Such calls are very
performant on Linux (and therefore unnoticed until now), but apparently
costly on Windows.

Fix this by caching the calculation of relative paths in
process_preprocessed_file.

[1]: 9a05332915d2808f4713437006b3f7c812d9fd74

Closes #1245.

fix: Disable inode cache if filesystem risks getting full soon

Some filesystems, for instance btrfs with compression enabled,
apparently make a posix_fallocate call succeed without actually
allocating the requested space for the file. This means that if the file
is mapped into memory, like done by the inode cache, the process can
crash when accessing the memory if the filesystem is full.

This commit implements a workaround: the inode cache is disabled if the
filesystem reports that it has less than 100 MiB free space. The free
space check is valid for one second before it is done again. This should
hopefully make crashes very rare in practice.

Closes #1236.

ci: Build macOS binary in release mode

feat: Allow forcing download of zstd and hiredis again

Before it was possible to force downloading of the Zstandard library
using "-D ZSTD_FROM_INTERNET=ON" and similar for Hiredis. That ability
was lost in 2c742c2c7ca9, so if you for some reason want to not use a
locally installed library you're out of luck.

Improve this by letting ZSTD_FROM_INTERNET and HIREDIS_FROM_INTERNET be
tristate variables:

    ON: Always download
    AUTO (default): Download if local installation not found
    OFF: Never download

As mentioned in #1240.

chore: Improve variable name and comments

doc: Fix spelling

ci: Build macOS universal binary (#1240)

feat: Add support for -Wp,-U<macro> in direct mode

fix: Don't treat -Wp,-D as interchangeable with -D

Fixes #1238.

test: Use grep -E/-F instead of obsolescent egrep/fgrep

feat: Improve automatic cache cleanup mechanism

The cache cleanup mechanism has worked essentially the same ever since
ccache was initially created in 2002:

- The total number and size of all files in one of the 16 subdirectories
  (AKA level 1) are kept in the stats file in said subdirectory.
- On a cache miss, the new compilation result file is written (based on
  the first digits of the hash) to a subdirectory of one of those 16
  subdirectories, and the stats file is updated accordingly.
- Automatic cleanup is triggered if the size of the level 1 subdirectory
  becomes larger than max_size / 16.
- ccache then lists all files in the subdirectory recursively, stats
  them to check their size and mtime, sorts the file list on mtime and
  deletes the 20% oldest files.

Some problems with the approach described above:

- (A) If several concurrent ccache invocations result in a cache miss
  and write their results to the same subdirectory then all of them will
  start cleaning up the same subdirectory simultaneously, doing
  unnecessary work.
- (B) The ccache invocation that resulted in a cache miss will perform
  cleanup and then exit, which means that an arbitrary ccache process
  that happens to trigger cleanup will take a long time to finish.
- (C) Listing all files in a subdirectory of a large cache can be quite
  slow.
- (D) stat-ing all files in a subdirectory of a large cache can be quite
  slow.
- (E) Deleting many files can be quite slow.
- (F) Since a cleanup by default removes 20% of the files in a
  subdirectory, the actual cache size will (once the cache limit is
  reached) on average hover around 90% of the configured maximum size,
  which can be confusing.

This commit solves or improves on all of the listed problems:

- Before starting automatic cleanup, a global "auto cleanup" lock is
  acquired (non-blocking) so that at most one process is performing
  cleanup at a time. This solves the potential "cache cleanup stampede"
  described in (A).
- Automatic cleanup is now performed in just one of the 256 level 2
  directories. This means that a single cleanup on average will be 16
  times faster than before. This improves on (B), (C), (D) and (E) since
  the cleanup made by a single compilation will not have to access a
  large part of the cache. On the other hand, cleanups will be triggered
  16 times more often, but the cleanup duty will be more evenly spread
  out during a build.
- The total cache size is calculated and compared with the configured
  maximum size before starting automatic cleanup. This, in combination
  with performing cleanup on level 2, means that the actual cache size
  will stay very close to the maximum size instead of about 90%. This
  solves (F).

The limit_multiple configuration option has been removed since it is no
longer used.

Closes #417.

chore: Add unit tests for parsing size with (undocumented) B suffix

enhance: Delay LongLivedLockFileManager thread start to first register

fix: Fix logging of inactive lock duration

enhance: Make it possible for LockFile::try_acquire to break the lock

If a long-lived lock is stale and has no alive file,
LockFile::try_acquire will never succeed to acquire the lock. Fix this
by creating the alive file for all lock types and making
LockFile::try_acquire exit when lock activity is seen instead of
immediately after failing to acquire the lock.

Another advantage is that a stale lock can now always be broken right
away if the alive file exists.

feat: Consistently show cache size and max size with one decimal

enhance: Make util::LockFile movable

chore: Add missing explicit keywords to some constructors

fix: Avoid sometimes too wide percent figure in --show-stats

If the nominator is 99999 and the denominator is 100000, the percent
function in Statistics.cpp would return "(100.00%)" instead of the
wanted "(100.0%)". Fix this by using the alternate format string if the
result string overflows its target size.

enhance: Add offsetted get/set/increment methods for StatisticsCounters

feat: Activate logging for command mode options

This makes it possible to check ordinary log messages when debugging
"ccache -c" and similar options.

enhance: Make storage::local::StatsFile movable

doc: Add note that "stats = false" will disable automatic cleanup

feat: Do clean/clear/evict-style operations per level 2 directory

Progress bars will now be smoother since the operations are now divided
into 256 instead of 16 "read files + act on files" steps. This is also
in preparation for future improvements related to cache cleanup.

refactor: Merge LocalStorage implemention files

chore: Remove special logic for cleaning up legacy ccache files

refactor: Use std::size to compute array size

chore: Clean up minor things after 95e6375813f7