test: Use grep -E/-F instead of obsolescent egrep/fgrep

feat: Improve automatic cache cleanup mechanism

The cache cleanup mechanism has worked essentially the same ever since
ccache was initially created in 2002:

- The total number and size of all files in one of the 16 subdirectories
  (AKA level 1) are kept in the stats file in said subdirectory.
- On a cache miss, the new compilation result file is written (based on
  the first digits of the hash) to a subdirectory of one of those 16
  subdirectories, and the stats file is updated accordingly.
- Automatic cleanup is triggered if the size of the level 1 subdirectory
  becomes larger than max_size / 16.
- ccache then lists all files in the subdirectory recursively, stats
  them to check their size and mtime, sorts the file list on mtime and
  deletes the 20% oldest files.

Some problems with the approach described above:

- (A) If several concurrent ccache invocations result in a cache miss
  and write their results to the same subdirectory then all of them will
  start cleaning up the same subdirectory simultaneously, doing
  unnecessary work.
- (B) The ccache invocation that resulted in a cache miss will perform
  cleanup and then exit, which means that an arbitrary ccache process
  that happens to trigger cleanup will take a long time to finish.
- (C) Listing all files in a subdirectory of a large cache can be quite
  slow.
- (D) stat-ing all files in a subdirectory of a large cache can be quite
  slow.
- (E) Deleting many files can be quite slow.
- (F) Since a cleanup by default removes 20% of the files in a
  subdirectory, the actual cache size will (once the cache limit is
  reached) on average hover around 90% of the configured maximum size,
  which can be confusing.

This commit solves or improves on all of the listed problems:

- Before starting automatic cleanup, a global "auto cleanup" lock is
  acquired (non-blocking) so that at most one process is performing
  cleanup at a time. This solves the potential "cache cleanup stampede"
  described in (A).
- Automatic cleanup is now performed in just one of the 256 level 2
  directories. This means that a single cleanup on average will be 16
  times faster than before. This improves on (B), (C), (D) and (E) since
  the cleanup made by a single compilation will not have to access a
  large part of the cache. On the other hand, cleanups will be triggered
  16 times more often, but the cleanup duty will be more evenly spread
  out during a build.
- The total cache size is calculated and compared with the configured
  maximum size before starting automatic cleanup. This, in combination
  with performing cleanup on level 2, means that the actual cache size
  will stay very close to the maximum size instead of about 90%. This
  solves (F).

The limit_multiple configuration option has been removed since it is no
longer used.

Closes #417.

chore: Add unit tests for parsing size with (undocumented) B suffix

enhance: Delay LongLivedLockFileManager thread start to first register

fix: Fix logging of inactive lock duration

enhance: Make it possible for LockFile::try_acquire to break the lock

If a long-lived lock is stale and has no alive file,
LockFile::try_acquire will never succeed to acquire the lock. Fix this
by creating the alive file for all lock types and making
LockFile::try_acquire exit when lock activity is seen instead of
immediately after failing to acquire the lock.

Another advantage is that a stale lock can now always be broken right
away if the alive file exists.

feat: Consistently show cache size and max size with one decimal

enhance: Make util::LockFile movable

chore: Add missing explicit keywords to some constructors

fix: Avoid sometimes too wide percent figure in --show-stats

If the nominator is 99999 and the denominator is 100000, the percent
function in Statistics.cpp would return "(100.00%)" instead of the
wanted "(100.0%)". Fix this by using the alternate format string if the
result string overflows its target size.

enhance: Add offsetted get/set/increment methods for StatisticsCounters

feat: Activate logging for command mode options

This makes it possible to check ordinary log messages when debugging
"ccache -c" and similar options.

enhance: Make storage::local::StatsFile movable

doc: Add note that "stats = false" will disable automatic cleanup

feat: Do clean/clear/evict-style operations per level 2 directory

Progress bars will now be smoother since the operations are now divided
into 256 instead of 16 "read files + act on files" steps. This is also
in preparation for future improvements related to cache cleanup.

refactor: Merge LocalStorage implemention files

chore: Remove special logic for cleaning up legacy ccache files

refactor: Use std::size to compute array size

chore: Clean up minor things after 95e6375813f7

fix: Use spinlocks for inode cache memory synchronization (#1229)

Changed the inode cache implementation to use spinlocks instead of pthread
mutexes. This makes the inode cache work on FreeBSD and other systems where the
pthread mutexes are destroyed when the last memory mapping containing the
mutexes is unmapped.

Also added tmpfs, ufs and zfs to the list of supported filesystems on macOS and
BSDs.

See also ccache discussion #1228.

ci: Test more compilers (#1234)

fix: Only use original umask when retrieving result

This fixes a problem where the original umask would be used when storing
a remote cache result in the local cache in from_cache.

Fixes #1235.

fix: Fix matching of base directory for MSVC

The base directory will now match case-insensitively with absolute paths
in preprocessed output, or from /showIncludes in the depend mode case,
when compiling with MSVC.

fix: Don't crash in TextTable for a single heading row

chore: Remove defunct LGTM badges

lgtm.com has been shut down.

fix: Do not escape backslashes in MSVC RSP files (#1233)

fix: Improve fix for local/remote cache misses in depend mode

fix: Fix reporting of local/remote cache misses in depend mode

fix: Fix conditions for --show-stats

chore: Bump clang-format version requirement to 11+

doc: Fix markup

enhance: Extract lock keep-alive thread to a manager class

Instead of running one keep-alive thread per lock, a long-lived LockFile
now lets a separate LongLivedLockFileManager object handle keep-alive
for several locks in a single thread.

enhance: Add AtomicFile::flush method

chore: Refine ProgressBar value calculation

chore: Improve description of --set-config

refactor: Make LockFile guard itself without a LockFileGuard

fix: Don't use copy of mutex/condition in long-lived lock thread

This was kind of due to a typo in
0babd33e84147e923a729ee07a3b85097ec8baa8. Since the LongLivedLockFile
class is not used yet, the bug does not affect any released code.

enhance: Allow short-lived lock file to wait for long-lived

chore: Add discussions badge

doc: Fix spelling of potentially

refactor: Improve FileRecompressor to take a stat

This avoids extra stats in some scenarios.

refactor: Remove CacheFile, using Stat with path member instead

enhance: Remember path in Stat

enhance: Only keep atime if needed

- For the --recompress case, only reset timestamps if mtime has changed
  since local cache LRU cleanup always uses mtime.
- For the --trim-dir/--trim-recompress case, always reset timestamps
  since atime may be used for LRU cleanup.

feat: Add --trim-recompress and --trim-recompress-threads

Note: Reading the header to check the current compression level affects
atime, so we need to restore atime even when recompression is not
performed.

refactor: Extract file recompression code to a class

enhance: Add Util::format_human_readable_diff

feat: Improve Util::format_human_readable_size for small sizes

feat: Add --recompress-threads option

fix: Fix edge case where a non-temporal identifier is misidentified (#1227)

If a non-temporal identifier, that ends with a temporal macro, happens
to be at the end of the buffer with the temporal suffix starting on the
avx boundary, then it would be incorrectly classified as a temporal
macro. This since the helper function lacks the context to see that the
data before the match is something that invalidates the match.

chore: Update NEWS

chore: Fix typo

bump: Upgrade to hiredis 1.1.0

fix: Avoid race condition in inode cache for quick updates

The inode cache has a race condition that consists of these events:

1. A file is written with content C1, size S and timestamp (ctime/mtime)
   T.
2. Ccache hashes the file content and asks the inode cache to store the
   digest with a hash of S and T (and some other data) as the key.
3. The file is quickly thereafter written with content C2 without
   changing size S and timestamp T. The timestamp is not updated since
   the file writes are made within a time interval smaller than the
   granularity of the clock used for file system timestamps. At the time
   of writing, a common granularity on a Linux system is 0.004 s (250
   Hz).
4. The inode cache is asked for the file digest and the inode cache
   delivers a digest of C1 even though the file's content is C2.

To avoid the race condition, the inode cache now only caches inodes
whose timestamp was updated more than two seconds ago. This conservative
value is chosen since not all file systems have subsecond resolution.

Fixes #1215.

fix: Fall back to emulation for unsupported posix_fallocate (#1222)

posix_fallocate can return EINVAL if filesystem doesn't support it. Fall back to emulation in this case.

E.g. ZFS does so on FreeBSD (haven't tested with ZFS on linux).

This fixes Utill::fallocate unit tests on ZFS.

fix: Use $XDG_RUNTIME_DIR/ccache-tmp as the default temporary directory

See discussion in #1221.

test: Test TimePoint::nsec_decimal_part

fix: Fix bug in Duration arithmetic operators

The bug only affected LongLivedLockFile, which is not used yet.

perf: Optimize util::write_file for empty data

fix: Do not create /run directory on systems that don't have it (#1221)

doc: Don't mention removed compiler type "pump"

The implementation was removed in
2044fea84b86001b2976ecde946d3d6d0e88ec0a.

doc: Add hint about using -fno-pch-timestamp for PCH with Clang

doc: Improve description of header file handling after 24cfb7998c27

fix: Don't consider temporary files incompressible

fix: Properly wait for recompression jobs if there is no f subdir

enhance: Make subsequent calls to ThreadPool::shut_down NOPs

doc: Remove superfluous right parenthesis

refactor: Avoid changing loop variable in body of for loop

This is to please CodeQL's "For loop variable changed in body" check.

refactor: Remove empty if clause

This is to please CodeQL's "Futile condition" check.

fix: Avoid duplicate magic header in --inspect

chore: Sort file list

chore: Improve inode cache logging

doc: Fix indentation

fix(http-storage): Report connection timeout properly

ci: Don't run CodeQL on unit tests

Too many annoying false positives, like "Unused static function" for all
unit tests.

ci: Refactor ci/build script

chore: Update NEWS

doc: Mention the default value of keep_comments_cpp

chore: Fix grammar in comment

feat: Include I_MPI_CC/I_MPI_CXX in the input hash

The I_MPI_CC and I_MPI_CXX variables affect which underlying compiler
ICC uses. Reference:
<https://www.intel.com/content/www/us/en/develop/documentation/
mpi-developer-reference-windows/top/environment-variable-reference/
compilation-environment-variables.html>.

Closes #1210.

chore: Improve inode cache logging

- Only log inode cache hits/misses in debug mode.
- Always log accumulated inode statistics at program exit.

feat: Support -Wp,-M[M]D with -o without -MMD/-MQ/-MT for GCC and Clang

Closes #1203.

test: Silence progress messages from CCACHE_UMASK test

test: Silence Clang warnings about unused arguments during compilation

test: Remove left-over fi statement

fix: Fix parsing of sloppiness with trailing delimiter

fix: Avoid redundant slash in HTTP storage URLs with subdirs

fix: Hash variables that affect Clang version on macOS

Fixes #1205.

chore: Tweak comments

chore: Improve logging of file read failures

chore: Update authors

chore: Update NEWS

fix: Process the argument following a -Xarch argument (#1199)

Since there are already checks enforcing that all -Xarch arguments match
each other and -arch, we can assume that the compiler would also
interpret the following argument, so ccache should interpret it too.

Fixes #1198.

fix: Use configured umask for command line operations like --zero-stats

Closes #1197.

test: Disable flaky Windows profiling tests

build: Include limits.h for PATH_MAX

Note: The C++ climits header does not guarantee to define PATH_MAX.

Fixes #1193.

fix: Use separate 32-bit and 64-bit inode cache files

The memory layout of the shared region differs between 32-bit and 64-bit
ccache binaries, so use different inode cache files.

build: Apply standard settings and warnings to lockfile test (#1195)

This ensures the required include of `config.h` to get `mode_t` defined on Windows.

chore: Correct contributor in NEWS

chore: Update NEWS