fix: Make src/ccache.cpp cacheable by ccache itself

“.incbin” should not be present verbatim in the source code since that
makes ccache consider the code uncacheable.

Regression in 2d2de82bb9231b981b40486b093a2c0002200c40.

doc: Improve documentation of --config-path

See also discussion #986.

Fix stats output for secondary storage (#988)

fix: Check writability of /run/user/<UID>/ccache-tmp before using

Closes #984.

refactor: Decouple Manifest data structure from how it’s stored

Manifest is now a standalone data structure that knows how to serialize
and deserialize itself but not how it’s embedded in a cache entry.

bump: Upgrade to xxHash 0.8.1

bump: Upgrade to cpp-httplib 0.10.1

test: Improve code style

style: Avoid operator++ in expression

fix: Avoid .incbin false positive (#983)

fix: Remove duplicate -Xarch second argument (#981)

style: Add some comments and tweaks

fix: Fix copying of binary files on Windows (#979)

fix: Don’t run trim_dir test suite unless cleanup tests are enabled

Fixes #974.

refactor: Move conversion to slash option outside file test

refactor: Remove redundant conditions for MSVC options

fix: Handle stdout from distcc-pump when used as a prefix

The compiler guessing doesn’t work if pump is used as a
prefix/CCACHE_PREFIX, so let’s just not depend on such guesswork.

Also, since the distcc-pump wrapper isn’t really a compiler type, it
actually makes sense not to treat it as such.

feat: Support caching stdout for all compiler types

enhance: Add Result::write_data method

fix: MSVC's -link option is too hard (#972)

fix: Handle MSVC flags -MD[d], -MT[d] and -LT[d] properly (#971)

Fix and simplify handling of options for MSVC (#954)

Add support for caching stdout from MSVC (#962)

fix: Ignore CCACHE_NOCPP2=1 with MSVC (#970)

doc: Correct reference to the debug_dir option

refactor: Simplify code related to send_to_fd

fix: Correct error message in send_to_fd

Merge pull request #968 from jhnc-oss/fix-newline-on-windows

fix: handle newlines on Windows properly

fix: Use default object file extension .obj for MSVC (#964)

fix: Make AVX2 code work also with MSVC (#963)

chore: Improve language in NEWS

chore: Update NEWS

(cherry picked from commit 764dc83795d9a05c2a9d69f267ed86f61a253d09)

fix: Correct error handling for unconstructible storage backend

This fixes a crash when using a secondary storage backend that throws on
construction, for instance the Redis backend with an unreachable server.

Closes #966.

fix: Remove extraneous space in log message

fix: Correct entry_size field for result entries

The entry_size field in result entries created by ccache 4.5 are off by
one. Fix this by properly accounting for the new format_ver field in
result payload data.

Note: This bug only affects the recompression feature (-X/--recompress)
and not other ccache usage.

Closes #965.

fix: Store actual compression level in cache entry header

This detail got lost in e83ac28d74dcb60af9ceaa58d92e706ded089ea3.

feat: Visual C/C++ compiler support (#506)

chore: Update NEWS

chore: Update authors

doc: Tweak preposition

feat: Pretty-print entry type in --dump-{manifest,result}

feat: Add namespace support

If a namespace configured, the namespace string will be added to the
hashed data for each compilation. This will make the associated cache
entries logically separate from cache entries with other namespaces, but
they will still share the same storage space. Cache entries can also be
selectively removed from the primary cache with the command line option
--evict-namespace, potentially in combination with --evict-older-than.

Closes #870.

fix: Disable hard link and file clone with enabled secondary storage

refactor: Rename tag header field to namespace

feat: Support rewriting absolute path to Clang option --gcc-toolchain

Closes #889.

style: Add curly braces around if statement body

doc: Fix description of --checksum-file

fix: Correct debug dir handling on Windows (#955)

feat: Improve cache entry format

Cache entry header changes:

* Changed magic bytes to represent a generic “ccache entry” instead of a
  specific result/manifest entry.
* Added a payload type field (currently manifest or result) separate
  from the magic bytes. This allows code that only operates on the
  “container” (e.g. recompression) to be ignorant of payload types and
  changes to payload formats.
* Added a creation timestamp field. This can be useful when debugging,
  for instance to match the timestamp with a build start/end.
* Added a field for the ccache version that created the cache entry.
  This can be useful for debugging, and it also makes it possible for
  future ccache versions to refuse using results from previous buggy
  ccache versions.
* Added a tag field to be used by a future feature.

Cache entry epilogue changes:

* Use 128-bit XXH3 instead of 64-bit XXH3 for the checksum since those
  extra bits are computed by the algorithm anyway.

Manifest/result entry changes:

* Added manifest/result format version fields. This means that the
  payload version can be stepped without stepping the outer format
  version, thereby making it possible for older ccache versions to for
  instance recompress the cache even though the payload format has
  changed.

Other improvements:

* Added generic Reader and Writer interfaces to decouple code from using
  FILE* directly.
* Refactored checksum handling into ChecksummingReader and
  ChecksummingWriter.

enhance: Add util::XXH3_128

refactor: Rename Checksum to util::XXH3_64

bump: Upgrade to BLAKE3 1.2.0

bump: Upgrade to cpp-httplib 0.9.7

bump: Upgrade to optional-lite 3.5.0

bump: Upgrade to fmt 8.0.1

ci: Add job for testing Clang 12

fix: Correct win32 log messages about file locks (#953)

bump: Upgrade to Hiredis 1.0.2 (#949)

fix: Support special characters in URL user info

Bump CxxUrl to v0.3 to fix a URL parsing bug, as suggested by Russell
McClellan.

Fixes #941.

doc: Tweak AsciiDoc bullet indentation

Merge pull request #934 from gjasny/no-keep-alive

feat(http-storage): Make HTTP keep-alive configurable

fix(http-storage): Disable broken connection keep-alive

After ignoring SIGPIPE (b2a88e7) keep-alive support has been
re-enabled for HTTP Storage. Unfortunately it's still broken
but does not crash ccache, anymore.

This is the tcpdump of a (cache miss) compilation that takes longer
than the server keep-alive timeout:

```
10:51:17.214678 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [S], seq 1018344313, win 62727, options [mss 8961,sackOK,TS val 1638189791 ecr 0,nop,wscale 7], length 0
10:51:17.216386 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [S.], seq 2695216843, ack 1018344314, win 26847, options [mss 8645,sackOK,TS val 1598789083 ecr 1638189791,nop,wscale 9], length 0
10:51:17.216424 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [.], ack 1, win 491, options [nop,nop,TS val 1638189793 ecr 1598789083], length 0
10:51:17.216534 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [P.], seq 1:143, ack 1, win 491, options [nop,nop,TS val 1638189793 ecr 1598789083], length 142: HTTP: GET /cache/ff87vlgke3poou7uq1ma2m3hh000gckmq HTTP/1.1
10:51:17.217393 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [.], ack 143, win 55, options [nop,nop,TS val 1598789084 ecr 1638189793], length 0
10:51:17.217433 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [P.], seq 1:309, ack 143, win 55, options [nop,nop,TS val 1598789085 ecr 1638189793], length 308: HTTP: HTTP/1.1 404 Not Found
10:51:17.217456 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [.], ack 309, win 489, options [nop,nop,TS val 1638189794 ecr 1598789085], length 0
10:51:17.538819 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [P.], seq 143:285, ack 309, win 489, options [nop,nop,TS val 1638190115 ecr 1598789085], length 142: HTTP: GET /cache/135di89r02vv5fgopbtsopfjllo01b8lg HTTP/1.1
10:51:17.539838 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [P.], seq 309:617, ack 285, win 57, options [nop,nop,TS val 1598789407 ecr 1638190115], length 308: HTTP: HTTP/1.1 404 Not Found
10:51:17.539876 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [.], ack 617, win 487, options [nop,nop,TS val 1638190117 ecr 1598789407], length 0

10:52:32.536322 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [F.], seq 617, ack 285, win 57, options [nop,nop,TS val 1598864404 ecr 1638190117], length 0
10:52:32.577893 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [.], ack 618, win 487, options [nop,nop,TS val 1638265155 ecr 1598864404], length 0

10:52:42.173135 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [P.], seq 285:492, ack 618, win 487, options [nop,nop,TS val 1638274750 ecr 1598864404], length 207: HTTP: PUT /cache/135di89r02vv5fgopbtsopfjllo01b8lg HTTP/1.1
10:52:42.173153 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [.], seq 492:9125, ack 618, win 487, options [nop,nop,TS val 1638274750 ecr 1598864404], length 8633: HTTP
10:52:42.173159 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [P.], seq 9125:17758, ack 618, win 487, options [nop,nop,TS val 1638274750 ecr 1598864404], length 8633: HTTP
10:52:42.173165 IP 10.34.129.62.37468 > 10.34.132.45.webcache: Flags [.], seq 17758:26391, ack 618, win 487, options [nop,nop,TS val 1638274750 ecr 1598864404], length 8633: HTTP
10:52:42.174049 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [R], seq 2695217461, win 0, length 0
10:52:42.174056 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [R], seq 2695217461, win 0, length 0
10:52:42.174057 IP 10.34.132.45.webcache > 10.34.129.62.37468: Flags [R], seq 2695217461, win 0, length 0
```

The PUT error due to the closed socket is also logged:
```
[2021-09-14T10:52:42.068112 2089 ] Storing result file modules/asyncly/Test/Unit/CMakeFiles/test_asyncly.dir/future/FutureTest.cpp.o
[2021-09-14T10:52:42.068118 2089 ] Storing embedded file #0 .o (36847216 bytes) from modules/asyncly/Test/Unit/CMakeFiles/test_asyncly.dir/future/FutureTest.cpp.o
[2021-09-14T10:52:42.154930 2089 ] Storing result file modules/asyncly/Test/Unit/CMakeFiles/test_asyncly.dir/future/FutureTest.cpp.o.d
[2021-09-14T10:52:42.154951 2089 ] Storing embedded file #1 .d (122626 bytes) from modules/asyncly/Test/Unit/CMakeFiles/test_asyncly.dir/future/FutureTest.cpp.o.d
[2021-09-14T10:52:42.155260 2089 ] Stored 135di89r02vv5fgopbtsopfjllo01b8lg in primary storage (/cache/ccache/1/3/5di89r02vv5fgopbtsopfjllo01b8lgR)
[2021-09-14T10:52:42.175445 2089 ] Failed to put /cache/135di89r02vv5fgopbtsopfjllo01b8lg to http storage: Unknown (1)
[2021-09-14T10:52:42.175999 2089 ] Adding result key to /cache/ccache/f/f/87vlgke3poou7uq1ma2m3hh000gckmqM
[2021-09-14T10:52:42.179375 2089 ] Using default compression level 1
[2021-09-14T10:52:42.180306 2089 ] Stored ff87vlgke3poou7uq1ma2m3hh000gckmq in primary storage (/cache/ccache/f/f/87vlgke3poou7uq1ma2m3hh000gckmqM)
[2021-09-14T10:52:42.180341 2089 ] Not putting in http://jenkins3-bazelcache.ec2.getgotools.net:8080/cache since it failed earlier
```

I believe a 90s compilation is worth caching and more important than
skipping the TCP three-way handshake.

docs: Remove stray heading in NEWS

chore: Update authors

Update NEWS

fix: Don’t update manifest on preprocessed hit with disabled direct mode

After c7c0837a23fe9dc79613bf3dd4ddd8d91c58d541, update_manifest_file can
be called erroneously if the direct mode is disabled when there has been
a preprocessed hit.

Fix this by asserting that update_manifest_file is only called when
direct mode is enabled, fixing the call site and adding the test case
that should already have existed.

Fixes #935.

ci: Pin macOS to 10.15

macOS-latest now means macOS-11.

refactor: Pass const Context to process_arg

This narrows down what process_arg is allowed to do.

refactor: Move included_pch_file from Context to ArgsInfo

enhance: Add util::replace_all function

test: Cope with CC being a wrapper script that uses ccache

Fixes #914.

test: Silence stray output

test: Use shell builtin pwd for basedir test (#933)

chore: Update news

feat: Show separate statistics counters for misses

fix(http-storage): Enable keep-alive again after fixing SIGPIPE issue

See #931.

fix(redis-storage): Ignore SIGPIPE

libhiredis doesn’t pass MSG_NOSIGNAL to send to ccache can die from
SIGPIPE. Disable SIGPIPE so that the socket code receives EPIPE
correctly.

This should also fix a similar problem with the HTTP storage backend.

Fixes #931.

bump: Upgrade to cpp-httplib 0.9.4

refactor: Improve compatibility definition of DLLIMPORT

fix: Always store configuration origin value (#928)

fix(http-storage): Disable broken connection keep-alive (#927)

Fix build errors with clang on Windows (#924)

Merge pull request #918 from gjasny/ipo

feat(cmake): Disable IPO for mingw

On mingw IPO seems to be broken (out-of-diskspace errors
and lacking linker module support), therefore IPO support is being
deactivated.

feat(cmake): Use standard linker for LTO scenarios

feat(cmake): Use the matching lld for clang

Otherwise one could end up on Ubuntu with clang-11 calling lld-10
which breaks IPO.

fix(test): Pass all three required arguments to expect_file_count (#925)

fix(test): Fix basedir suite failure with symlinked PWD

Fixes #916.

test: Improve output of differing text files on failure

chore: Remove asciidoctor package from CentOS 8 Dockerfile

Asciidoctor is apparently not packaged for CentOS 8.

chore: Sort LICENSE.adoc entries properly

feat: Only show secondary storage stats if non-empty or with -vv

fix(test): Fix .incbin test with newer binutils

The assembler in binutils 2.37 doesn’t want to include /dev/null with
a .incbin directive:

    /tmp/ccbGWiew.s: Assembler messages:
    /tmp/ccbGWiew.s:4: Error: unable to include `/dev/null'
    incbin.s: Assembler messages:
    incbin.s:1: Error: unable to include `/dev/null'

docs: Fix grammar

chore: Update release date

build: Improve detection av Ccache version from source repo

When running CMake outside the source repository a plain git command
naturally won’t find the repository. Fix this by pointing git towards
the repository.

chore: Fix Cppcheck warnings

docs: Improve contributor notes in NEWS