fix(tracing): Always call MTR_END for each MTR_BEGIN

refactor(tracing): Use MTR_SCOPE

bump: Upgrade minitrace to latest master

feat: Improve statistics summary

The number of statistics counters has become very large, making the
output “ccache -s” hard to overview.

Improvements:

- The -s/--show-stats option now prints a more condensed overview where
  the counters representing “uncacheable calls” are summed as
  “uncacheable” and “errors” counters. Note: Scripts should use
  --print-stats instead of trying to parse the output of --show-stats.
- Added hit rate for direct/preprocessed hits/misses as well.
- Added a new -v/--verbose option, which makes --show-stats and
  --show-log-stats show more details.

style: Use uppercase literal suffixes

feat: Print statistics IDs instead of descriptions to debug log

This is in preparation for future statistics counters that won’t have
human-readable descriptions. (The statistics IDs are human-readable
enough.)

refactor: Return from process_main_options instead of exiting

fix: Don’t print “unrecognized option” twice

Fixes an issue introduced in 513c83faaafc3a9848cb4492961104e4f4768247.

enhance: Let TextTable::add_row take a vector

enhance: Add TextTable support for cells spanning several columns

refactor: Simplify TextTable usage

enhance: Add util::TextTable::TextTable(const char*)

enhance: Add TextTable support for right-aligned integers

build: Link ws2_32 to third_party instead of ccache_framework (#913)

fix(test): Fix typos in trim_dir suite

feat: Support subsecond mtime/atime for --cleanup and --trim-dir

enhance: Detect support for st_atim field in struct stat

feat: Rename --directory option to --dir

Other options use abbreviated forms (e.g. “config” and “max”), so this
makes things more consistent.

feat: Add --trim-dir option for usage with secondary storage directories

feat: Make --config-path and --directory affect whole command line

Command line options are processed strictly in order, which means that

    ccache -d dir -s

is not the same as

    ccache -s -d dir

which is not very intuitive. There are also planned features where is
doesn’t make sense to have to put “non-command options” before the
“command options”.

Improve this by processing command line options in two passes: first
non-command options and then command options (still in order).

refactor: Move static getopt data to global level

doc: Describe interaction between primary and secondary storage

feat: Add share-hits attribute for secondary storage

With share-hits=false, a secondary storage backend will not share hits
to primary storage.

feat: Add reshare config option

Setting reshare (CCACHE_RESHARE) to true make ccache send results to
secondary storage even for primary storage cache hits. The default is
false.

feat: Add statistics for forced recaches

feat: Add statistics for primary/secondary hits/miss

feat: Add statistics for direct/preprocessed cache miss

test: Use machine-parsable statistics IDs in tests

refactor(test): Improve duplicate tests in base suite

feat: Sort output of --print-stats

enhance: Prepare for a ccache invocation having multiple results

That is, “result” as in “increased statistics counter”.

fix: Remove obsolete statistics counter and comment when disabled

refactor: Improve handling of statistics updates and expected events

Ccache uses exceptions for both truly exceptional events (such as I/O
error) and non-exceptional events (such as unsupported compiler
arguments). Regardless of the nature of the event, at most one
statistics counter can be incremented.

Improve this by:

- Using nonstd::expected instead of exceptions internally in the main
  code flow. This makes the code easier to reason about.
- Adding support for communicating several statistics counter updates
  both for success and failure code paths. This is in preparation for
  future improvements of statistics related to secondary storage.

chore: Fix example in dockerfiles/README

docs: Use non-legacy markup for block IDs

feat(file-storage): Add support for flat layout

feat(http-storage): Add support for subdirs layout, making it default

enhance(test): Let http-server create subdirectories as needed

fix(test): Remove debug printout and move Bazel layout test

fix: Don’t read let Context read user configuration in unit tests

accd21e4 inadvertently made unit tests populate Context::config from the
environment and the user configuration. Fix this by moving code for
reading config, setting of logging, etc. into a separate method only to
be called by non-test code.

As noted by Michael Kruse in #815.

feat(storage): Add support for cache sharding on secondary storage (#912)

This adds support for a shards attribute with a comma-separated list of
names for sharding (partitioning) the cache entries using Rendezvous
hashing, typically to spread the cache over a server cluster. When set,
the storage URL must contain an asterisk (*), which will be replaced by
one of the shard names to form a real URL. A shard name can optionally
have an appended weight within parentheses to indicate how much of the
key space should be associated with that shard. A shard with weight w
will contain w/S of the cache, where S is the sum of all shard weights.
A weight could for instance be set to represent the available memory for
a memory cache on a specific server. The default weight is 1.

For example,

    redis://cache-*.example.com|shards=a(3),b(1),c(1.5)

will put 55% (3/5.5) of the cache on redis://cache-a.example.com, 18%
(1/5.5) on redis://cache-b.example.com and 27% (1.5/5.5) on
redis://cache-c.example.com.

chore: Sort LICENSE.adoc entries

chore: Improve AsciiDoc markup of LICENSE.adoc

ci: Use latest codespell

chore: Fix typos

refactor: Split httplib into .h and .cpp parts

This improves recompilation speed of
src/storage/secondary/HttpStorage.cpp.

fix(file-storage): Create CACHEDIR.TAG after subdir

Otherwise creation will fail the first time with an ugly log message.

refactor: Use util::parse_double

enhance(util): Add parse_double function

chore: Fix typo in comment

enhance(util): Add replace_first function

docs: Use italics consistently for references to sections

feat(storage): Log time taken for secondary storage operations

feat(http-storage): Log translation to pseudo-SHA256 key

docs: Add scheme to link to fonts.googleapis.com (#910)

This makes it possible to view generated HTML files locally using the file scheme.

docs: Reflow some paragraphs after #911

docs: Fix links to section anchors (#911)

asciidoc uses #_section_header, but github uses #section-header.
Replace all the explicit refs with the section titles, and let
the engine handle it.

build: Only probe for faster linker in dev build mode and on x86_64

Using Gold or LLD on less common platforms such as MIPS may not be a
good idea (see e.g.
<https://www.sourceware.org/bugzilla/show_bug.cgi?id=22838>), so be
conservative and only probe for a faster linker on platforms that likely
don’t have toolchain bugs. Also, using a faster linker is in practice
only relevant for dev builds.

Fixes #907.

build: Allow overriding CCACHE_DEV_MODE on command line

fix: Disable preprocessor hits for PCHs with Clang again (#909)

I added this in 3ec58dbcaa1e7903d59dce4c77baff7bc3783269 as I thought
clang only saves the timestamps of included files, so as long as they
are turned off by -Xclang -fno-pch-timestamp, preprocessed hits should be
possible. However, clang also saves the size and possibly a hash of the
un-preprocessed source file, so preprocessed hits don't make much sense.

As long as only the timestamp of a PCH source file changed, e.g. through
git operations, there should still be direct hits.

build: Improve message when pkg-config can’t find libhiredis

pkg_check_modules stops immediately when given the REQUIRED argument so
the nicer error message won’t be reached. Fix this by simply removing
REQUIRED since that will make the configuration step fail in a better
way.

refactor: Only include zstd.h in ZstdCompressor.cpp

This avoids exposing zstd internals to those including
compression/ZstdCompressor.h.

build: Remove “_lib” suffix from ccache_lib and third_party_lib

This means that libthird_party_lib.a will become libthird_party.a which
removes repetition of “lib”. ccache_lib can’t be renamed to just ccache
since that’s the name of the main binary, so that’s renamed to
ccache_framework.

fix(storage): Reuse existing backend instances

docs: Add references to how-to guides hosted on ccache.dev

docs: Enable AsciiDoc admonition icons

docs: Add styling of AsciiDoc documents similar to the ccache.dev site

docs: Add blank lines before headings

This makes it consistent for all headings

docs(http-storage): Convert note on HTTPS not being implemented to a AsciiDoc note

feat(http-storage): Add support for the Bazel HTTP caching protocol

fix(test): Flush stdout/stderr on http-server termination

The log from http-server is lost when the process is killed. Fix this by
flushing explicitly in a signal handler.

style: Format Python code with Black

bump: Upgrade to BLAKE3 1.0.0

chore: Add hints about using conventional commits for commit messages

Use Asciidoctor instead of Asciidoc to render documentation

Asciidoctor seems to:

- Provide a nice left-hand side table of contents.
- Have nicer looking defaults.
- Be faster.
- Have less (but non-zero) quirks.

Don’t use ssize_t

It’s not portable to Windows.

Add Redis support for Windows

Add support for downloading hiredis from Internet

Use cpp-httplib 0.9.2 (#905)

Update manual after layout change of compression statistics

Document that CMake 3.10 now is needed

Use auto to simplify lambda expressions

Drop support for compiling ccache with buggy GCC 5

GCC 5 may crash when compiling C++14 generic lambdas:
<https://gcc.gnu.org/bugzilla/show_bug.cgi?id=69977>

Use util::TextTable for compression statistics

Add TextTable class

Refactor main option processing to a separate file

Set umask when creating configuration file

This opens up for not having to initialize Context before calling
Config::set_value_in_file.

Explicitly default use_syslog to false for clarity

Refactor printing of compression statistics

Convert primary storage to a public member of storage::Storage

Move/split statistics functionality into core and storage::primary

- The Counters class has been moved to core::StatisticsCounters.
- Functionality in the Statistics namespace has been split into:
    - core::StatsLog: Knows about “stats log” format.
    - core::Statistics: Knows about properties of statistics fields and
      how to present them.
    - storage::primary::PrimaryStorage: Knows how to store and update
      statistics in the primary storage backend.
    - storage::primary::StatsFile: Knows about the “stats file” format.

Move Statistic to core

Convert Sloppiness enum to type-safe class

Move code for cleanup, compressing and similar to storage/primary

Rename storage::CacheEntryWriter to EntryWriter

Move compression classes to compression directory/namespace

Convert nonstd::string_view to std::string using constructor

to_string doesn’t exist in the std::string_view form, so use the
std::string constructor to make a future conversion to newer C++
versions easier.

Tweak language

Unix systems use the name “symbolic link” or “symlink”, not “soft link”.

test: Use test_failed_internal in inode_cache suite

Using test_failed_internal makes line numbers in reported failures
correct.

Move exceptions.hpp to core