C++-ify get_path_in_cache(), add ConfigTester

Then use ConfigTester to test get_path_in_cache()

Use change_extension() and remove_extension()

Also remove obsolete legacy remove_extension() function.

Add and test change_extension()

New function, not ported from legacy_util. Added because remove_extension()
followed by format("%s.new_ext", name) is used quite frequently.

Add and test remove_extension()

Works as a replacement for the legacy util function.

Add and test get_extension()

Works as a replacement for the legacy util function.

Remove obsolete x_basename

Add and test and use get_truncated_base_name()

Use base_name() instead of x_basename()

Add hash functions for string and string_view

Windows define and include restructuring (#492)

Set the _WIN32_WINNT macro only once in the generated config.h.

Include <windows.h> only once in system.hpp, unless these includes
are in third party libs - however third party includes themselves
should always be behind internal includes. Therefore also make
system.hpp the first include everywhere.

Add handling of __TIMESTAMP__ macro (#488)

__TIMESTAMP__ is expanded by the pre-processor to asctime() of the source
file's modification time. Handle __TIMESTAMP__ similar to __DATE__ and include
asctime(modification time) in the hash when __TIMESTAMP__ is detected in the
source code.

Prepare for v3.7.6

(cherry picked from commit 1a4929bfd73e63ebd1b369ee116f9c57f1931824)

Update NEWS

(cherry picked from commit 85f1e368b0e1a1633a2aeebd840601cd39b808c2)

Always include input file path in direct mode hash

The “file_macro sloppiness” mode is a way of opting out of inclusion of
the input file path in the direct mode hash. This can produce a false
cache hit in the following scenario:

- a/r.h exists.
- a/x.c has #include "r.h".
- b/x.c is identical to a/x.c.
- Compiling a/x.c records a/r.h in the manifest.
- Compiling b/x.c results in a false cache hit since a/x.c and b/x.c
  share manifests and a/r.h exists.

Therefore, ditch the file_macro sloppiness mode so that the input file
path is always included in the direct mode hash.

This bug has existed ever since the file_macro sloppiness was introduced
in eb5d9bd3beb5 (ccache 3.0). It has remained undetected since
compilations tend to use .d files and ccache before 3.7.5 added an
implicit “-MQ <output_file_path>” argument, thus in practice including
the output file path in the hash and therefore making manifests unique
when the object file path mirrors the source file path. However, ccache
3.7.5 no longer adds the implicit -MQ option, thus exposing the bug.

Fixes #489.

(cherry picked from commit 404eedde2b8c7a048ea1f68a8e70e49c5ea74df2)

Ignore unknown sloppiness values in configuration files

Similar to 22db9ed893e9: This way legacy ccache versions can still work
with modern ccache configuration keys in the configuration files.

(cherry picked from commit 75520370b8f0c5afb8141b9808de69302d085d21)

Handle properly color diagnostics also in depend mode (#484)

Compiler invocation in the depend mode uses the original arguments,
which means the added -fcolor-diagnostics (or -fdiagnostics-color)
was dropped.

Allow -fmodules in direct depend mode (#482)

Clang creates the internal on-disk representation of modules
in the background on demand as necessary. This means that ccache does
not need to cache that, all that it needs to cache is the actual
compilation result and the dependencies. Which in the case of modules
includes also the module.modulemap files, and Clang outputs such
dependencies correctly only in the depend mode, in the preprocessed
output there is no way to find out the module dependencies.

Therefore support -fmodules in direct depend mode by more or less
ignoring it. Tested with source build of LLVM/Clang configured
with -DLLVM_ENABLE_MODULES=On (and the build actually occassionally
fails because of module problems, but that happens regardless of ccache).

See also pull request #130 (and this reuses the tests from there).

Correct "-MJ" bail out, identify both "-MJ file" and "-MJfile" (#487)

Also added test to detect the invalid case TOO_HARD | TAKES_CONCAT_ARG.

Update libzstd to 1.4.4

Move tests of FormatNonstdStringView to a separate file

The general idea is that unittest/test_X.cpp contains tests for
src/X.[hc]pp.

stats: Fix statistics update with full filesystem

This is an improved version of the corresponding 3.x series fix in
1a432329.

AtomicFile: Cope with write error (e.g. due to full disk) when closing

Fix and test interaction between fmt and nonstd::string_view (#481)

Empty string_views could not be handled and formatting
did not stop until the first \0 was encountered.

Tweak grammar

Mention the AVX2 algorithm in NEWS

Add AVX2 variant of check_for_temporal_macros (#476)

By using AVX (Advanced Vector Extensions) the search for __DATE__ and __TIME__
in the input source becomes much faster. On my machine, ccache spends ~4.9e6
cycles in check_for_temporal_macros when compiling src/ccache.cpp. With USE_AVX
set that figure goes down to ~6.7e5.

Compiling all of ccache with -mavx2 makes the unittest crash with "Illegal
instruction: 4" when run on travis (Mac OS X). My guess is that -mavx2 makes
clang generate code that uses instructions that doesn't work on the CPUs used
on the build server (see [0]).

Instead compile only check_for_temporal_macros_avx2 with -mavx2 as we can
control when that function is called (i.e. only do it when the cpu supports
it).

[0] - https://stackoverflow.com/questions/48333342/os-x-illegal-instruction-4-in-travis-ci

Fix FormatNonstdStringView.hpp name in non_third_party_headers

Prepare for v3.7.5

(cherry picked from commit 5d9a289f594c22361c18baf41a8a9aa5bd6a1026)

Update NEWS

(cherry picked from commit e83a77c95f0853f53d4cffbd7df61dfdbd84b9d1)

Fix spelling

(cherry picked from commit c38b0fd2441a809086fc3067968c2bcc7d2305d5)

Please Clang’s -Wmissing-variable-declarations

(cherry picked from commit 736237aeb21eceaf7a80f13d59ad47c35d76b8bb)

Increase interval for cleaning up $CCACHE_DIR/tmp to 2 days

This will reduce problems when adjusting system time; see #480.

(cherry picked from commit e1fc59223518c53ab227d224a36fe2eeead127eb)

Don’t fail fatally if temporary cpp_stderr file is missing

If the temporary cpp_stderr file is missing when the compilation command
has finished then either some user removed it or ccache removed it in
clean_up_internal_tempdir (since the compilation took more than hour or
the system clock was adjusted?). In either case, let’s just fall back to
running the real compiler instead of failing fatally.

Fixes #480 and #154.

(cherry picked from commit c74dbfe5d43fc23733bd44839b9bd119da94ba26)

Improve functions related to (l)stat-ing

Introduced a Stat class that represents a “struct stat”. The class
replaces the utility functions x_lstat, x_stat, file_size_on_disk and
is_symlink, and it provides an easier to use interface than the macros
associated with stat structs.

Remove obsolete traverse function

Remove obsolete x_calloc function

Make ccache buildable with Clang 9

Make remember_include_file free from gotos

Add Thomas Otto (totph) to .mailmap

Tweak contribution guidelines

Use nonstd::string_view where appropriate

Use #include "third_party/..." consistently to include third party code

Remove now superfluous size check of uncompressed files

Uncompressed cache files have a trailing checksum as well; this wasn’t
the case earlier in the format design process.

Add nonstd::string_view 1.3.0

Add nonstd::optional 3.2.0

Upgrade to fmt 6.0.0

Pretty-print embedded_file_type in log messages

Reduce casting related to FileType

Convert result type string to an enum (#478)

Fix warning during configure in out of tree build (#479)

../configure: line 2250: src/version.cpp: No such file or directory

test output: only use ansi codes when run in a terminal

test output: improve readability on light backgrounds

`bold()` now only writes bold text, not bold and white text

Remove left-over CacheEntryReader::CacheEntryReader doc string

Fix comment after renaming util.cpp to legacy_util.cpp

Add missing #pragma once to File.hpp

Add -MQ to compilation flags to make dependency files work properly

Looks like ccache’s own header dependencies have been broken since
4aa357782e48 and nobody noticed.

(cherry picked from commit a00b59c86136488d54a83bef10bc5a0f6b37eacf)

Fix an out-of-bounds read when logging (#475)

The stack variable `suffix` is not guaranteed to be zero-terminated.

Recompress in parallel

Recompression is now done by a thread pool with one thread per logical
CPU. There is also a read-ahead to let the main thread do some directory
I/O while the CPUs are busy.

Add -X/--recompress option

Let cache entry writer/reader update/verify checksums

Make File movable and noncopyable

Rename file_size to file_size_on_disk and improve its return type

Refactor result/manifest reading/writing

* Converted compression code into C++ interfaces and implementations.
* Extracted code for reading/writing results/manifests into
  reader/writer classes.
* C++-ified result/manifest parsing code.

Add unit test of AtomicFile

Add AtomicFile::stream

Rename AtomicFile::close to commit

This better conveys the semantics.

Include .tmp. in AtomicFile names

This makes it possible to use AtomicFile for files in the cache
directory without having to add a “.tmp” interfix explicitly.

Add Util::big_endian_to_int and Util::int_to_big_endian

Add Util::get_file_size

Add std::make_unique implementation

Use UpperCamelCase instead of snake_case for namespaces

This makes Foo::bar work for both a namespace Foo and a class Foo.

Make AtomicFile::Type values lower case

Extract temporary file creation code into a function

Also, use cstdio instead of iostream since that will be needed in
upcoming commits to get hold on the underlying file descriptor.

Add and use Checksum class

The class wraps an XXH64 state.

Add and use CacheFile::Type and CacheFile::type

Move parse_int to util

Fix test suite problems on OS X

As suggested in PR #469.

Co-authored-by: Enrico Sorichetti <enricosorichetti@mac.com>

Force regeneration of autotools stuff in autogen.sh

As suggested in PR #469.

Co-authored-by: Enrico Sorichetti <enricosorichetti@mac.com>

Add .DS_Store to .gitignore

As suggested in PR #469.

Co-authored-by: Enrico Sorichetti <enricosorichetti@mac.com>

Make detection of supported Clang warning flags actually work

As suggested in PR #469.

Co-authored-by: Enrico Sorichetti <enricosorichetti@mac.com>

Add support for -MF=arg as understood by  EDG-based compilers

Closes #460.

(cherry picked from commit d5ff95277932936ed6b3dc1b674562a8682f8aef)

Only pass implicit -MQ to preprocessor if needed

This is a bug fix of 76a9959f3d3e.

(cherry picked from commit 19c3729d30640fc2c78242cb46136e619fdbd802)

Update NEWS

(cherry picked from commit 3c0e894c58b887bc40e2be99e722bd9b68df8689)

Simplify code

Extract function for free+nullify pattern

Dont free/null variable twice

Don’t crash if localtime returns null pointer in localtime_r replacement

This seems to happen in some unknown Windows environment, see #450.

Fixes #450.

(cherry picked from commit 8c4ffbab96a8f4bebc27b39ad3a235a5d8baeab3)

Include compiler-only arguments in the hash

After 5d8585b5 (#312), arguments that are not considered affecting the
preprocessor output won’t be passed to the preprocessor. -Werror and
-Wno-error are also not passed to the preprocessor so that options not
properly marked as “compiler only” will only trigger warnings, not
errors. This was a workaround for Clang complaining about unused
arguments in the preprocessor step performed by ccache.

However, it also introduced a regression: -Werror and the other options
were excluded from the hash as well. This means that

  cc -c file_with_warnings.c

would be cached by ccache, including the warning message. A later

  cc -Werror -c file_with_warnings.c

call would then be a cache hit, resulting in a compilation warning
instead of an error.

This commit fixes the problem by also including the compiler-only
arguments in the hash.

(cherry picked from commit 6be00a0070d3898fe7201f6db44a9a3c42627bf8)

Add configure check for Clang flags for disabling warnings

As suggested in #466.

Also, make --enable-more-warnings actually work when building from a
release archive.

Move dev mode configure check to the top

This makes it possible to make decisions depending on dev mode futher
down in configure.

Add configure macro AX_CHECK_COMPILE_FLAG

Remove obsolete configure check related to snprintf replacements

Clarify 3.7.4 news items

-gz is apparently supported by GCC 5+ and Clang as well.

Prepare for v3.7.4

(cherry picked from commit fbdb291fbf0fc749ed44fc510ff023c8030359ff)

Update NEWS

(cherry picked from commit d5697e4bcb04cf78245e30fbebdc4536d66c290a)

Support GCC 9’s -gz=[type] option

-gz[=type] neither disables nor enables generation of debug info, so
don’t enable the fallback behavior of hashing the current directory when
seeing -gz[=type] alone.

Closes #464.

(cherry picked from commit cb7a05a772ce3dcec58da16d957420f36cb97f75)

Update NEWS

Add missing include guard

Sort function definitions

Set sysconfdir to /etc when dist checking

This makes the command line stable so that we can get ccache hits.