Simplify make_relative_path() argument and result ownership

Make cc_process_args() only use local variables

cc_process_args writes into a new ArgsInfo struct and only accesses
local variables (minus guessed_compiler). For now these are mostly
copied into the global variables again after the function call.

Most ccache.cpp global variables moved to legacy_globals.cpp.

Add a ScopeGuard struct

Enables automatic cleanup of raw pointers and other resources.
For now used simplify resource management in cc_process_args.

Add from_owned_cstr/from_cstr functions

Format code with clang-format

Make Config noncopyable and add clear_and_reset() method (#522)

Prevents changes from getting lost by writing them to a
temporary copy of the main Config object.

Also restore deleted comments from the move of
primary/secondary_config_path.

Derive header list from source list if possible (#521)

Skip read-only tests on file systems that lack such support

Fixes #510.

Make failure to write a stats file a soft error (#516)

If a stats file update for some reason fails, the exception will bubble
up to ccache_main which just prints the error and exits with an error.
Let’s consider such failures non-fatal and just log them.

Split ccache.hpp into per-.cpp file headers

This reduces code dependencies that hamper refactoring.

Remove obsolete COMPAR_FN_T check and typedef

Move global primary/secondary_config_path into Config (#514)

Ignore files from VS (Code) (#508)

Make failed tests create a testdir.failed symlink (#511)

When the test suite fails 'testdir.failed' now points to the random
'testdir.9876/' directory. This make iterative debugging of failing
tests easier by always using the symlink name or re-issuing 'cd $PWD'
when 'cd'-ed into the 'testdir.failed' directory.

All artifacts can still be removed via 'rm -r testdir.*'.

Simplify parse_int slightly (#509)

Add configuration for the No Response Probot

Upgrade to fmt 6.1.2

Send dependency arguments to compiler if run_second_cpp is true

If we run the compiler on the real source code on a cache miss (i.e.,
run_second_cpp is true) we can send the dependency arguments (-MD, etc.)
to the compiler instead of the preprocessor. When doing this there is no
need to add an implicit -MQ option to get the correct object file
location in the dependency file. Do so and also avoid adding an implicit
-MF option since that isn’t needed either. This should re-add support
for EDG-based compilers (see 6d453769 and #460).

If we run the compiler on the preprocessed source code on a cache miss
(i.e., run_second_cpp is false) we still need to let the preprocessor
generate the dependency file (the compiler doesn’t generate a dependency
file when compiling preprocessed source code) and thus we need to add
implicit -MQ and -MF.

This change reverts a fix (97b27781) for the Intel C++ compiler, but if
the Intel compiler still has problems the user can simply avoid setting
run_second_cpp to false.

Test extra_args_to_hash output of cc_process_args

Include “Co-authored-by” attributions when calculating authors

(cherry picked from commit cb301769895adc941845b16d124e0bff292a74c3)

Improve error message for bad boolean environment variable value

Before:

    ccache: error: CCACHE_DIRECT: invalid boolean environment variable
    value "0" for CCACHE_NODIRECT (did you mean to set
    "CCACHE_DIRECT=true"?)

After:

    ccache: error: CCACHE_NODIRECT: invalid boolean environment variable
    value "0" (did you mean to set "CCACHE_DIRECT=true"?)

Make it harder to misinterpret semantics of boolean environment settings

Closes #502.

Co-authored-by: Steffen Dettmer <steffen.dettmer@rail.bombardier.com>
(cherry picked from commit f2481b1d5988cb4ccc3010c4ad6933e9c93e6d02)

Avoid passing compilation-only options to the preprocessor redux

25e73c1f (“Include compiler-only arguments in the hash”) attempted to
fix a regression in 5d8585b5 (“Don’t pass -Werror and compilation-only
options to the preprocessor”). It succeeded fixing the regression all
right, but it also essentially reverted the essence of 5d8585b5 (#312)
since compiler-only arguments once again are passed to the preprocessor.
Sigh.

Fix this for real and also write a test that proves it.

(cherry picked from commit bc2005e994030f787c014ce2491cfc4c7057eac6)

misc/performance: Fix --no-cpp2 and --no-stats options

They broke in an unsuccessful cherry-pick (0827d070) as noted in #503.

(cherry picked from commit 0948fb13f07c756b8e056efdec46560e0faf37d1)

Prepare for v3.7.7

(cherry picked from commit 26912b280b839e102482db8c9e63f00a95b58486)

Prepare for v3.7.7

(cherry picked from commit 6cfc49fc46b16d0b3fe9c3cde8ddf3199a36ced6)

Update NEWS

(cherry picked from commit 5c6954378780a7d07faa33d5bc31bdda1a4b8bb1)

Make sure to always log a “Result:” line

Fixes #500.

A side effect of this is that read-only cache misses now will update the
“cache miss” statistics counter, which is consistent with the cache hit
cases (which already now update the counters).

(cherry picked from commit 1d2b76a71b12c2ffdd107f89a3d9caa6cd223d44)

Add tests for verifying dependency file content

(cherry picked from commit c972eb6e824624956444e945bdfd9768c7e74123)

Revert "Only pass implicit -MQ to preprocessor if needed"

This reverts commit 19c3729d30640fc2c78242cb46136e619fdbd802 and also
removes the incorrect and superfluous condition that the fix fixes.

The reason for reverting is that the change introduced a nasty bug: the
dependency file will get an incorrect object file location if 1) build
directory != source directory and 2) -MF is not specified explictly by
the user.

Details: The dependency file is created by the preprocessor pass which
does not have access to the final output file name, so the preprocessor
uses the default object location derived from the source file location
instead.

Note that this partly reverts a compatibility improvement for EDG-based
compilers (see issue #460).

It should be possible to pass the dependency arguments to the compiler
instead of the preprocessor to make -MD/-MMD without -MQ work, but
that’s too risky to be done as a bug fix.

Fixes #499.

(cherry picked from commit 6d4537695f8753556362c6c5521360ca9b596ab2)

Add “--nocpp2” option to misc/performance

(cherry picked from commit dbf7e85f67cf785636341ce07380e7151b582ee6)

Test .incbin detection for assembler compilation

(cherry picked from commit c9530b9d423b3e1b52f2fb7b3cf3376eb3044384)

Remove the unify mode

The unify mode has not received enough attention and has at least these
bugs:

1. The direct mode doesn’t work if the unify mode is enabled. This is
   because the unify mode doesn’t call into process_preprocessed_file
   which stores the paths and hashes of included files needed by the
   direct mode.
2. The .incbin directive detection has no effect when using the unify
   mode. This is again because the unify mode doesn’t use
   process_preprocessed_file which is where the .incbin detection takes
   place.
3. The unifier’s tokenizer doesn’t understand C++11 raw string literals.
4. The unifier ignores comments, but comments may have semantic meaning
   to modern compilers, e.g. “fall through” comments.

Bugs 3 and 4 are fixable by improving the unifier’s tokenization
algorithm, but since it’s a bit tricky it likely won’t be worth the
effort, especially not as a bug fix.

Bugs 1 and 2 are also fixable by unifying the two code paths, but that’s
a non-trivial effort.

In addition to the bugs, I believe that the usefullness of the unify
mode is low:

* It’s only applicable when not using -g.
* It won't be enabled for C++ unless somebody fixes bug 3.
* It can make line numbers in warning messages and __LINE__ expansions
  incorrect.
* Since comments should not be ignored, the unify mode can only make a
  difference for some types of whitespace changes, like adding or
  removing blank lines or changing a+b to a + b. (a + b is already
  normalized to a + b by the preprocessor.)

Therefore I’ll just remove the unify mode to fix the bugs.

Fixes #497.

(cherry picked from commit 947a72ce3712a6901e7ddc43a50c5df40739113e)

Remove superfluous clang-format comments

Unittest fixes on Windows (#496)

Update .mailmap

(cherry picked from commit 38419c8dc3712b46020fd02cef6f608bf66c13fe)

Improve comments related to save_timestamp

(cherry picked from commit 0d0def13a52d7b68376636776e71a9af5bf01bb4)

Store mtime/ctime as -1 if sloppy_file_stat is not set (#495)

As discussed in #493.

(cherry picked from commit 6341a2abd47eb43123ce9fc92716d9768300795e)

Assert in get_path_in_cache instead of throwing on bad preconditions

A bad `levels` argument is an internal error and cannot be a result of
user input.

Refactor and simplify get_path_in_cache and tests

This avoids depending on global state, making testing and reasoning
about code behavior easier.

Reflow comments to fit the available width

Simplify return of empty string_view

Remove “nonstd::” qualification where no longer needed

Remove duplicate backtick

Merge pull request #483 from totph/svmisc

Misc C++-ification

C++-ify get_path_in_cache(), add ConfigTester

Then use ConfigTester to test get_path_in_cache()

Use change_extension() and remove_extension()

Also remove obsolete legacy remove_extension() function.

Add and test change_extension()

New function, not ported from legacy_util. Added because remove_extension()
followed by format("%s.new_ext", name) is used quite frequently.

Add and test remove_extension()

Works as a replacement for the legacy util function.

Add and test get_extension()

Works as a replacement for the legacy util function.

Remove obsolete x_basename

Add and test and use get_truncated_base_name()

Use base_name() instead of x_basename()

Add hash functions for string and string_view

Windows define and include restructuring (#492)

Set the _WIN32_WINNT macro only once in the generated config.h.

Include <windows.h> only once in system.hpp, unless these includes
are in third party libs - however third party includes themselves
should always be behind internal includes. Therefore also make
system.hpp the first include everywhere.

Add handling of __TIMESTAMP__ macro (#488)

__TIMESTAMP__ is expanded by the pre-processor to asctime() of the source
file's modification time. Handle __TIMESTAMP__ similar to __DATE__ and include
asctime(modification time) in the hash when __TIMESTAMP__ is detected in the
source code.

Prepare for v3.7.6

(cherry picked from commit 1a4929bfd73e63ebd1b369ee116f9c57f1931824)

Update NEWS

(cherry picked from commit 85f1e368b0e1a1633a2aeebd840601cd39b808c2)

Always include input file path in direct mode hash

The “file_macro sloppiness” mode is a way of opting out of inclusion of
the input file path in the direct mode hash. This can produce a false
cache hit in the following scenario:

- a/r.h exists.
- a/x.c has #include "r.h".
- b/x.c is identical to a/x.c.
- Compiling a/x.c records a/r.h in the manifest.
- Compiling b/x.c results in a false cache hit since a/x.c and b/x.c
  share manifests and a/r.h exists.

Therefore, ditch the file_macro sloppiness mode so that the input file
path is always included in the direct mode hash.

This bug has existed ever since the file_macro sloppiness was introduced
in eb5d9bd3beb5 (ccache 3.0). It has remained undetected since
compilations tend to use .d files and ccache before 3.7.5 added an
implicit “-MQ <output_file_path>” argument, thus in practice including
the output file path in the hash and therefore making manifests unique
when the object file path mirrors the source file path. However, ccache
3.7.5 no longer adds the implicit -MQ option, thus exposing the bug.

Fixes #489.

(cherry picked from commit 404eedde2b8c7a048ea1f68a8e70e49c5ea74df2)

Ignore unknown sloppiness values in configuration files

Similar to 22db9ed893e9: This way legacy ccache versions can still work
with modern ccache configuration keys in the configuration files.

(cherry picked from commit 75520370b8f0c5afb8141b9808de69302d085d21)

Handle properly color diagnostics also in depend mode (#484)

Compiler invocation in the depend mode uses the original arguments,
which means the added -fcolor-diagnostics (or -fdiagnostics-color)
was dropped.

Allow -fmodules in direct depend mode (#482)

Clang creates the internal on-disk representation of modules
in the background on demand as necessary. This means that ccache does
not need to cache that, all that it needs to cache is the actual
compilation result and the dependencies. Which in the case of modules
includes also the module.modulemap files, and Clang outputs such
dependencies correctly only in the depend mode, in the preprocessed
output there is no way to find out the module dependencies.

Therefore support -fmodules in direct depend mode by more or less
ignoring it. Tested with source build of LLVM/Clang configured
with -DLLVM_ENABLE_MODULES=On (and the build actually occassionally
fails because of module problems, but that happens regardless of ccache).

See also pull request #130 (and this reuses the tests from there).

Correct "-MJ" bail out, identify both "-MJ file" and "-MJfile" (#487)

Also added test to detect the invalid case TOO_HARD | TAKES_CONCAT_ARG.

Update libzstd to 1.4.4

Move tests of FormatNonstdStringView to a separate file

The general idea is that unittest/test_X.cpp contains tests for
src/X.[hc]pp.

stats: Fix statistics update with full filesystem

This is an improved version of the corresponding 3.x series fix in
1a432329.

AtomicFile: Cope with write error (e.g. due to full disk) when closing

Fix and test interaction between fmt and nonstd::string_view (#481)

Empty string_views could not be handled and formatting
did not stop until the first \0 was encountered.

Tweak grammar

Mention the AVX2 algorithm in NEWS

Add AVX2 variant of check_for_temporal_macros (#476)

By using AVX (Advanced Vector Extensions) the search for __DATE__ and __TIME__
in the input source becomes much faster. On my machine, ccache spends ~4.9e6
cycles in check_for_temporal_macros when compiling src/ccache.cpp. With USE_AVX
set that figure goes down to ~6.7e5.

Compiling all of ccache with -mavx2 makes the unittest crash with "Illegal
instruction: 4" when run on travis (Mac OS X). My guess is that -mavx2 makes
clang generate code that uses instructions that doesn't work on the CPUs used
on the build server (see [0]).

Instead compile only check_for_temporal_macros_avx2 with -mavx2 as we can
control when that function is called (i.e. only do it when the cpu supports
it).

[0] - https://stackoverflow.com/questions/48333342/os-x-illegal-instruction-4-in-travis-ci

Fix FormatNonstdStringView.hpp name in non_third_party_headers

Prepare for v3.7.5

(cherry picked from commit 5d9a289f594c22361c18baf41a8a9aa5bd6a1026)

Update NEWS

(cherry picked from commit e83a77c95f0853f53d4cffbd7df61dfdbd84b9d1)

Fix spelling

(cherry picked from commit c38b0fd2441a809086fc3067968c2bcc7d2305d5)

Please Clang’s -Wmissing-variable-declarations

(cherry picked from commit 736237aeb21eceaf7a80f13d59ad47c35d76b8bb)

Increase interval for cleaning up $CCACHE_DIR/tmp to 2 days

This will reduce problems when adjusting system time; see #480.

(cherry picked from commit e1fc59223518c53ab227d224a36fe2eeead127eb)

Don’t fail fatally if temporary cpp_stderr file is missing

If the temporary cpp_stderr file is missing when the compilation command
has finished then either some user removed it or ccache removed it in
clean_up_internal_tempdir (since the compilation took more than hour or
the system clock was adjusted?). In either case, let’s just fall back to
running the real compiler instead of failing fatally.

Fixes #480 and #154.

(cherry picked from commit c74dbfe5d43fc23733bd44839b9bd119da94ba26)

Improve functions related to (l)stat-ing

Introduced a Stat class that represents a “struct stat”. The class
replaces the utility functions x_lstat, x_stat, file_size_on_disk and
is_symlink, and it provides an easier to use interface than the macros
associated with stat structs.

Remove obsolete traverse function

Remove obsolete x_calloc function

Make ccache buildable with Clang 9

Make remember_include_file free from gotos

Add Thomas Otto (totph) to .mailmap

Tweak contribution guidelines

Use nonstd::string_view where appropriate

Use #include "third_party/..." consistently to include third party code

Remove now superfluous size check of uncompressed files

Uncompressed cache files have a trailing checksum as well; this wasn’t
the case earlier in the format design process.

Add nonstd::string_view 1.3.0

Add nonstd::optional 3.2.0

Upgrade to fmt 6.0.0

Pretty-print embedded_file_type in log messages

Reduce casting related to FileType

Convert result type string to an enum (#478)

Fix warning during configure in out of tree build (#479)

../configure: line 2250: src/version.cpp: No such file or directory

test output: only use ansi codes when run in a terminal

test output: improve readability on light backgrounds

`bold()` now only writes bold text, not bold and white text

Remove left-over CacheEntryReader::CacheEntryReader doc string

Fix comment after renaming util.cpp to legacy_util.cpp

Add missing #pragma once to File.hpp