Fix typos

Allow the config file to be a symlink

Fixes #607.

Only try to hard link object files to/from the cache

The compiler unlinks the destination object file before writing, but it
apparently doesn’t do that for dependency files. This means that
compilation can corrupt a .d file that shares i-node with a cached .d
file when using the hard link mode. Here is a scenario where this can
happen:

1. There is a test.c which includes test.h.
2. When test.c is compiled, the compiler writes test.d which mentions
   test.h and ccache hard links test.d into cache entry 1. test.d and
   cache entry 1's .d file now share i-nodes.
3. The include of test.h is removed from test.c.
4. When test.c is compiled again the compiler overwrites test.d with new
   content without test.h and ccache hard links test.d into cache entry
   2. test.d, cache entry 1 and cache entry 2 now share i-nodes, all of
   which contain the new content without test.h.

Since we can’t be sure how the compiler behaves for other types of files
(.dwo, .cov, etc.), only try to to hard link object files.

Fixes #599.

Add missing O_TRUNC when opening destination file

Should have been there in a16778a6243e271d501da95232cbe7c9ff58649b.

Register temporary compiler stdout/stderr files as pending

This avoids leaking them when a compilation is interrupted via e.g.
Ctrl+C.

Create parent directories if hard linking fails with ENOENT

This makes hard linking work for an empty cache structure as well.

Copy directly from cache to destination file instead of via tmp file

ccache copies files to the cache via a temporary file which is then
renamed into place. For simplicity reasons the same file copy function
is used when copying files from the cache as well. This however makes
ccache fail for very long destination filenames.

Fix this by introducing a “via_tmp_file” parameter to copy_file, similar
to how it works on master.

Closes #593.

Support clang options for compiling with sampled profiles (#589)

Add support for -fprofile-sample-use and -fprofile-sample-accurate.

(cherry picked from commit 4b1b7d4b36c036c190831d9283f8c1e22e640e24)

Improve handling of profiling options

Handling of -fprofile-{generate,use}[=path] was implemented in PR #2
(2011). ccache has since then gained support for Clang, which is not
GCC-compatible for -fprofile-{generate,use}[=path]. Furthermore, GCC 9
changed the semantics of -fprofile-{generate,use}=path, making it
incompatible with ccache’s original implementation.

One crucial problem with the implementation is that there is no error
handling when the expected profiling data file cannot be found. This
means that there will be false positives cache hits for Clang and GCC
9+.

Fix this by:

* Checking for different profiling data file locations to handle
  different compilers and versions.
* Bailing out if no profiling data file can be found.

Also:

* Implemented support for Clang’s -fprofile-instr-{generate,use}[=path]
  options.
* Implemented support for -fauto-profile[=path].
* Removed the conversion of absolute path to the profile directory.
  91a2954e says that the directory is rewritten to increase the hit
  rate, but I don’t understand how that could be the case.
* Added tests for the profiling options. Exception:
  -fauto-profile[=path], since that would require running the perf tool.

Fixes #582.

Fix #559 partially (setting base_dir and cache_dir_levels) (#576)

Prepare for v3.7.9

Remove incorrect result check in `format`

`format` considers a zero-length result (e.g. from `format("%s", "")`)
to be a fatal error. The check originates from 0a7cea64 where it was
appropriate but become incorrect later when refactoring the original
`x_asprintf2` function to `format`.

I can’t find any call to `format` that would trigger this edge case, but
let’s remove the erroneous check anyway.

Related to #568.

Clean up backported commits slightly

Fix comparison with the “cu” language

This should have been done in c4fffda0.

Related to PR #381.

(cherry picked from commit 0dec5c2df3e3ebc1fbbf33f74c992bef6264f37a)

Remove .ic extension and cuda/cuda-output languages

CUDA/NVCC, at least not version 10.1, does not recognize “.ic” as a
valid extension and neither “cuda” nor “cuda-output” as languages.

Also made sure to compare with “cu” instead of “cuda” when detecting
whether to force run_second_cpp.

(cherry picked from commit c4fffda031034f930df2cf188878b8f9160027df)

test/suites/nvcc.bash: Test -x cu and -dc options

(cherry picked from commit c4bac76687c66b1ed7c6b57c1c7d184bb0e46e17)

When compiling CUDA code, recognize -dc as compilation only argument

nvcc's options -dc or --device-c imply -c but also generates device
code. We catch it as an option if our guessed compiler is NVCC

(cherry picked from commit cece6046bbab113eb57018b41a679b82ff6d8f62)

Add cu language as an alias to cuda

(cherry picked from commit a5e5b6dc8eae73e707d125bb3328713c4fa43892)

Improve name of tmp file in x_unlink

There is no need to generate a unique temporary name in x_unlink since
we don’t care whether the temporary file is clobbered on NFS. The
previous usage of tmp_string() was not quite correct since the returned
string is supposed to be passed to mkstemp, not used as is.

Disable hard link mode when the output object file is /dev/null

When hard link mode is enabled, ccache ≥3.6 unlinks the output file
before writing to it as a workaround for a bug in Clang (#331). This
unfortunately means that /dev/null will be removed when building as root
(don’t do that, BTW) with hard link mode enabled and /dev/null as the
the output file. A similar problem exists if the dependency file is
/dev/null, regardless of hard link mode.

Fix this by not unlinking the output file if it’s /dev/null and by not
copying files to /dev/null at all. (There is no need to handle other
non-regular output files since /dev/null is the only allowed non-regular
output file.)

Fixes #564.

Prepare for v3.7.8

win32: Log epoch timestamp if localtime_r fails

doc: Clarify include_file_ctime sloppiness in the Performance section

Use tmp_unlink to remove temporary file in use_relative_paths_in_depfile

No need to remove via another temporary file.

Rewrite the Windows version of the lockfile routines

Instead of emulating the POSIX version, use the native Windows file API
to create a lockfile. This should mitigate several problems with the old
implementation.

Hopefully fixes #537.

Cap time to sleep to 10 ms when failing to acquire a lock

Fix conf_set_unknown_option unit test failure on Windows

Add pch test suite probe for seemingly broken compiler support

This fixes a problem mentioned by Orion Poplawski in a comment to PR #217.

(cherry picked from commit 0d06da7803c082b43cdccfcdfd56911ba4e7d458)

win32: Fix -Werror=stringop-truncation warning in GetFileNameFromHandle

win32: Use MOVEFILE_REPLACE_EXISTING to replace file x_rename

This is a partial cherry-pick of 743f35a1.

Co-authored-by: Cristian Adam <cristian.adam@gmail.com>

Use apparent CWD when checking for CWD in preprocessed output

Also when checking debug prefix maps.

This fixes a problem when $PWD includes a symlink part and the user has
set “hash_dir = false”.

Closes #531.

Include “Co-authored-by” attributions when calculating authors

Make it harder to misinterpret semantics of boolean environment settings

Closes #502.

Co-authored-by: Steffen Dettmer <steffen.dettmer@rail.bombardier.com>

Avoid passing compilation-only options to the preprocessor redux

25e73c1f (“Include compiler-only arguments in the hash”) attempted to
fix a regression in 5d8585b5 (“Don’t pass -Werror and compilation-only
options to the preprocessor”). It succeeded fixing the regression all
right, but it also essentially reverted the essence of 5d8585b5 (#312)
since compiler-only arguments once again are passed to the preprocessor.
Sigh.

Fix this for real and also write a test that proves it.

Prepare for v3.7.7

Prepare for v3.7.7

Update NEWS

Make sure to always log a “Result:” line

Fixes #500.

A side effect of this is that read-only cache misses now will update the
“cache miss” statistics counter, which is consistent with the cache hit
cases (which already now update the counters).

Add tests for verifying dependency file content

Revert "Only pass implicit -MQ to preprocessor if needed"

This reverts commit 19c3729d30640fc2c78242cb46136e619fdbd802 and also
removes the incorrect and superfluous condition that the fix fixes.

The reason for reverting is that the change introduced a nasty bug: the
dependency file will get an incorrect object file location if 1) build
directory != source directory and 2) -MF is not specified explictly by
the user.

Details: The dependency file is created by the preprocessor pass which
does not have access to the final output file name, so the preprocessor
uses the default object location derived from the source file location
instead.

Note that this partly reverts a compatibility improvement for EDG-based
compilers (see issue #460).

It should be possible to pass the dependency arguments to the compiler
instead of the preprocessor to make -MD/-MMD without -MQ work, but
that’s too risky to be done as a bug fix.

Fixes #499.

Add “--nocpp2” option to misc/performance

Test .incbin detection for assembler compilation

Remove the unify mode

The unify mode has not received enough attention and has at least these
bugs:

1. The direct mode doesn’t work if the unify mode is enabled. This is
   because the unify mode doesn’t call into process_preprocessed_file
   which stores the paths and hashes of included files needed by the
   direct mode.
2. The .incbin directive detection has no effect when using the unify
   mode. This is again because the unify mode doesn’t use
   process_preprocessed_file which is where the .incbin detection takes
   place.
3. The unifier’s tokenizer doesn’t understand C++11 raw string literals.
4. The unifier ignores comments, but comments may have semantic meaning
   to modern compilers, e.g. “fall through” comments.

Bugs 3 and 4 are fixable by improving the unifier’s tokenization
algorithm, but since it’s a bit tricky it likely won’t be worth the
effort, especially not as a bug fix.

Bugs 1 and 2 are also fixable by unifying the two code paths, but that’s
a non-trivial effort.

In addition to the bugs, I believe that the usefullness of the unify
mode is low:

* It’s only applicable when not using -g.
* It won't be enabled for C++ unless somebody fixes bug 3.
* It can make line numbers in warning messages and __LINE__ expansions
  incorrect.
* Since comments should not be ignored, the unify mode can only make a
  difference for some types of whitespace changes, like adding or
  removing blank lines or changing a+b to a + b. (a + b is already
  normalized to a + b by the preprocessor.)

Therefore I’ll just remove the unify mode to fix the bugs.

Fixes #497.

Update .mailmap

Improve comments related to save_timestamp

Store mtime/ctime as -1 if sloppy_file_stat is not set (#495)

As discussed in #493.

Prepare for v3.7.6

Update NEWS

Always include input file path in direct mode hash

The “file_macro sloppiness” mode is a way of opting out of inclusion of
the input file path in the direct mode hash. This can produce a false
cache hit in the following scenario:

- a/r.h exists.
- a/x.c has #include "r.h".
- b/x.c is identical to a/x.c.
- Compiling a/x.c records a/r.h in the manifest.
- Compiling b/x.c results in a false cache hit since a/x.c and b/x.c
  share manifests and a/r.h exists.

Therefore, ditch the file_macro sloppiness mode so that the input file
path is always included in the direct mode hash.

This bug has existed ever since the file_macro sloppiness was introduced
in eb5d9bd3beb5 (ccache 3.0). It has remained undetected since
compilations tend to use .d files and ccache before 3.7.5 added an
implicit “-MQ <output_file_path>” argument, thus in practice including
the output file path in the hash and therefore making manifests unique
when the object file path mirrors the source file path. However, ccache
3.7.5 no longer adds the implicit -MQ option, thus exposing the bug.

Fixes #489.

Ignore unknown sloppiness values in configuration files

Similar to 22db9ed893e9: This way legacy ccache versions can still work
with modern ccache configuration keys in the configuration files.

Handle properly color diagnostics also in depend mode (#484)

Compiler invocation in the depend mode uses the original arguments,
which means the added -fcolor-diagnostics (or -fdiagnostics-color)
was dropped.

(cherry picked from commit 061e57ced8abfd31d7eb41924d64e0765e806d89)

Format code with uncrustify

Correct "-MJ" bail out, identify both "-MJ file" and "-MJfile" (#486)

Also added test to detect the invalid case TOO_HARD | TAKES_CONCAT_ARG.

stats: Fix statistics update with full filesystem

The statistics file update does not check for write errors correctly
as stdio files are normally buffered.  This means that data can be
written to the stdio buffer but not written out until fclose().
Hence, it is imperative that the fclose() return value is also
checked.

If either fprintf() or fclose() fail, clean up the temporary file,
rather than littering the filesystem with needless temporary files.

Signed-off-by: Russell King <rmk@armlinux.org.uk>

Prepare for v3.7.5

Update NEWS

Fix spelling

Fix possible NULL pointer dereference (#433)

cppcheck:
  [src/manifest.c:270] -> [src/manifest.c:269]: (warning)
  Either the condition '!errmsg' is redundant or there is possible null pointer
  dereference: errmsg.

(cherry picked from commit 359be01b408ba4c60b968575ee6382ec5483f69f)

Please Clang’s -Wmissing-variable-declarations

Increase interval for cleaning up $CCACHE_DIR/tmp to 2 days

This will reduce problems when adjusting system time; see #480.

Don’t fail fatally if temporary cpp_stderr file is missing

If the temporary cpp_stderr file is missing when the compilation command
has finished then either some user removed it or ccache removed it in
clean_up_internal_tempdir (since the compilation took more than hour or
the system clock was adjusted?). In either case, let’s just fall back to
running the real compiler instead of failing fatally.

Fixes #480 and #154.

Fix warning during configure in out of tree build (#479)

../configure: line 2250: src/version.cpp: No such file or directory

Add -MQ to compilation flags to make dependency files work properly

Looks like ccache’s own header dependencies have been broken since
4aa357782e48 and nobody noticed.

Improve test case order

Add support for -MF=arg as understood by  EDG-based compilers

Closes #460.

Only pass implicit -MQ to preprocessor if needed

This is a bug fix of 76a9959f3d3e.

Update NEWS

Don’t crash if localtime returns null pointer in localtime_r replacement

This seems to happen in some unknown Windows environment, see #450.

Fixes #450.

Include compiler-only arguments in the hash

After 5d8585b5 (#312), arguments that are not considered affecting the
preprocessor output won’t be passed to the preprocessor. -Werror and
-Wno-error are also not passed to the preprocessor so that options not
properly marked as “compiler only” will only trigger warnings, not
errors. This was a workaround for Clang complaining about unused
arguments in the preprocessor step performed by ccache.

However, it also introduced a regression: -Werror and the other options
were excluded from the hash as well. This means that

  cc -c file_with_warnings.c

would be cached by ccache, including the warning message. A later

  cc -Werror -c file_with_warnings.c

call would then be a cache hit, resulting in a compilation warning
instead of an error.

This commit fixes the problem by also including the compiler-only
arguments in the hash.

Only enable more warnings in dev mode when requested

21ded3ae enabled “more warnings” in dev mode unconditionally, but that
doesn’t play well in dev builds with a Clang version older than the one
used in Travis-CI since the “-Wno-foo” options may be unknown. Instead
of doing feature tests for those options, just enable “more warnings”
when --enable-more-warnings is specified and specify it for Travis-CI
builds.

Prepare for v3.7.4

Update NEWS

Support GCC 9’s -gz=[type] option

-gz[=type] neither disables nor enables generation of debug info, so
don’t enable the fallback behavior of hashing the current directory when
seeing -gz[=type] alone.

Closes #464.

Win32: make_relative_path also accept /c/users (#455)

Patch copied from jd-gascuel@f3b85c9

(cherry picked from commit 1fa9f0c8130177578020cdb89b9c93792f42400e)

Prepare for v3.7.3

Update NEWS

Fix typo in NEWS

Don’t pass -Wno-error to the preprocessor

This is done to keep the argument order between -Werror and -Wno-error.

Fixes #451.

Refer to autogen.sh correctly in autogen.sh

Closes #449.

(cherry picked from commit 71446a8651b671004cc6a57c61f9f73f0a3d0375)

Fix CCACHE_MAXSIZE with filesystem compression (#444)

(cherry picked from commit 14d4371b50206fe9dfba45222b63a3d01605e16c)

Prepare for v3.7.2

Update NEWS

Don’t pass -Werror and compilation-only options to the preprocessor

Clang emits warnings when it sees unused options, so when ccache runs
the Clang preprocessor separately, options that are not used by the
preprocessor will produce warnings. This means that the user may get
warnings which would not be present when not using ccache. And if
-Werror is present then the preprocessing step fails, which needless to
say is not optimal.

To work around this:

* Options known to have the above mentioned problem are not passed to
  the preprocessor.
* In addition, -Werror is also not passed to the preprocessor so that
  options not properly marked as “compiler only” will only trigger
  warnings, not errors.

Fixes #312.

Rename stripped_args to common_args

Don’t build tar.bz2 release archive

bz2 seems more or less obsolete since xz compresses better (and
decompresses faster), and gz is more ubiquitous.

Avoid letting “-gdwarf*” force “run_second_cpp = true”

Fixes #394.

Don’t enable unit test verbosity in Travis

It’s way too spammy.

Verify value in “ccache -o key=value”

Based on a suggestion by Henri Houder.

const-ify parameters to confitem verifier/formatter

Improve solution to #405

Instead of changing the global stats_file value temporarily in
update_manifest, pass which file to update explicitly to
stats_update_size.

Remove .xml files in the doc directory on “make distclean”

Mention xsltproc in INSTALL.md

Related to #425.

Tweak formatting of manual text and code comments

Fix PCH detection in depend mode (+test improvements) (#427)

* do not refer to Clang's PTH in tests

The PTH feature has been removed (https://reviews.llvm.org/D54547)
and according to the commit it has never really been used. Maybe this
made sense somewhen in the past, but now those .pth files must be PCHs
internally. This commit actually just changes the .pth extensions
to .pch to avoid confusion, technically nothing should change
except for filenames.

* try to share PCH tests between GCC and Clang

Clang is supposed to be a drop-in for GCC, so in general it should
be able to handle everything GCC can. That's not completely true
in practice, there are differences, but it doesn't make sense
to completely duplicate a testcase just because there are some
differences. So start creating a shared common base for the PCH
tests and do separately only tests that act differently.

* more sharing of PCH tests between GCC and Clang

There's e.g. no need to do all kinds of complex tests with both
.gch and .pch with Clang, except for checking that Clang finds
one of them if none is specified explicitly.

* log also when pch usage is detect from pragma pch_preprocess

* try harder to verify in tests that ccache detects PCH changes

Some of the tests did that, e.g. those 'file changed', but e.g. the cached
.gch creation did not. So try to intentionally change the .gch/.h and test
that it leads to a cache miss. Otherwise there might be a hit simply
because ccache failed to detect PCH usage and ignores the .gch completely.

* clean up #include vs -fpch-preprocess in pch tests

As the manpage says, -fpch-preprocess is needed only with the #include
form, otherwise it's pointless.

* do not mention sloppiness in pch tests, only no sloppiness

Since sloppiness is normally required, so no point in stating the obvious.

* test also -include-pch with clang

* hash also pch introduced only using -include

GCC does not output the pch in the .d dependencies file, so without
this there would be false cache hits.

* be consistent about sloppiness in pch tests

create pch -> pch_defines
use pch -> time_macros

* test CCACHE_PCH_EXTSUM more thoroughly and also with -include

* pch test for .gch file being in an extra directory

* doc corrections for how to use PCH with ccache

- ccache will fail to properly detect that -include a.h means using
  a.h.gch if it requires using path from -I (they are not searched)
- -fpch-preprocess does nothing with Clang, it doesn't output
  pragma GCC pch_preprocess and so #include form for PCHs doesn't work

* explain better problems of -MD/-MMD in depend mode

Hint about not running autogen.sh when building from release archive

Related to #418.

Clean up detection of CI environment

“RUN_FROM_BUILD_FARM” was set by the old Samba build farm, so switch to
checking “TRAVIS” instead. Also, keep running in dev mode in Travis.

clang's -ftime-trace is too hard (#424)

It produces extra .json file with timing information about the compilation.

Handle unknown manifest version gracefully in --dump-manifest

Previously “ccache --dump-manifest file” would crash with an assert when
the file did not have the expected version.

Fix make check with "funny" locales (#420)

'ch' in cs_CZ locale is technically just one character, so directory
name 'ccache' fails the test

Tweak comment