stats: Fix statistics update with full filesystem

The statistics file update does not check for write errors correctly
as stdio files are normally buffered.  This means that data can be
written to the stdio buffer but not written out until fclose().
Hence, it is imperative that the fclose() return value is also
checked.

If either fprintf() or fclose() fail, clean up the temporary file,
rather than littering the filesystem with needless temporary files.

Signed-off-by: Russell King <rmk@armlinux.org.uk>

Prepare for v3.7.5

Update NEWS

Fix spelling

Fix possible NULL pointer dereference (#433)

cppcheck:
  [src/manifest.c:270] -> [src/manifest.c:269]: (warning)
  Either the condition '!errmsg' is redundant or there is possible null pointer
  dereference: errmsg.

(cherry picked from commit 359be01b408ba4c60b968575ee6382ec5483f69f)

Please Clang’s -Wmissing-variable-declarations

Increase interval for cleaning up $CCACHE_DIR/tmp to 2 days

This will reduce problems when adjusting system time; see #480.

Don’t fail fatally if temporary cpp_stderr file is missing

If the temporary cpp_stderr file is missing when the compilation command
has finished then either some user removed it or ccache removed it in
clean_up_internal_tempdir (since the compilation took more than hour or
the system clock was adjusted?). In either case, let’s just fall back to
running the real compiler instead of failing fatally.

Fixes #480 and #154.

Fix warning during configure in out of tree build (#479)

../configure: line 2250: src/version.cpp: No such file or directory

Add -MQ to compilation flags to make dependency files work properly

Looks like ccache’s own header dependencies have been broken since
4aa357782e48 and nobody noticed.

Improve test case order

Add support for -MF=arg as understood by  EDG-based compilers

Closes #460.

Only pass implicit -MQ to preprocessor if needed

This is a bug fix of 76a9959f3d3e.

Update NEWS

Don’t crash if localtime returns null pointer in localtime_r replacement

This seems to happen in some unknown Windows environment, see #450.

Fixes #450.

Include compiler-only arguments in the hash

After 5d8585b5 (#312), arguments that are not considered affecting the
preprocessor output won’t be passed to the preprocessor. -Werror and
-Wno-error are also not passed to the preprocessor so that options not
properly marked as “compiler only” will only trigger warnings, not
errors. This was a workaround for Clang complaining about unused
arguments in the preprocessor step performed by ccache.

However, it also introduced a regression: -Werror and the other options
were excluded from the hash as well. This means that

  cc -c file_with_warnings.c

would be cached by ccache, including the warning message. A later

  cc -Werror -c file_with_warnings.c

call would then be a cache hit, resulting in a compilation warning
instead of an error.

This commit fixes the problem by also including the compiler-only
arguments in the hash.

Only enable more warnings in dev mode when requested

21ded3ae enabled “more warnings” in dev mode unconditionally, but that
doesn’t play well in dev builds with a Clang version older than the one
used in Travis-CI since the “-Wno-foo” options may be unknown. Instead
of doing feature tests for those options, just enable “more warnings”
when --enable-more-warnings is specified and specify it for Travis-CI
builds.

Prepare for v3.7.4

Update NEWS

Support GCC 9’s -gz=[type] option

-gz[=type] neither disables nor enables generation of debug info, so
don’t enable the fallback behavior of hashing the current directory when
seeing -gz[=type] alone.

Closes #464.

Win32: make_relative_path also accept /c/users (#455)

Patch copied from jd-gascuel@f3b85c9

(cherry picked from commit 1fa9f0c8130177578020cdb89b9c93792f42400e)

Prepare for v3.7.3

Update NEWS

Fix typo in NEWS

Don’t pass -Wno-error to the preprocessor

This is done to keep the argument order between -Werror and -Wno-error.

Fixes #451.

Refer to autogen.sh correctly in autogen.sh

Closes #449.

(cherry picked from commit 71446a8651b671004cc6a57c61f9f73f0a3d0375)

Fix CCACHE_MAXSIZE with filesystem compression (#444)

(cherry picked from commit 14d4371b50206fe9dfba45222b63a3d01605e16c)

Prepare for v3.7.2

Update NEWS

Don’t pass -Werror and compilation-only options to the preprocessor

Clang emits warnings when it sees unused options, so when ccache runs
the Clang preprocessor separately, options that are not used by the
preprocessor will produce warnings. This means that the user may get
warnings which would not be present when not using ccache. And if
-Werror is present then the preprocessing step fails, which needless to
say is not optimal.

To work around this:

* Options known to have the above mentioned problem are not passed to
  the preprocessor.
* In addition, -Werror is also not passed to the preprocessor so that
  options not properly marked as “compiler only” will only trigger
  warnings, not errors.

Fixes #312.

Rename stripped_args to common_args

Don’t build tar.bz2 release archive

bz2 seems more or less obsolete since xz compresses better (and
decompresses faster), and gz is more ubiquitous.

Avoid letting “-gdwarf*” force “run_second_cpp = true”

Fixes #394.

Don’t enable unit test verbosity in Travis

It’s way too spammy.

Verify value in “ccache -o key=value”

Based on a suggestion by Henri Houder.

const-ify parameters to confitem verifier/formatter

Improve solution to #405

Instead of changing the global stats_file value temporarily in
update_manifest, pass which file to update explicitly to
stats_update_size.

Remove .xml files in the doc directory on “make distclean”

Mention xsltproc in INSTALL.md

Related to #425.

Tweak formatting of manual text and code comments

Fix PCH detection in depend mode (+test improvements) (#427)

* do not refer to Clang's PTH in tests

The PTH feature has been removed (https://reviews.llvm.org/D54547)
and according to the commit it has never really been used. Maybe this
made sense somewhen in the past, but now those .pth files must be PCHs
internally. This commit actually just changes the .pth extensions
to .pch to avoid confusion, technically nothing should change
except for filenames.

* try to share PCH tests between GCC and Clang

Clang is supposed to be a drop-in for GCC, so in general it should
be able to handle everything GCC can. That's not completely true
in practice, there are differences, but it doesn't make sense
to completely duplicate a testcase just because there are some
differences. So start creating a shared common base for the PCH
tests and do separately only tests that act differently.

* more sharing of PCH tests between GCC and Clang

There's e.g. no need to do all kinds of complex tests with both
.gch and .pch with Clang, except for checking that Clang finds
one of them if none is specified explicitly.

* log also when pch usage is detect from pragma pch_preprocess

* try harder to verify in tests that ccache detects PCH changes

Some of the tests did that, e.g. those 'file changed', but e.g. the cached
.gch creation did not. So try to intentionally change the .gch/.h and test
that it leads to a cache miss. Otherwise there might be a hit simply
because ccache failed to detect PCH usage and ignores the .gch completely.

* clean up #include vs -fpch-preprocess in pch tests

As the manpage says, -fpch-preprocess is needed only with the #include
form, otherwise it's pointless.

* do not mention sloppiness in pch tests, only no sloppiness

Since sloppiness is normally required, so no point in stating the obvious.

* test also -include-pch with clang

* hash also pch introduced only using -include

GCC does not output the pch in the .d dependencies file, so without
this there would be false cache hits.

* be consistent about sloppiness in pch tests

create pch -> pch_defines
use pch -> time_macros

* test CCACHE_PCH_EXTSUM more thoroughly and also with -include

* pch test for .gch file being in an extra directory

* doc corrections for how to use PCH with ccache

- ccache will fail to properly detect that -include a.h means using
  a.h.gch if it requires using path from -I (they are not searched)
- -fpch-preprocess does nothing with Clang, it doesn't output
  pragma GCC pch_preprocess and so #include form for PCHs doesn't work

* explain better problems of -MD/-MMD in depend mode

Hint about not running autogen.sh when building from release archive

Related to #418.

Clean up detection of CI environment

“RUN_FROM_BUILD_FARM” was set by the old Samba build farm, so switch to
checking “TRAVIS” instead. Also, keep running in dev mode in Travis.

clang's -ftime-trace is too hard (#424)

It produces extra .json file with timing information about the compilation.

Handle unknown manifest version gracefully in --dump-manifest

Previously “ccache --dump-manifest file” would crash with an assert when
the file did not have the expected version.

Fix make check with "funny" locales (#420)

'ch' in cs_CZ locale is technically just one character, so directory
name 'ccache' fails the test

Tweak comment

Update the correct stats file for manifest (#405)

There are global variables used for updating stats,
and those were wrong for the manifest file update.

So make sure to reset those variables, before adding
the manifest (this means flushing the pending updates)

Fix source comment and documentation typos (#403)

Found via `codespell -q 3 -L uint,thru -S ./src/zlib`

Prepare for v3.7.1

Prepare for v3.7.1

Avoid -Wextra-semi-stmt warnings from Clang

Update NEWS

Fix usage of ferror after fclose

Improve fix in #400 to handle more cases

The dependency file name can come from e.g. DEPENDENCIES_OUTPUT as well,
so hash information about a /dev/null .d file after the argument
processing loop instead.

Tweak code style

Hash information to make results with -MF /dev/null unique (#400)

If we first run with -MF /dev/null, then we will get a
"cache file missing" error on the next run - avoid that.

Make sure to cache the special /dev/null value, so that
it differs from the normal (ignored) dep file name...

Revert "Bail out on “-MF /dev/null”"

This reverts commit 253301e7ac56a9d2bed1f03a91ba73be102a0d42.

Bail out on “-MF /dev/null”

This is an alternative fix for #397, based on the observation/assumption
that using “-MF /dev/null” is only ever used as part of a compiler probe
call in combination with “-c /dev/null -o /dev/null”, so there is little
reason to cache the result. The advantage of just bailing out is to
reduce the number of special cases we have to handle.

Fix “Help wanted”/”Good first issues” links

Support using -MF /dev/null argument (#398)

This is sometimes used when detecting capabilities.

Sort entries in LICENSE.adoc

Make uncrustify ignore newlines for enums

Uncrustify doesn’t properly understand enums as return values and
ignoring newlines is an easy workaround.

Tweak typedef of the stat format function

Typedef-ing the function as a pointer type works better with uncrustify.

Calculate length correctly in win32argvtos

Fix NULL argument in profile directory trace (#395)

With -fprofile-*=path, we currently print :
"Setting profile directory to (null)".

This fixes the build with gcc 9, which failed with :
error: ‘%s’ directive argument is null [-Werror=format-overflow=]

Fix memory and temporary file leak

Fix code style

Handle @file syntax on Windows correctly (#392)

* add length return to win32argvtos()

this is useful for determining the length of the generated argument string

* correctly handle @file syntax on Windows

the @file syntax means that the process reads command arguments from the
specified file. this is commonly used in order to shorten commands which
would otherwise be longer than the maximum length limit: many build systems
do this in all cases to avoid hitting this limit.

when a command exceeds 8192 characters on on Windows, ccache now writes
the parsed/modified arguments to a tmpfile and then runs the command using
that tmpfile with @tmpfile in order to preserve this mechanism and avoid hitting
the length limit

fixes #95

Prepare for v3.7

Don’t include email addresses in authors list

Not all users have real email addresses anyway, and I don’t see any real
use for maintaining a “correct” list of addresses.

Fix Clang analyzer warning about uninitialized value

Update NEWS

The clang --analyze option is too hard (for now) (#389)

The scan-build wrapper seems to use -analyze.

Upgrade minitrace to latest master (#387)

Rename perf/perf.py to misc/performance

No need for it to occupy a directory of its own.

Convert Python scripts to Python 3 and Blacken them

Because 2019.

Improve docs for (and name of) utility scripts for tracing

Simplify trace_stop signature

Fix minitrace.c compilation error with GCC 7.3

The error/warning looks like this:

src/minitrace.c: In function ‘mtr_flush’:
src/minitrace.c:256:54: error: ‘%.*s’ directive output may be truncated writing up to 700 bytes into a region of size 252 [-Werror=format-truncation=]
     snprintf(arg_buf, ARRAY_SIZE(arg_buf), "\"%s\":\"%.*s\"", raw->arg_name, 700, raw->a_str);
                                                      ^~~~
In file included from /usr/include/stdio.h:862:0,
                 from src/minitrace.c:9:
/usr/include/x86_64-linux-gnu/bits/stdio2.h:64:10: note: ‘__builtin___snprintf_chk’ output 6 or more bytes (assuming 706) into a destination of size 256
   return __builtin___snprintf_chk (__s, __n, __USE_FORTIFY_LEVEL - 1,
          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
        __bos (__s), __fmt, __va_arg_pack ());
        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Update NEWS

Revert "Support for Fortran 77"

This reverts commit c0875cf2dae56f66076ee01e0ca6e723ba999199.

Fixes #342.

Fix bugs in the newly introduced tracing mode (#386)

* The tracefile variable is not used anymore

This caused trace files to be left in /tmp

* Fix crash in tracing mode, caused by logging

Unfortunately cc_log() requires conf to work

Update NEWS

Tweak manuals and code related to tracing

Add optional support for microsecond tracing (#280)

* Add third-party minitrace library for tracing
* Add a time_seconds helper, for portability
* Add basic tracing support, using minitrace
* Add script to combine multiple trace.json

Use localtime_r instead of localtime

This pleases linters that dislike localtime(3).

Remove NEWS entry for #374

The bug does not exist in any released version.

Update NEWS

Tweak source code comments

Touch up NEWS.adoc

* Use “-” for bullets consistently.
* Use “curly quotation marks” instead of ``asciidoctor'' quotation style
  for readability, and similar for apostrophes.

Copy rather than link depend from the cache (#379)

The depends are small enough to avoid the copy, since it leads
to issues with mv when using automake to generate the Makefile.

Improve handling of debug levels

Fixes #368.

* Remember if we have seen any option on level 3.
* Let “-g0”, “-ggdb0” and similar cancel out any previously seen “-g”
  options except “-gsplit-dwarf”. This is based on observations on how
  GCC 7.3 behaves.
* Delay acting on seen debug options until after we have processed all
  arguments. This way we can avoid e.g. hashing the current directory if
  we get “-g3 -g0”.

Reuse previous depend mode hash result to avoid some extra work

Remove now unnecessary hash copy

Rewrite mdfour routines to not modify state when computing the result

This makes the interface much more intuitive, at the minor expense of
having to copy 32-96 extra bytes (unnecessary if the hash state won’t be
fed with more bytes) when fetching the result.

This change is also partly motivated by the code that handles several
-arch options – it calls get_object_name_from_cpp multiple times to
compute a combined hash, but that function also computes the hash result
each time.

Pass correct LDFLAGS in .travis.sh and the travis target

The change in 48b34a49469a11abae79ce24ebe1c12b5711fbe0 was not fully
propagated to .travis.sh.

Add asserts to do_hash_buffer to detect misuse

Related to issue #374.

Fix bad calculation of object hash in the depend mode

When the depend mode is enabled, there is a code path where the direct
mode hash state is finalized and then more bytes are fed into it to
create a hash sum for the depend mode. The effect is that the last 0-63
bytes (depending on the number of previously hashed bytes) of the data
used for the depend mode will be ignored, which means that the contents
of the last 0-2 or so header files in the .d file are not accounted for
in the object hash used in the depend mode.

Fix this by making a copy of the direct mode hash state before computing
the hash result in calculate_object_hash().

Fixes #374.

Don’t finalize hash buffer state in the unify mode code

The hash state needs to stay unfinalized since more bytes are fed into
it later.

Related to issue #374.