Rearrange files into suitable subdirectories, e.g. src and doc

The top directory has become too crowded.

Simplify initialize() slightly

Treat unreadable conf file like missing instead of a fatal error

This reverts 0b18af47 and implements a better solution.

The major reason is to keep ccache transparent, i.e. to still have the
following behavior:

* If ccache returns exit code == 0, then any produced stderr comes from
  the compiler and only from the compiler.
* If ccache returns exit code != 0, then ccache may print error messages
  of its own.

The reason is that autoconf configure scripts have been known to fail
tests if the compiler emits anything to stderr even if the produced
result actually works. (And printing to stdout is also a no-no.)

Document caveats related to colored warnings from compilers

Document more pitfalls with hard links

Use strftime instead of obsolete asctime function

Fix most warnings from cppcheck 1.72

Change “improvements” to “enhancements” in NEWS.txt

Every change is hopefully an improvement.

Fix use-after-free error in 316b966b

Hash host compilers invoked by nvcc

See #145.

Introduce and use ARRAY_SIZE macro

Hash '-ccbin' argument

unittest: Pass errmsg to CHECKM when available

From PR #169.

Update config.guess and config.sub to modern versions

As suggested in PR #169.

Only pass implicit -MQ to preprocessor if needed

Fixes #209.

Update NEWS

test: Add and fix cpp1 suite

I messed up when adapting Anders's work in f58741b5 to the new test
layout.

Update NEWS

Improve docs and clean up

Pass the cpp1 flags more selectively

The -fdirectives-only flag is needed for *both* cpp and cc/c++,
but the -frewrite-includes is only needed for cpp (not cc/c++).

Also make it easier to follow along in the gcc manual by passing
-fpreprocess explicitly, just like we pass the language to clang.

Add test case for directives-only/rewrite-includes

Use run_second_cpp = false (also known sometimes as "cpp1"),
but instruct the preprocessor to only handle include directives.

Make sure that any headers are still processed, and that both
the #define and -D work as usual (with regular preprocessing).

Handle semi-preprocessed source code with cpp1

When using gcc -fdirectives-only or clang -frewrite-includes,
we still need to pass preprocessor arguments to the compiler.

Also make sure to set the language for clang (but not for gcc),
since the file no longer contains regular preprocessed source.

Clean up

Fail if boolean env vars are set with common negative strings

Boolean environment variables have strange semantics: if the variable
is set then the configuration setting is considered "true".  This means
users can easily be mistaken that eg CCACHE_DISABLE=false means that
the "disable" setting is set to false.

To avoid too much backwards-incompatibility, we now exit with an error if
some common negative-sounding (case-insensitive) values:
"0", "false", "disable", "no".

All other values (including the empty string) are still considered to mean
"true".

Resolves https://github.com/ccache/ccache/issues/182

test: Rearrange files into test and unittest directories

* The unit tests formerly located in the test directory have been moved
  to the unittest directory.
* The integration test suite test.sh has been made a bash script and
  renamed to test/run. Its test suites are located in test/suites.

Prefer bash, when running test.sh script

Look for bash, to make it possible to run "make test"
on platforms where it is not the /bin/sh implementation.

It is possible to build ccache without it, when only
running the limited unit tests (with "make quicktest").

Merge branch '3.3-maint'

* 3.3-maint:
  Prepare for v3.3.6

Prepare for v3.3.6

Tweak code style and comments

Merge branch '3.3-maint'

* 3.3-maint:
  Update NEWS
  test: Verify that UNCACHED_ERR_FD works
  Only write hash debug output if there is any data
  Fix broken UNCACHED_ERR_FD

Update NEWS

test: Verify that UNCACHED_ERR_FD works

Only write hash debug output if there is any data

Fix broken UNCACHED_ERR_FD

It shouldn't be closed on exec since that's exactly the point, to leak
it to whatever ccache calls.

test: Fix nvcc tests when using compiler with options

test: Remove superfluous blank lines

test: Split into one file per suite

The test.sh file has simply grown unpleasantly large, so it's time to
split it up. Some suites still refer to stuff defined in earlier suites,
but we'll have to live with that for now.

Update NEWS

Clean up code related to CUDA/nvcc

Remove tabs from test.sh, use lowercase names for local variables and
other minor fixes.

test: Fix nvcc_ldir tests when gcc is a masquerading ccache

Bug fixes and tests for nvcc

Feature: Added cuda compiler in separate travis job and implemented
         tests for nvcc.

Feature: Added support for nvcc compiler options --compiler-bindir/-ccbin,
         --output-directory/-odir and --libdevice-directory/-ldir.
         Added tests for these options in test.sh.

Bug fix: Original patch had a statement to avoid using the preprocessed
         input files for nvcc when run_second_cpp is false. Otherwise,
         when a build is necessary and the preprocessed output was used,
         nvcc results with a compiler error. The patch simply ensures
         run_second_cpp is always set to true for the cuda compiler.

Bug fix: The -optf and -odir options are only accepted for nvcc. For other
         compilers, they behave like '-o ptf' resp. '-o dir'.
         A test was added to check this behaviour.

test: Fix failure in gcc pch suite when using compiler with options

Need to remember any extra compiler options in REAL_COMPILER as well.

test: Find and use real compiler

The real compiler is now found in the same way as ccache itself does it,
so we no longer have to rely on the uncached_compile hack.

test: Check that dependency file contains the correct object name

Refactor and clean up code for copying results to/from the cache

Lots of cruft and copy pasta has collected during the years.

* It's enough to let get_file_from_cache detect missing files in the
  cache; no need to check before.
* Made the order of the handling of the different file types consistent
  in various places.
* Removed the tmp_cov, tmp_su and tmp_dwo variables. I cannot
  see why they just aren't redundant since the corresponding output_*
  variables already exist with the same value. Except for the "GCC has
  some funny rule" part, but that seems bogus anyway since tmp_* and
  output_* must be equal for things to work. Let's just ignore it for
  now.
* Removed the support for generating placeholders for .cov and .su files
  if the compiler doesn't create them. Modern compilers always create
  them, and I want to reduce code complexity.

Improve file size/number counters for overwritten files

When ccache overwrites a cached file, the counters are still increased
as if a new file was stored in the cache, for instance when recaching.

This is now fixed by checking if a cached file exists before storing the
cached file and update file size/number counters with the correct
size/count delta.

Merge branch '3.3-maint'

* 3.3-maint:
  doc: Improve instructions on how to compile in different directories
  Split .incbin directive in ccache source code to enable cache hits

doc: Improve instructions on how to compile in different directories

Split .incbin directive in ccache source code to enable cache hits

Merge branch '3.3-maint'

* 3.3-maint:
  Prepare for v3.3.5
  doc: Tweak automatic cleanup description

Prepare for v3.3.5

doc: Tweak automatic cleanup description

Fix code style

Fix compilation with MinGW32

Add link to a good log post on how to get help from maintainers

Merge branch '3.3-maint'

* 3.3-maint:
  Update NEWS
  Don't skip compiler argument following AFFECTS_CPP without TAKES_ARG
  Clean up
  Clean up redundant expression
  -fdebug-prefix-map is supported in clang 3.8 and newer
  Fix leaked file descriptor
  Clang emits warnings for unused linker arguments, respect that!
  doc: Improve markup
  Add some fallthrough comments to work around GCC compiler warnings

Update NEWS

Don't skip compiler argument following AFFECTS_CPP without TAKES_ARG

Bug found by Mike Gelfand.

Fixes #203.

Clean up

Clean up redundant expression

-fdebug-prefix-map is supported in clang 3.8 and newer

It's not documented until newer versions of clang, but support was
added in 3.8: https://reviews.llvm.org/rL250094

Fix leaked file descriptor

Clang emits warnings for unused linker arguments, respect that!

If ccache concludes the invocation with/without linker arguments
is the same as before, then it may show/fail to show a warning
when it should.  I know we're not supposed to rely on the
is clang check, but this solves it in normal cases.

Fixes #189.

Signed-off-by: Edward Z. Yang <ezyang@fb.com>

doc: Improve markup

Add some fallthrough comments to work around GCC compiler warnings

Simplify is_precompiled_header a bit

Avoid repeating calls to get_extension

Merge branch '3.3-maint'

* 3.3-maint:
  Document how automatic cleanup works
  Make ccache -c/--cleanup not take limit_multiple into account
  test: Fix printing of failure reason with glob characters
  Fix grammar in cleanup_* function names
  test: Unset all CCACHE variables in environment
  cleanup: Improve logging
  test: Check more cases of path normalization
  Don't overwrite cached .d file with a version with absolute paths
  test: Fix verbose printing of test case name with space
  Update NEWS
  Don't use cache when building precompiled header with changed deps
  Always use include DEFAULT_SLOPPINESS when overriding CCACHE_SLOPPINESS

Rename HACKING.txt to CONTRIBUTING.md and improve text

Document how automatic cleanup works

Make ccache -c/--cleanup not take limit_multiple into account

Now "ccache -c/--cleanup" will trim the cache to the configured max
limits instead of 80% (limit_multiple) of the max limits. This feels
like a more intuitive behavior, and it also makes it behave like
documented.

test: Fix printing of failure reason with glob characters

Fix grammar in cleanup_* function names

test: Unset all CCACHE variables in environment

Gotta catch 'em all.

As suggested by Radu Rendec.

cleanup: Improve logging

test: Check more cases of path normalization

Don't overwrite cached .d file with a version with absolute paths

The .d file has already been put in the cache by to_cache (and
potentially converted to relative paths using
use_relative_paths_in_depfile).

This fixes what seems to be a mistake in 38301c0d.

test: Fix verbose printing of test case name with space

Update NEWS

Don't use cache when building precompiled header with changed deps

If one of the included files in a precompiled header is touched,
changing only its mtime, clang will produce a fatal error when the
precompiled header is then used:

    file 'foo.h' has been modified since the precompiled header 'foo.pch' was built

We need to take this into account when producing precompiled headers,
so that we don't pick out stale objects from the cache. This works
fine for direct mode, but in preprocess mode we don't have enough
information to decide if the object is still valid, so we skip the
cache entirely in that mode.

Always use include DEFAULT_SLOPPINESS when overriding CCACHE_SLOPPINESS

Otherwise the tests will have problems with backdated files.

Update NEWS

Get rid of global variable and improve name

Enable the unifier option, also in direct mode

Add debugging option of printing unify output

Merge branch '3.3-maint'

* 3.3-maint:
  Fix detection of missing argument to -opt/--options-file

Fix detection of missing argument to -opt/--options-file

Closes #171.

Merge branch '3.3-maint'

* 3.3-maint:
  Update log message and docs when using SLOPPY_FILE_STAT_MATCHES
  Tweak comment
  Add comment about why SLOPPY_INCLUDE_FILE_[CM]TIME compares using >=t

Update log message and docs when using SLOPPY_FILE_STAT_MATCHES

The size is no longer part of this check.

Tweak comment

Add comment about why SLOPPY_INCLUDE_FILE_[CM]TIME compares using >=t

Tweak comment

Add comment about why SLOPPY_INCLUDE_FILE_[CM]TIME compares using >=t

Merge branch '3.3-maint'

* 3.3-maint:
  Update NEWS
  Add test for directory in ignore_headers_in_manifest
  Fix DIR_DELIM_CH for win32 and non-win32 platforms, values were mixed up
  Update NEWS
  Tweak source code format
  Support using multiple -fdebug-prefix-map
  Fixed the check for empty object file vs diagnostics
  Removed time_of_compilation check wrt SLOPPY_FILE_STAT_MATCHES
  Revert "Better parsing of g* Options, and only use last argument"
  Test that the order of debug options is kept

Update NEWS

Add test for directory in ignore_headers_in_manifest

I should have added this test in a61d0f24 – that would have prevented
issue #165.

Fix DIR_DELIM_CH for win32 and non-win32 platforms, values were mixed up

Update NEWS

Tweak source code format

Add docker target for running test with Docker

Add standard container definition for running the tests,
to make things easier for developers on other platforms.

Support using multiple -fdebug-prefix-map

Previously only the last one was actually being applied to the hash.
Note that the compiler will actually only *use* one of all the paths.

Closes #163.