Extract copy_raw_file into Util::clone_hard_link_or_copy_file

Fix Clang-Tidy inconsistent-declaration-parameter-name warning

Document --dump-result

Align command line option list in manual with help text

Tweak ci/build script

- Removed redundant “exit 0” command again.
- Removed now obsolete and misleading comments.
- If JOBS is set to the empty string then detect the number of CPUs instead
  of running a limitless number of jobs.

Use a known and set TERM variable to stabilize color_diagnostics tests

On some distributions TERM is unset when run via Docker which failed
color_diagnostics tests since ccache doesn’t enable color output if TERM
is unset. Fix this by using a known TERM value.

Fixes #616.

Skip “Directory is not hashed if using -gz[=zlib]” tests for GCC 6

The GCC 6 (tested with GCC 6.3) preprocessor includes the current
working directory in the preprocessed output if run with -gz, which
means that there won’t be cache hits between directories, thus failing
the “Directory is not hashed if using -gz[=zlib]” tests. Fix this by
skipping the test if the preprocessor behaves that way.

Fixes #602.

Enable verbose output from “test/run” if VERBOSE is set

Sort environment variables passed to docker container

Pass arguments to ci/build to ctest

This makes it possible to only run a subset of the tests by for instance
running “build-in-docker <name> -R <test>”.

Remove redundant docker image tag suffix

Run compilation and tests with multiple threads (#610)

Fix color_diagnostics test failure if CCACHE_DIR is set in shell rc file

If the user sets CCACHE_DIR in a shell startup file then that value will
override the one from the test suite, thus making changes in cache
statistics invisible which triggers failures.

Make one of the CI jobs build in release mode

It seems reasonable to run tests with the real release binary.

Clean up INSTALL.md

Rename producttest to test

I don’t see a value in the prefix.

Rename generated Version.cpp to version.cpp

The convention is to use capitalized filenames for source files that
implement classes and namespaces and lowercase filenames for source
files that do not.

Clean up scripts related to code formatting

- Simplified scripts.
- Made colored output work again.

Clean up scripts related to CI and Docker

Improve naming of scripts

- Use kebab case consistently.
- Remove redundant (and exposing an implementation detail) .sh extension
  for executables.

Clean up build-in-docker script

Move top-level scripts to misc

This makes the top-level directory less crowded.

Rename USE_LIBZSTD_FROM_INTERNET to ZSTD_FROM_INTERNET

Simplify code for hashing include file

Build InodeCache.cpp only when inode cache is supported

Build win32compat.cpp only on Windows

Enable more clang-tidy rules and implement suggestions

Reduce the set of included headers

Implement some suggestions from clang-tidy 10

Tweak CMakeLists.txt

Remove stale licenses (#613)

The m4 files are no longer used after the switch to cmake in f2341b2.

Tweak buffer reservation in Util::format_hex

Do not report skipped tests as failures on CMake <3.9 (#609)

Reduce number of memory allocations in hashing (#608)

Add hash_buffer_once method for hashing a given text immediately using a
stack allocated hasher. Also skip copying the hasher in hash_result as
blake3 is not modifying the hasher.

Update contribution guidelines related to clang-format usage

Update authors

(cherry picked from commit c7455f6a5385f1c19dc3b6c93cc4b37c0320ec48)

Update NEWS

(cherry picked from commit 6695d6011bc8a91e167da86fb326d54a9d005cde)

Remove win32 GetFileNameFromHandle compatibility function

The replacement function seems to be buggy, triggering failures in
x_realpath at least when the unit tests are run in Wine. The real
GetFinalPathNameByHandle function is allegedly supported in Windows
Vista and newer, so let’s just use it.

(cherry picked from commit bd742fbe20493f720ae6af00525fd3a8ee829802)

Improve comment of inode cache version and revert to version 1 again

As noted by Olle Liljenzin, changing the hash algorithm does not require
incrementing the version field, so let’s revert the change I made as
part of 2a0dd8ef.

Fix numbering of Travis CI jobs

The “allow_failures” one are always listed last, so move them last in
.travis.yml as well.

Let “ccache --hash-file” perform raw hashing again

Unintended or not, #577 (213d9883) changed the behavior of “ccache
--hash-file” to use hash_binary_file, which essentially performs
hash(hash(path)) if the i-node cache is enabled, otherwise hash(path).
This means that “ccache --hash-file” behaves differently depending on if
i-node cache is enabled and also that it’s no longer usable for
benchmarking purposes.

Fix this by simply using “hash_file” again.

Fix bug in hash_binary_file

Introduced in #577 (213d9883).

Fix location of secondary configuration

Regression in #573 (f2341b2b).

Replace BLAKE2b with BLAKE3 (#519)

Add missing “#pragma once”

Allow the config file to be a symlink

Fixes #607.

(cherry picked from commit 46172c8bc24799ae35cf300b0b5ba765bd40896a)

Add “clang-format off/on” comments for old Clang-Format versions

Rename buildenv to dockerfiles to make room for build* directories

Clean up CMake configuration

Format config.h.in with Clang-Format and fix spelling

Improve INSTALL.md after CMake-ification

I chose to mention “-DCMAKE_BUILD_TYPE=Release” explicitly since some
end users will clone the repository instead of downloading the release
archive and then the default “Debug” build won’t be a great idea.

Don’t update author list when generating documentation

Motivation:

1. The copyright notice in each source file refers to doc/AUTHORS.adoc
   for the list of contributors. If we only update AUTHORS.adoc when
   generating documention then AUTHORS.adoc will become more and more
   out of date until somebody remembers to commit the changes.
2. The list is based on commit authors, but authors may sometimes need
   an entry in .mailmap so there’s manual work involved to sanity check
   the list. It can also happen that some commits or authors may need to
   be excluded.

Therefore I prefer to keep AUTHORS.adoc manually updated at release time
(or occasionally more often) with the help of a script just like before.

Remove cmake-format check and support

Motivation:

1. It’s unsatisfying to have to remember to run “make format” after
   editing CMake files. (Clang-Format has more editor integrations, and
   most importantly there are integrations for my editor of choice.)
2. The output of cmake-format seems to be a bit unstable between
   versions.
3. I don’t like some of cmake-format’s formatting choices. This could be
   potentially be improved, though.

Let’s remove the support for now and maybe revisit later.

Docker: add Alpine to new docker setup (#606)

Add and use Fd and Finalizer classes

Add Digest class, replacing struct digest

Fix NEWS entry about switching to CMake

ccache has never used Automake.

Fix spelling

Place temporary test dirs in CMAKE_BINARY_DIR

That’s where the developer performs the build so I think that it makes
more sense this way.

Tell CTest about skipped tests

Return code 125 is chosen for familiarity with what “git bisect” uses.

Support NVCC’s “--Werror” option

doc: Improve wording in “Sharing a cache on NFS”

Improve documentation about sharing a cache on NFS (#604)

Switch to CMake (#573)

Co-authored-by: Cristian Adam <cristian.adam@gmail.com>
Co-authored-by: Joel Rosdahl <joel@rosdahl.net>

Require working script command for the color_diagnostics test suite

portability: Don’t pass “-r” to sed

Make hard-linked files read-only for safety

Mention in manual that only object files are hard-linked

As implemented in 82ecace9.

Add more tests for dependency file content

Remove redundant #includes

Always cache colored diagnostics and strip color codes as appropriate (#596)

Upgrade Travis-CI environment to Ubuntu 18.04

Fix variable name

Add missing TestContext instantiation

Mention inode cache in NEWS

Improve inode_cache test suite to not truncate CCACHE_LOGFILE

Fix some trivial code style issues

Add inode cache for file hashes (#577)

The inode cache is a process shared cache that maps from device, inode,
size, mtime and ctime to saved hash results. The cache is stored
persistently in a single file that is mapped into shared memory by
running processes, allowing computed hash values to be reused both
within and between builds.

The chosen technical solution works for Linux and might work on other POSIX
platforms, but is not meant to be supported on non-POSIX platforms
such as Windows.

Use 'ccache -o inode_cache=true/false' to activate/deactivate the cache.

Only try to hard link object files to/from the cache

The compiler unlinks the destination object file before writing, but it
apparently doesn’t do that for dependency files. This means that
compilation can corrupt a .d file that shares i-node with a cached .d
file when using the hard link mode. Here is a scenario where this can
happen:

1. There is a test.c which includes test.h.
2. When test.c is compiled, the compiler writes test.d which mentions
   test.h and ccache hard links test.d into cache entry 1. test.d and
   cache entry 1's .d file now share i-nodes.
3. The include of test.h is removed from test.c.
4. When test.c is compiled again the compiler overwrites test.d with new
   content without test.h and ccache hard links test.d into cache entry
   2. test.d, cache entry 1 and cache entry 2 now share i-nodes, all of
   which contain the new content without test.h.

Since we can’t be sure how the compiler behaves for other types of files
(.dwo, .cov, etc.), only try to to hard link object files.

Fixes #599.

(cherry picked from commit 443afc179e1de3f050850103a5ba62e3cb5ab398)

Add missing O_TRUNC in copy_file and clone_file

Move ThreadPool methods to .cpp file

Clean up profiling_clang test suite probing

Handle incapability of determining home directory more gracefully

Convert last usage of putenv

Remove comments with motivation for “clang-format off/on”

The motivation is available in the Git history.

Fix capitalization of Clang

Use STDERR_FILENO/STDOUT_FILENO constants

Clean up

Handle all Intel “-xCODE” compiler options correctly

“CODE” in the Intel compiler’s “-xCODE” option for specifying processor
features seems to always start with an uppercase letter, and since GCC’s
language specifications always are lowercase we can just treat uppercase
codes as an ordinary compiler argument.

Improve temp file handling

- Use Util::create_temp_fd instead of legacy create_tmp_fd.
- Use Context::register_pending_tmp_file instead of unlinking
  explicitly.
- Simplified output of merged stderr from preprocessor and compiler.

Add test case for merging stderr from preprocessor and compiler

Use std::ios_base::openmode as the third Util::write_file parameter

Refactor signal handling and process exit code

* Added a SignalHandler class which encapsulates parts related to signal
  handling.
* Moved data referenced by the exit functions to Context (compiler PID,
  pending temporary files and pending debug log files).
* Let the Context destructor do what the exitfn functionality used to
  do.
* Removed the now superfluous exitfn functionality.

C++-ify unlink wrapper functions

x_unlink(p)   == 0 -> Util::unlink_safe(p)
x_try_unlink  == 0 -> Util::unlink_safe(p, Util::UnlinkLog::ignore_failure)
tmp_unlink(p) == 0 -> Util::unlink_tmp(p)

Revert "Merge catch2_tests into unittest’s main"

This reverts commit 4608eb6d6c41aefb7c5f534166901e051e126115.

Since unittest/main.cpp includes src/Util.hpp it’s still too painful to
compile the Catch2 runner, so let’s keep it separate.

Use raw string literals for version and usage texts

Default to zstd compression level 1

After some experiments my evaluation is that the increased compression
ratio of level 1 is worth the very slight decrease in compression speed.

Add and use win32_error_message function

Remove overengineered win32 gethostname fallback code

Let’s assume that all systems we reasonably support have access to
gethostname. If not, revisit later.

Regarding the win32 case: Since the replacement code (triggered if
HAVE_GETHOSTNAME isn’t defined) itself uses gethostname, just use
gethostname.

Add unit test for config key tables consistency