Use SOURCE_DATE_EPOCH for timestamp if present

The Debian reproducible builds effort suggests using
this environment variable for timestamps.

unit: Disable warnings

GCC 6 warns about unused attributes - disable the warning

cmake: take control of our compiler flags

rose: use min of max_offset in left merges

Be more careful with max_offset, since we rely on it ofr ANCH history
cases. Also adds tighter assertions.

rose: ensure anch small block literals have bounds

program_runtime: remove commented-out code

dfa_build_strat: remove dead pure virtual impl

remove exceptionMap from LimExNFA

dfa: adding new Sheng engine

A new shuffle-based DFA engine, complete with acceleration and smallwrite.

McClellan refactor

Taking dfa strat out of McClellan, to be reused by other DFAs

nfa: delete largely-unused struct LimExNFABase

add a csv version of rose_components

Check for misaligned memory in compile error code

We now check that mem alloc for error message is aligned, and
fail with an appropriate message in the compile error.

rose: don't leave stray reports when copying the subgraph leading to a report

dump: offsets for SOM_REL, SOM_ABS reports

parser: ignore \E that is not preceded by \Q

This conforms to PCRE's behaviour, where an isolated \E that is not
preceded by \Q is ignored.

ng_violet: fix non-det in lookForCleanEarlySplits

ng_violet: trivial typo fixes

ng_violet: fix non-determinism in deanchorIfNeeded

ng_violet: fix non-determinism in splitEdgesByCut

Older gcc doesn't like shadowing the function

Remove enum typedef

Don't shadow names

ng_violet: det. vertex ordering in splitRoseEdge

ng_violet: iterate in edge order

rose: use dumpString for debug output

flood_compile: escape chars in debugging

ng_violet: use dumpString for debug output

rose: clear reports in removeFalsePaths

rose: only write out report programs if in use

These programs are only used by output-exposed engines.

ng: ensure that only match states have reports

Ensure (and assert) that vertices without an edge to {accept, acceptEod}
do not have reports set.

teddy: apply poison mask after prep_conf_ work

This simplifies the code, and removes all the all-ones p_mask uses,
which we were otherwise trusting the optimizer to remove.

take mask overhang into account for hwlm accel, float min dist

violet: 32bit fix

violet: initial implementation

compiledump: allow disabling of early graphs for large compiles

rose: expose smwr builder, tidy up engine build

rose_build_anchored: clean up remapping

Note that there are no EOD reports in the anchored matcher raw_dfas.

rose_build_anchored: remove unused forward decls

rose: use program offset, not final_id, in atable

This removes the need to look up the program offset in a table when
handling an anchored literal match.

rose: add RECORD_ANCHORED instruction to program

Moves recordAnchoredLiteralMatch from an unconditional call in the
anchored callback to being driven by a program instruction.

minor eager prefixes improvements
 - count eager prefixes as always run engine when comparing with smwr
 - only check if a prefix is vacuous after adding back literal fragments

UE-2991: avoid copying one unnecessary subqueue item

rose: tidy up CHECK_{BYTE,MASK} dump code

rose: add CHECK_BYTE/CHECK_MASK instructions

These instructions are specialisations of the "lookaround" code for
performance.

rose_build_convert: improve history selection

Fixes assertion failures introduced by last commit.

rose: sanity check CHECK_BOUNDS instruction

rose: only use anch history when there are bounds

tamarama dump: use correct base offset

rose: only dump small-block table in block mode

rose: check literal bounds when building SB table

Literals that cannot lead to a report in the first ROSE_SMALL_BLOCK_LEN
bytes may be dropped from the small block table.

fdr: remove groups from struct FDR_Runtime_Args

teddy: no need to write control out at the end

teddy: remove extra control ptr

fdr: remove extra control ptr

simd_utils: setbit/clearbit by loading 1-bit mask

rose: don't always dedupe small-block lit variants

reduce character classes for hwlm accel

truffle hwlm accel

use NGHolder::foo in favour of NFAGraph::foo

we no longer store the history len

group_weak_end is no longer used

Ensure that m256 is 32-aligned on non-avx2 builds

rose: use normal callback for pure-literal cases

limex: use cyclics mask for repeat compress

limex: only compress active repeats

limex: switch off stale repeats during compress

limex: compress repeats before state

assign groups: turn pair<pair> into a tuple

rose: preserve lit properties when building masks

This fixes a bug with commit 6a6b0e5, which did not preserve the
requires_explode and requires_benefits properties when a new literal was
generated to add an HWLM and/cmp mask.

Also extends the requires_explode handling to allow masked literals.

new test: deserializers fail with garbage input

hs_serialized_database_info: check whole input

Most lines of hs_serialized_database_info are not needed,
as the information is provided by db_decode_header.
Moreover, db_decode_header changes its first argument,
so it points to end of header after db_decode_header.

simplegrep: open file in binary mode ("rb")

Otherwise it hangs on binary files (platform MinGW).

workaround for freebsd/clang/libc++ build issues

Rather than relying on set's constructor from {}, explicitly construct
the set.

Apply some consistency to the names we give shifts

remove unnecessary function proto

remove only use of cmpmsk8 and unused cmpmsk16

Remove GCC-style compound statements

These do not appear to give us benefits over inlining on recent compilers.

teddy: we only need the upper lane

Just use an extract, no need to shuffle first.

simd: simplify the set-all-ones util funcs

Modern compilers (gcc, icc) get this right, with the benefit of
removing our last use of inline asm in this file.

Move limex specific shuffle utils and ssse3 funcs

nfa: standardise callback start, end naming

nfa: unify NfaCallback and SomNfaCallback

Use just one callback type, with both start and end offsets.

tamarama: add container engine for exclusive nfas

Add the new Tamarama engine that acts as a container for infix/suffix
engines that can be proven to run exclusively of one another.

This reduces stream state for pattern sets with many exclusive engines.

rose: re-inline literal handling program exec

rose: move roseRunProgram into its own unit

The roseRunProgram function had gotten very large for the number of
sites it was being inlined into, with negative effects on performance in
large cases. This change moves it into its own translation unit.

allow some prefixes that may squash the literal match to run eagerly

Disable strict aliasing

Strict aliasing allows to compiler to make some optimisations, but they aren't
without risk. The benefits do not appear to be worth the risk.

prevent merging the e and f tables if the ftable is squashable

only show floating groups to the floating table

role aliasing: tidy up naming

role aliasing: unify map update code

rose: don't build empty sparse iter subprograms

role aliasing: use a reverse ghost map

tighten ghost vertex checks

rose: allow ghosts to be aliased

limex: tidy up scoring code

limex: invert scoring to count up from zero

limex: implement variable shift NFA engines

Replaces the old LimEx NFA engines, which were specialised for model
size and number of shifts, with a new set of engines that can handle a
variable number of shifts.