limex: only compress active repeats

limex: switch off stale repeats during compress

limex: compress repeats before state

assign groups: turn pair<pair> into a tuple

rose: preserve lit properties when building masks

This fixes a bug with commit 6a6b0e5, which did not preserve the
requires_explode and requires_benefits properties when a new literal was
generated to add an HWLM and/cmp mask.

Also extends the requires_explode handling to allow masked literals.

new test: deserializers fail with garbage input

hs_serialized_database_info: check whole input

Most lines of hs_serialized_database_info are not needed,
as the information is provided by db_decode_header.
Moreover, db_decode_header changes its first argument,
so it points to end of header after db_decode_header.

simplegrep: open file in binary mode ("rb")

Otherwise it hangs on binary files (platform MinGW).

workaround for freebsd/clang/libc++ build issues

Rather than relying on set's constructor from {}, explicitly construct
the set.

Apply some consistency to the names we give shifts

remove unnecessary function proto

remove only use of cmpmsk8 and unused cmpmsk16

Remove GCC-style compound statements

These do not appear to give us benefits over inlining on recent compilers.

teddy: we only need the upper lane

Just use an extract, no need to shuffle first.

simd: simplify the set-all-ones util funcs

Modern compilers (gcc, icc) get this right, with the benefit of
removing our last use of inline asm in this file.

Move limex specific shuffle utils and ssse3 funcs

nfa: standardise callback start, end naming

nfa: unify NfaCallback and SomNfaCallback

Use just one callback type, with both start and end offsets.

tamarama: add container engine for exclusive nfas

Add the new Tamarama engine that acts as a container for infix/suffix
engines that can be proven to run exclusively of one another.

This reduces stream state for pattern sets with many exclusive engines.

rose: re-inline literal handling program exec

rose: move roseRunProgram into its own unit

The roseRunProgram function had gotten very large for the number of
sites it was being inlined into, with negative effects on performance in
large cases. This change moves it into its own translation unit.

allow some prefixes that may squash the literal match to run eagerly

Disable strict aliasing

Strict aliasing allows to compiler to make some optimisations, but they aren't
without risk. The benefits do not appear to be worth the risk.

prevent merging the e and f tables if the ftable is squashable

only show floating groups to the floating table

role aliasing: tidy up naming

role aliasing: unify map update code

rose: don't build empty sparse iter subprograms

role aliasing: use a reverse ghost map

tighten ghost vertex checks

rose: allow ghosts to be aliased

limex: tidy up scoring code

limex: invert scoring to count up from zero

limex: implement variable shift NFA engines

Replaces the old LimEx NFA engines, which were specialised for model
size and number of shifts, with a new set of engines that can handle a
variable number of shifts.

rose: pick up more prefix->lookaround conversions

rose build: dedupe hasLastByteHistorySucc func

eod: move stream eod code to stream.c

eod: tidy up, rename to roseStreamEodExec

block: unify roseBlockExec and roseBlockExec_i

block: move matcher invocations into functions

rose: inline block-mode eod check

roseEnginesEod: trust the queue structure

roseSuffixesEod: trust the queue structure

eod: retire getELiteralMatcher

rose_build_bytecode: clean up

eod: tidy runtime

move eod iter program into general eod program

eod: move hwlm execution into MATCHER_EOD instr

rose_build_bytecode: tidy up addPredBlocks

eod: more suffix iteration into program

eod: remove forced sparse iter optimization

eod: don't force sparse iter for general prog

eod: consolidate eod anchor programs

eod: move engine checks into ENGINES_EOD instr

eod: stop passing both scratch and state around

Only omit frame pointers on 32bit release builds

Frame pointers are very useful for debugging and testing, and only
really make a difference to performance on IA32.

fdr: remove unused typedef 'ConfirmIndex'

fdr: use braced init syntax for pairs

teddy compile: rename loop var for readability

TeddySet: doesn't need a reference to lits

fdr_confirm_compile: clean up debugging code

teddy_compile: modernise

fdr_compile: tidy up

fdr_streaming_compile: modernise loops, etc

fdr/teddy: switch over remaining smart ptrs

setupFullMultiConfs: return smart ptr

setupFDRFloodControl: return smart ptr

fdr_confirm_compile: clean up for loops, iterators

fdr_confirm_compile: typedef -> using

fdr_confirm_compile: use smart ptrs

fdr_compile_internal: remove unused decl

getFDRConfirm() is static.

unit: make multiaccel tests deterministic

Use a PRNG, not rand().

rose: eagerly report EOD literal matches

Where possible, eagerly report a match when a literal that matches at
EOD occurs, rather than setting a state bit and waiting for EOD
processing.

ng_equivalence: reduce compile time on large cases

use edge index to avoid assoc property maps

rose: parameterise CHECK_LIT_EARLY

rose: make assignGroupsToLiterals a free function

rose: make assignGroupsToRoles a free function

rose_build_groups: move findGroupSquashers

rose_build_groups: move getGroups, getSuccGroups

rose_build_groups: move assignGroupsToRoles

rose_build_groups: move assignGroupsToLiterals

rose: elide SET_GROUPS when possible

rose: Do HWLM advisory masks as a complete pass

rose: linear scan for lookaround during build

This allows us to reuse more lookaround entries in the bytecode.

Provide access to scratch in queues

This largely reverts commit f8ecf33236b0695d9539e8e34cf0bb0467614cdf.

Prevent trying to build smallwrite engine for large cases

use the correct way to refer to void *

UE-2963: be more aggressive in using buildSufPQ_final()

exhaust: move functions to report.h

rose: dump leftfix/suffix queue indices

fix add_to_engine_blob for iterator=pointer

fix iter_wrapper for iterator=pointer

Merge branch develop into master

Bump version number for release

changelog: updates for 4.2 release

docs: more detail on option setting

doc: correct syntax for "extended" option setting

Extended syntax (ignore whitespace) is controlled with (?x) and (?-x).

rose: always push CHECK_BOUNDS onto end of program

rose: fix CHECK_NOT_HANDLED placement bug

The CHECK_NOT_HANDLED instruction was being inserted into an already
partially-flattened program, which would result in jump offsets becoming
incorrect.

This change places it as part of the normal flow of program
construction, which avoids this issue.