Rework literal overlap checks for merging engines

Also increase the size of chunks we consider merging for castles.

Introduce REPEAT_ALWAYS model for {0,} castle repeats
As Castle guards the repeats, no more state is needed for these repeats

Allow lag on castle infixes to be reduced
Reducing lag allows for castles to be merged more effectively

Use add_edge_if_not_present in somMayGoBackwards()

As somMayGoBackwards() operates on a copy of the graph where virtual
starts have been collapsed on to startDs, we need to be careful not to
create parallel edges.

Bump version number

Small updates to documentation for 4.1

Add ChangeLog

simplify max clique analysis

Add per-top findMinWidth etc for NFA graphs

CastleProto: track next top explicitly

Repeats may be removed (e.g. by pruning in role aliasing passes)
leaving "holes" in the top map. Track the next top to use explicitly,
rather than using repeats.size().

CastleProto: track mapping of reports to tops

This allows us to speed up report-based queries, like dedupe checking.

assignDkeys: use flat_set<ReportID>, not set

findMinWidth, findMaxWidth: width for a given top

Currently only implemented for Castle suffixes.

RoseDedupeAuxImpl: collect unique suffixes first

role aliasing: simplify hashRightRoleProperties

Using the full report set for a suffix as an input to this hash was very
slow at scale.

castle: simplify find_next_top

Tops are no longer sparse in CastleProto, so the linear scan for holes
isn't necessary.

Make key 64 bits where large shifts may be used.

This fixes a long-standing issue with large multibit structures.

PCRE includes U+180E in /[:print:]/8W

Update defn of class [:punct:] for PCRE 8.38

Unify handling of caseless flag in class parser

Apply caselessness to each element added to a class, rather than all at
finalize time (which required separated ucp dnf and-ucp working data).

Unifies the behaviour of AsciiComponentClass and Utf8ComponentClass in
this respect.

Fix defn of POSIX graph, print, punct classes

The POSIX classes [:graph:], [:print:] and [:punct:] are handled
specially in UCP mode by PCRE. This change matches that behaviour.

FDR runtime simplification

Removed static specialisation of domains.

ng_execute: update interface to use flat_set

This changes all the execute_graph() interfaces so that instead of
mutating a std::set of vertices, they accept an initial flat_set of
states and return a resultant flat_set of states after execution.

(Note that internally execute_graph() still uses bitsets)

This is both faster and more flexible.

Restore \Q..\E support in character classes

Introduce copy_bytes for writing into bytecode

Protects memcpy from nullptr sources, which triggers failures in GCC's
UB sanitizer.

repeatStoreSparseOptimalP: make diff a u32

As delta is a u32, we know diff will always fit within a u32 as well.
Silences a warning from Coverity.

cmake: improve build paths for nested builds

If Hyperscan is built as a subproject of another cmake project, it helps to
refer to PROJECT_xx_DIR instead of CMAKE_xx_DIR, etc.

Fix includes to meet our usual guidelines

Refine ComponentClass::class_empty

ComponentClass::class_empty should only be used on finalized classes to
determine whether a given class contains any elements; it should not
take the cr_ucp or cps_ucp into account, as they have been folden in by
the finalize call.

Fixes our failure to identify that the pattern /[^\D\d]/8W can never
match.

Don't use class_empty in early class parsing

Instead, explicitly track whether we're still in the early class parsing
machine.

Remove dead ComponentClass::{get,set}FirstChar

Rework parser rejection for POSIX collating elems

Implement rejection of POSIX collating elements ("[.ch.]" and "[=ch=]"
entirely in the Ragel parser, using the same approach both inside and
ouside character classes.

Fix buggy rejection of [^.ch.], which we should accept as a character
class.

depth: correct sign in printf format

nfa_api_queue: debug printf format fix

mpv_dump: correct hex escapes in printf format

simplegrep: use correct sign in printf format

compare: always use braces for for/if blocks

limex_dump: use 'override' keyword in subclass

NGWrapper: mark dtor with override

parser: use 'override' keyword in subclasses

Add inlined sparseLastTop

This allows the code to be inlined into other sparse optimal repeat
functions.

storeInitialRingTopPatch: fix large delta bug

Check for staleness up front, so that it is safe to use u32 values to
handle adding more tops.

Adds LargeGap unit tests.

repeat: use u32 arithmetic explicitly

In some ring-based models, we know that if the ring is not stale, then
all our bounds should fit within 32-bits. This change makes these
explicitly u32 rather than implicitly narrowing later on.

repeatRecurTable: no need for u64a return type

Optimize max clique analysis

Use vectors of state ids to avoid the overhead of subgraph copies

move oversize graph check out of Automaton_holder ctor

raw_som_dfa: initialize members in constructor

LimEx NFA: unify flush br/estate behaviour

Make the GPR NFA models only clear cached_estate conditionally based on
cached_br, as per the SIMD models.

LimEx NFA: no need to zero estate cache in STREAM

We believe that we have solved the issues that required zeroing of the
exception state in STREAM_FN and REV_STREAM_FN nowadays.

LimEx NFA: no need to zero init cached_esucc

All of the "exception cache" members are guarded by cached_esucc.

make Automaton_Base ctor protected

Makes explicit that Automaton_Base is intended to be used as a only base class

add asserts to make bounds on alphaShift clear

doComponent: make it obvious that a is never null

RoseBuildImpl: init base_id members

These are set late in the Rose build process, when final IDs are
allocated.

FDR compiler: assert that all models are < 32 bits

Init filter members to nullptr

Note that BGL filters must be default-constructible.

Add q_last_type() queue function

Analogous to q_cur_type(), asserts that queue indices are within a valid
range.

assignStringsToBuckets: assert that there are lits

Merge develop into master

Bump version number

unit: Don't run unit-internal in release build

Remove unneeded code at preproc stage

If we know we have BMI2 we shouldn't produce the fallback code.

docs: describe BOOST_ROOT cmake variable

cmake: collection of fixes

reduce memory use in ng_small_literal_set/ng_literal_decorated

These passes kept temporary strings/paths alive longer than was needed which
lead to high memory usage during these passes in pathological cases.

Check for (and throw on) large min repeat

We were only checking for large maximum bounds, which meant that we
would attempt to compile A{N,} where N is huge.

Update CMake required min version to 2.8.11

RedHat/CentOS 7 ship with 2.8.11 so this is a sane minimum.

Unbreak unit-internal for builds w/o dump support

Use printable, rather than escapeString.

Remove enum mqe_event and use u32 for queue events

We were using intermediate values int he enum and casting back and forth
with a u32; it is cleaner to just use a u32 and define some special
values.

Silences ICC warning #188: enumerated type mixed with another type.

Allow no scratch for stream reset API calls

Bring hs_reset_stream(), hs_reset_and_copy_stream()'s functionality into
line with hs_close_stream() by accepting a NULL scratch if and only if
the match callback is also NULL, indicating that no matches should be
delivered.

Custom NFA_API_NO_IMPL variant for zombie_status

Silences ICC warning #188: enumerated type mixed with another type.

sidecar: use aligned_zmalloc_unique

FDRp tests: less raw malloc/free

HyperscanScanGigabytesMatch: use a vector

nfagraph_find_matches: simplify/cleanup

nfagraph_comp: use common constructGraph

Initial commit of Hyperscan