rose: Do HWLM advisory masks as a complete pass

rose: linear scan for lookaround during build

This allows us to reuse more lookaround entries in the bytecode.

Provide access to scratch in queues

This largely reverts commit f8ecf33236b0695d9539e8e34cf0bb0467614cdf.

Prevent trying to build smallwrite engine for large cases

use the correct way to refer to void *

UE-2963: be more aggressive in using buildSufPQ_final()

exhaust: move functions to report.h

rose: dump leftfix/suffix queue indices

fix add_to_engine_blob for iterator=pointer

fix iter_wrapper for iterator=pointer

Bump version number for release

changelog: updates for 4.2 release

docs: more detail on option setting

doc: correct syntax for "extended" option setting

Extended syntax (ignore whitespace) is controlled with (?x) and (?-x).

rose: always push CHECK_BOUNDS onto end of program

rose: fix CHECK_NOT_HANDLED placement bug

The CHECK_NOT_HANDLED instruction was being inserted into an already
partially-flattened program, which would result in jump offsets becoming
incorrect.

This change places it as part of the normal flow of program
construction, which avoids this issue.

cmake: invoke the compiler to test arch features

We require SSSE3, and optionally support AVX2, and the best way of testing
the compiler and compile flags is to run the compiler.

We need an immediate so use intrinsic directly

debug printf: Windows path separator

vbs: the static array has C linkage

masked move: C linkage

Win32 ctz and clz

popcount: use intrinsics and restructure defines

fdr: teddy.h does not need to include hwlm.h

fdr: remove dead function decls from teddy.h

pkgconfig: Add Libs.private for static linking

cmake: fix optimise define

install .dll to bin/, not to lib/

Combine struct elements to avoid inheritance

The multiple inheritance here was slightly overkill, and it also appears to
trigger a MSVC bug when writing through the pointer to member.

fdr: ensure 16 bytes of pre-history in block mode

ucp_table: clean up make_caseless

ucp_table: don't always deref rv of lower_bound

Fixes a warning from asan.

teddy: remove python codegen, refactor code

Major cleanup of the Teddy runtime code. Removes python code generation,
splits AVX2 models into their own file, improves readability.

unit-internal: fix FDR issues reported by ASan

FDR's streaming mode now assumes that it is safe to read 16 bytes before
the end of the history buffer, and this was not reflected in the unit
tests.

scratch: don't leave in use after hs_clone_scratch

Also updated unit tests to always check hs_alloc_scratch()'s return
value.

ue2string: fix broken function type in upperString

Silences warning from ubsan.

unit: clean up getValidFdrEngines()

unit: fix bug in teddy model unit tests

Fix for multiaccel matcher unit test

Test was failing on 32-bit OS with AVX2

doc: add description of serialization, runtime lib

doc: clean up discussion of scratch space

doc: update copyright dates

fdr_streaming_runtime: include <string.h>

Required for use of memcpy().

runtime: add error for "scratch in use"

This commit adds the HS_SCRATCH_IN_USE error, which is returned when
Hyperscan detects that a scratch region is already in use on entry to an
API function.

restore ability to ignore common preds for merges

Check for common preds was broken during refactoring in b9c5d65:
    Rework literal overlap checks for merging engines

fdr: confVal load can be unaligned

remove unused parts of fdr_loadval

fdr: Remove python codegen, add safezones

add m128 byte shift functions

variable_byte_shift_m128 taken from pug-interpreter branch

fdr: don't include fdr.h if not necessary

fdr: move fdrSize into namespace ue2 (build only)

mcclellan compile: more efficient discovery of accel

noodle_build: update interface to use hwlmLiteral

cmpForward: assume (and assert) p2 is upper-case

unit: fix up noodle unit tests

hwlm_literal: coerce nocase lits to upper-case

ue2string: bring caseless cmp inline

noodle: remove redundant bitmask

noodle: use SSE palignr

ng_mcclellan: move logic into base class

Move all of the Automaton logic into Automaton_Base, which is templated
on its StateSet/StateMap types.

ng_haig: move logic into base class

Move all of the Automaton logic into Automaton_Base, which is templated
on its StateSet/StateMap types.

rose: assert that program offset is sane

nfa_kind: documentation

mpv: native report remapping

castle, lbr: native report remap

castle: add nfa kind to CastleProto

mcclellan, gough: native report remapping

rose: remap reports to program offsets

report_manager: store report -> program mapping

Merge functions no longer need transfer function

Remove OutfixInfo::chained (which meant "is MPV")

Use a visitor for outfix engine construction

OutfixInfo: use boost::variant for engines

Wrap MPV puffettes in a struct

scratch: delete unused hs_scratch::qNfaState

ng_limex_accel: delete unused DAccelScheme ctor

report: remove dead function isInternalSomReport

report: remove dead function satisfiesMinLength

FINAL_REPORT: Add specialised instruction

Specialisation of the REPORT instruction that also terminates execution
of the program. Improves performance on programs that generate many
reports.

Rose: replace internal_report with program

Replace the use of the internal_report structure (for reports from
engines, MPV etc) with the Rose program interpreter.

SOM processing was reworked to use a new som_operation structure that is
embedded in the appropriate instructions.

Help ICC perform a not m128

shufti: small C++11 fix to silence clang warning

bitfield: unroll main operators

CharReach operators inline

unify some accel code/structures between limex and mcclellan

more efficent accel path discovery

smallwrite: don't recompile the dfa if prune fails

raise the limit of strings in double shufti

allow double shufti to share buckets

make dverm more precise

masked version of dverm

refactoring of double byte offset accel to use paths and add to mcclellan

look for normal accel schemes using compressed alpha

simple offset accel for mcclellan start state

dump contents of double shufti masks

move MultibyteAccelInfo to accelcompile.h

exhaust: Update interface

 - Only use functions in exhaust.h for valid ekeys
 - Use INVALID_EKEY everywhere (remove dupe END_EXHAUST sentinel)

Runtime: be more careful with status bits

Rose: use a multibit for the exhaustion vector

Previously, the exhaustion vector was a standard bitvector, which
required an expensive memset() call at init for databases with a large
number of exhaustion keys.

mmbit_all: True if all keys are switched on