Work around for deficiency in C++11/14/17 standard

As explained to us by STL at Microsoft (the author of their
vector), there is a hole in the standard wrt the vector copy
constructor, which always exists even if it won't compile.

dump: render literals as regexes (with comments)

fdr: compile algo/heuristics improvements

These changes fix a small bug in the algorithm used for bucket
assignment in FDR's compile process, and also tweak a few of the
heuristics governing it.

Change sqlite3_errstr to sqlite3_errmsg

sqlite3_errstr was introduced in 3.7.15 (http://sqlite.org/changes.html)
which breaks build in redhat6 (sqlite3 ver 3.6.X)
and in line 77, sqlite3_errmsg is already used.

Merge branch 'master' into develop

Merge branch 'release-4.4' into github_master

Bump version number for release

changelog: updates for 4.4.1

runtime: init more of scratch in pure-literal exec

lbr: set lastEscape on expand

Check if any tugs are alive when compressing/expanding repeats

basic unit test to check correct stream state is being used.

Ensure the queue structure is initialised in roseEnginesEod().

Merge branch develop into master

Bump version number for release

changelog: updates for 4.4 release

Documentation updates for the fat runtime

cmake: test reverse_graph instead of using version

It seems that some distros are using a patched Boost 1.62.0 which means our
workaround in reverse_graph has a conflict. Add a CMake test to see if we
need to use the patched reverse_graph.

prefilter: workaround for \b in UCP and !UTF8 mode

For now, just drop the assertion (which will still return a superset of
matches, as per prefiltering semantics).

we can only trim lookarounds based on information common to all literals

ensure that we add default top when creating a new infix graph

Boost 1.61 required for clang/libc++

The libc++ headers aren't specific enough and causes the compiler to think
there are ambiguous functions when using older Boost versions.

Silence ABI notes in release builds

update copyright year

MSVC gets confused by one line of the graph tests

MSVC requires the attribute before the type

mcclellan: handle 0 length block scans correctly

Add explicit casts to succ table entry calculations.

Although overflow should not be possible given the range of alphaShift, this
resolves coverity scan issues CID 158536 and CID 158537.

hyperscan#41: ignore carriage-return in pattern files

cmake: check the generator for fat runtime builds

The RULE_LAUNCH_COMPILE property only works for Unix Makefiles, or
for Ninja with CMake newer than v3.0.

SSE2 preprocessor test for MSVC

MSVC doesn't define __SSE2__ but we can figure it out from
other macros.

Mark dispatch functions as public API

cmake: check clang version for fat runtime support

cmake: combine hs_exec src lists correctly

Don't ignore unused attrib warnings in test

Don't set flags for common files

cmake: default to fat runtime for release builds

cmake: unneeded header check

api: hs_valid_platform

Fat runtime

Convert compile-time code to not require SIMD

Remove erroneous semicolon

multibit, fatbit: make _size build-time only

This commit makes mmbit_size() and fatbit_size compile-time only, and
adds a resource limit for very large multibits.

calcDepthFromSource: only take one copy of the graph

mcsheng: remove dead code

introduce Sheng-McClellan hybrid

hsbench: add Hyperscan benchmarker

The hsbench tool provides an easy way to measure Hyperscan's
performance for a particular set of patterns and corpus of data
to be scanned.

ng_literal_analysis: use ue2_graph

This reduces compile time ~10% on a number of large cases.

mcclellan: fix printf format specifiers

refactor mcclellan runtime

1. use u32 to hold the state during runtime to prevent repeated zero extension
2. have a tight small loop for processing characters which breaks when
   something interesting happens

rose_build_merge: correctly merge NFA outfixes

We were not doing our bookkeeping properly for merges where the number
of NFAs was greater than the batch size of 200.

Rework the creation of startDs edges in fillHolderForLockCheck().

This prevents clearing of edges created for virtual starts in late regions.

precise dverm fix for 5a32993: handle sign extension correctly

check for partial matches at end of dverm

gough: don't dump int data unless it's requested

shufti: slightly faster short shufti operation

It is better to shift the high lane values in an XMM
before then using insert to combine the high and low lanes.

Fix combine2x128

correct dump filenames of som rev engines

have single dump function per engine

nfa_api: remove subtype from dispatch

Implement some ue2_graph functions using TMP rather than friends

This helps work around issues with some compilers

allow edge_descriptors to be created from pair<edge_descriptor, bool>

Introduce custom adjacency-list based graph

remove unused define and old inlining controls

use stable_sort in analysis from 47f53f6; missed review comment

rose_dump: remove stray newline

getData256(): data needs to be 32-byte aligned

smallwrite: minimize DFAs if they have been pruned

smallwrite: prune overlong nfa graphs early

ng_limex: add edges in deterministic ordering

ng_restructuring: wire start to tops in idx order

ng_equivalence: don't use ptr_vector

Switch over ptr_vector<T> to vector<unique_ptr<T>>. This works around
some issues we were seeing with MSVC builds, where the contents of the
ptr_vector were being destroyed when it was returned.

fix for analysis in previous commit

Properly distinguish between vertices that will get set after the cyclic
from vertices that may get set alongside the cyclic

simple pass to pick up paths redundant with those from cyclic's succs

rose: call loadLongLiteralState() earlier

The ll_buf, ll_buf_nocase buffers must be initialised before anyh path
that could lead to storeLongLiteralState().

properly consider report behaviour when finding start verts

rose: don't unconditionally init ll_buf etc

This is only necessary (and already always done) if there is a long
literal table.

Create combo tops for trigger limexes

Merge master into develop

Bump version number for release

Update changelog for 4.3.2

Add the missing degree() in Boost 1.62

This is a workaround that fixes issue #39

remove unused includes

fdr: reduce confirm size to a u8

Also removes the flexible array member from the LitInfo structure.

noodle: correct history req calculation

rose: simplify long lit table, add bloom filter

Replaces the original long lit hash table (used in streaming mode) with a
smaller, simpler linear probing approach. Adds a bloom filter in front
of it to reduce time spent on false positives.

Sizing of both the hash table and bloom filter are done based on max
load.

fdr: move long literal handling into Rose

Move the hash table used for long literal support in streaming mode from
FDR to Rose, and introduce new instructions CHECK_LONG_LIT and
CHECK_LONG_LIT_NOCASE for doing literal confirm for long literals.

This simplifies FDR confirm, and guarantees that HWLM matchers will only
be used for literals < 256 bytes long.

Disable asserts everywhere when we say so

UE-3025: There is no need to prune tops from non-triggered graphs

extern "C" for mask1bit table

allow sets of tops on edges

hinted insert operations for flat_set

Operator precedence matters

MSVC prefers the attrib at the beginning

cmake: don't be so heavyhanded with flags

rose: move END instruction to start of enum

Stop overloading END as the last Rose interpreter instruction, use new
sentinel LAST_ROSE_INSTRUCTION for that.

This change will also make it easier to add new instructions without
renumbering END and thus changing all generated bytecodes.

rose: add CHECK_SINGLE_LOOKAROUND instruction

This specialisation is cheaper than the shufti-based variants, so we
prefer it for single character class tests.

rose: enable generation of shufti32x16 case

remove code preventing firing callbacks in the history buffer

Add short avx2 shufti form