CMake: put the stream compress files in the correct part

dev reference documentation for stream compression

multibit compression support

hsbench: add stream compress functionality

support dynamic stream compression

make ComponentRepeat::vacuous_everywhere() more accurate

mergeCastle: merge common repeats from the castles

mergeLeftfixesVariableLag: update comments, debugging support

Compile dump of teddy's nibble masks and reinforcement table in fdr_dump.cpp

small_vector: require boost >= 1.61

We use the small_vector constructors introduced in Boost 1.61 (trac bug
11866, github commit b436c91). If the Boost version is too old, we fall
back to using std::vector.

cmake: another convenience lib for compile side

Do equivalency removal before violet's implementablity check.

This is helpful as removing/restoring literals may introduce redundancy in the
graphs. Also improve the implementation by caching known good holders.

Ensure max width of repeat before transforming graph.

Refactored building reinforcement table at compile time and updated comments.

replace "_avx2" with "_fat".

AVX512 Reinforced FAT teddy.

determinise: use find first, rather than emplace

For non-trivial StateSet types, copying to do the emplace if it is
already in the map is more expensive than checking with find() first.

tidy: "ue2::flat_set/map" -> "flat_set/map"

util: switch from Boost to std::unordered set/map

This commit replaces the ue2::unordered_{set,map} types with their STL
versions, with some new hashing utilities in util/hash.h. The new types
ue2_unordered_set<T> and ue2_unordered_map<Key, T> default to using the
ue2_hasher.

The header util/ue2_containers.h has been removed, and the flat_set/map
containers moved to util/flat_containers.h.

ue2_graph: move descriptors out of graph struct

ue-3145: make parents of included literals exclusive

FDR: Squash buckets of included literals in FDR confirm

 - Change the compile of literal matchers to two passes.
 - Reverse the bucket assignment in FDR, bucket with longer literals has
   smaller bucket id.
 - Squash the buckets of included literals and jump to the the program of
   included literals directly from parent literal program without going
   through FDR confirm for included iterals.

fix typo "ones_u32a" => "ones_u32"

AVX512 reinforced teddy.

smallwrite: batch dfa merge to reduce compile time

literal matchers: change context passed to callback to scratch

ng_find_matches: speed up edge lookups

Improves the performance of step() on graphs with vertices with large
degree.

flood detection: debug output fix

remove start argument in literal matcher callbacks

Ensure that reports would be sustained after self loop is removed

Approximante matching means that is now possible to get a non-standard report
on a cyclic during edge redundancy passes which means checks are now needed.

ng_prefilter.cpp: remove interior edges first

This allows us to avoid looking them up while we're in copyOutEdges(),
halves time on large cases.

ng_mcclellan: reject determinise if NFA is too big

ng_violet: fail on added_count limit quicker

- also fixes typo "splitForImplementability"
- adds more detail in debug output

rose_build_convert: replace bind2nd with lambda

std::bind2nd was deprecated in C++11.

rdfa: move raw_dfa member functions to rdfa.cpp

patch for invalid reading 1 byte in Reinforced Teddy, abandon fetching the first reinforced byte.

cmake: add graph_range.h

ng_depth: more use of small_color_map

ng_depth: use small_color_map in findLoopReachable

ng_util: make more use of small_color_map in DFS

ng_util: use small_color_map

ng_prune: use small_color_map

ng_netflow: use small_color_map

ng_literal_analysis: use small_color_map

ng_repeat: use small_color_map

ng_region: use small_color_map

ng_width: use small_color_map

ng_misc_opt: use small_color_map

limex_compile: use small_color_map

small_color_map: add efficient 2-bit color map

noodle: correct streaming bounds

noodle: param name

noodle: scan using the correct offsets

shufti/truffle tests: silence ubsan warning

The ubsan support in clang warned about us accessing idx-1 of an array here.

tamarama_dump: fix typo in comment

slot_manager_dump: use StdioFile

smallwrite_dump: use StdioFile

rose_in_dump: use StdioFile

ng_dump: use StdioFile

tamarama_dump: use StdioFile

shengdump: use StdioFile

mpv_dump: use StdioFile

mcsheng_dump: use StdioFile

mcclellandump: use StdioFile

limex_dump: use StdioFile, tidy

lbr_dump: use StdioFile

goughdump: use StdioFile

goughcompile_dump: use StdioFile

castle_dump: use StdioFile

noodle: behave like our other literal matchers

Noodle now supports supplementary masks.

Move hwlm literal len define

noodle: we don't need memcpy

noodle: Use a sane temp buf for streaming

hwlm_dump: take base filename, like NFA dump API

fdr/teddy: dump confirm lit load

dump_util: richer StdioFile type

dump: move openStdioFile() to util/dump_util.h

rose: dump lit tables in their own files

fdr/teddy: store and dump number of strings

fdr_dump: dump FDRConfirm structures for fdr

Reinforced Teddy with 1-byte approach, based on "shift-or" and AVX2.

ng_misc_opt: improve performance in large cases

ng_misc_opt: remove dead code

ng_cyclic_redundancy: persist colour map

ng_small_literal_set: pre-check for narrow reach

ng_mcclellan: use flat_set in triggerAllowed()

ng_literal_analysis: reserve space for fwd_edges

ng_literal_decorated: remove unused header

ng_literal_decorated: pre-check for narrow reach

ng_violet: skip analysis on graphs with wide reach

ng_calc_components: check tail shell too

ng_calc_components: skip if shell has 1 path only

dfa: don't clear states, just mark dfa dead

The previous change caused some assertion issues.

clear_deeper_reports: clear dfa if dead

If we remove all the reports from the DFA because they're too deep, then
clear the DFA without depending on Hopcroft minimisation.

rose_build_matchers: fix fragment noruns calc

teddy_compile: style fixes, whitespace

teddy_compile: use faster small containers

rose_build_matchers: be more careful w/ mixed-case

Overhaul the way fragment literals are added to HWLM and accel, fix
some bugs shaken out by stricter mask use.

unit-hyperscan: pure-literal/smwr coverage

lookarounds: don't reconfirm bytes in hwlm mask