rose_in_dump: use StdioFile

ng_dump: use StdioFile

tamarama_dump: use StdioFile

shengdump: use StdioFile

mpv_dump: use StdioFile

mcsheng_dump: use StdioFile

mcclellandump: use StdioFile

limex_dump: use StdioFile, tidy

lbr_dump: use StdioFile

goughdump: use StdioFile

goughcompile_dump: use StdioFile

castle_dump: use StdioFile

noodle: behave like our other literal matchers

Noodle now supports supplementary masks.

Move hwlm literal len define

noodle: we don't need memcpy

noodle: Use a sane temp buf for streaming

hwlm_dump: take base filename, like NFA dump API

fdr/teddy: dump confirm lit load

dump_util: richer StdioFile type

dump: move openStdioFile() to util/dump_util.h

rose: dump lit tables in their own files

fdr/teddy: store and dump number of strings

fdr_dump: dump FDRConfirm structures for fdr

Reinforced Teddy with 1-byte approach, based on "shift-or" and AVX2.

ng_misc_opt: improve performance in large cases

ng_misc_opt: remove dead code

ng_cyclic_redundancy: persist colour map

ng_small_literal_set: pre-check for narrow reach

ng_mcclellan: use flat_set in triggerAllowed()

ng_literal_analysis: reserve space for fwd_edges

ng_literal_decorated: remove unused header

ng_literal_decorated: pre-check for narrow reach

ng_violet: skip analysis on graphs with wide reach

ng_calc_components: check tail shell too

ng_calc_components: skip if shell has 1 path only

dfa: don't clear states, just mark dfa dead

The previous change caused some assertion issues.

clear_deeper_reports: clear dfa if dead

If we remove all the reports from the DFA because they're too deep, then
clear the DFA without depending on Hopcroft minimisation.

rose_build_matchers: fix fragment noruns calc

teddy_compile: style fixes, whitespace

teddy_compile: use faster small containers

rose_build_matchers: be more careful w/ mixed-case

Overhaul the way fragment literals are added to HWLM and accel, fix
some bugs shaken out by stricter mask use.

unit-hyperscan: pure-literal/smwr coverage

lookarounds: don't reconfirm bytes in hwlm mask

rose: always use mandatory masks for lit fragments

dump: always allocate >=8 bytes for multibit

The multibit runtime assumes that it is always safe to read 8 bytes, so
we must over-allocate for smaller sizes. Caught by ASan.

dfa: standardise 'using' instead of typedef

ng_haig: make StateMap an unordered_map

determinise: use queue, improve api

 - Use a queue rather than always building the full vector of state
   sets.
 - Make more use of move, emplace, reserve.
 - Write directly into dstates argument.
 - Return bool rather than int.

fdr_confirm_compile: literals are now < 8 bytes

fdr_confirm_compile: wrap comment

fdr/teddy: remove padding from structures

teddy: clean up compile to match fdr style

fdr_confirm: renumber FDR_LIT_FLAG_NOREPEAT

fdr/teddy: simplify computing of confirm base

fdr_confirm: clean up use of flags

fdr: further tidy up layout

fdr_confirm: start FDRConfirm structs at cacheline

teddy: align major structures to cachelines

fdr: align major structures to cachelines

fdr_confirm: remove dead flags

 - Caseless was unused
 - NoFlags is a bit redundant

fdr_confirm: remove complex confirm

Merge branch develop into master

Bump version number for release

changelog: updates for 4.5.2 release

build: use more portable flag for mktemp

Fixes github issue #60

cpuid: exclude AVX512 flag when target not enabled

If we have a fat runtime build without AVX512 enabled, we should not
pick up the AVX512 flag from cpuid.

character classes: handle \Q\E and utf8

Treat characters between \Q \E as codepoints in UTF8 mode.

fixes github issue #57

Merge branch develop into master

Bump version number for release

changelog: updates for 4.5.1 release

fdr_confirm_compile: fix bug in table sizing

hsbench: cpuset portability

hsbench: make output more clear

hsbench: fix flag handling

cmake: remove duplicate else()

flat_set/map: workaround for gcc-4.8 C++11 defect

The STL shipped with gcc-4.8 does not provide
vector::erase(const_iterator) for C++11, instead only taking a mutable
iterator.  This causes problems with flat_set/map if we don't have
Boost small_vector available and we fall back to std::vector.

We work around this by providing a function to construct a mutable
iterator given a const_iterator for internal use.

Merge branch develop into master

Bump version number for release

changelog: updates for 4.5 release

changelog: quote function name

ng_expr_info: more complete analysis passes

hs_compile: add note to hs_expression_info() docs

Successful analysis of a pattern with hs_expression_info() does not
imply that the pattern will successfully compile with hs_compile(), etc.
It is merely a utility function for pattern analysis.

Addresses Github issue #54.

hs_expression_info: check unsupported constructs

Use env to get python bin, don't hard code path

Docs: avx512 support

msvc: use the vectorcall calling convention

This requires declaring external interfaces with the cdecl
calling convention.

cmake: Improve the microarch checks

cmake: scope fun

accel: limit how far we will search in findBest

Disable part of unit test on FreeBSD 10

If we can shift by an immediate, do it. Otherwise, don't.

Use our intrin header

cmake: use the correct command

test for pthread_setaffinity_np

Only enable setting threads per core when available

rose_build_engine_blob: rose unused data() func

We should no longer be reading out of the engine blob.

gcc7: comments for falling through a switch case

GCC 7 adds a warning -Wimplicit-fallthrough to catch when falling
through a switch statement without a break. Since we actually want that
behaviour sometimes, we can add a comment so the compiler knows we
intended the fallthrough.

cmake: build shared libs with the PIC objs

rename pshufb to pshufb_m128

rename vpshufb to pshufb_m256