eve/http: add request/response http headers

Add a keyword configuration dump-all-headers, with allowed values
{both, request, response}, dumping all HTTP headers in the eve-log http
object. Each header is a single object in the list request_headers
(response_headers) with the following notation:

{
    "name": <header name>,
    "value": <header value>
}

To avoid forged malicious headers, the header name size is capped at 256
bytes, the header value size at 2048.

By default, dump-all-headers is disabled.

smtp: create raw-extraction feature

Add a raw-extraction option for smtp. When enabled, this feature will
store the raw e-mail inside a file, including headers, e-mail content,
attachments (base64 encoded). This content is stored in a normal File *,
allowing for normal file detection.
It'd also allow for all-emails extraction if a rule has
detect-filename:"rawmsg" matcher (and filestore).
Note that this feature is in contrast with decode-mime.

This feature is disabled by default, and will be disabled automatically
if decode-mime is enabled.

source-nfq: increase maximum queues number to 65535

Previously this was limited to 16, however Netfilter allows
up to 65535 queues. Suricata now is able to create as many
queues as possible, but at the same time warns user if one
specifies more queues than available CPU cores.

This change involves dynamic (de)allocation of NFQ contexts
instead of on-stack arrays to use less memory.

source-nfq: support queue range

If one needs to use multiple sequential Netfilter queues,
it can be done with a new '-q' option's syntax: "start:end"
(just like it's done with iptables '--queue-balance' option).

issue 2795: python 3 fix in Rust C header gen

The C header generation script was failing with a unicode error
in Python 3 on FreeBSD.  Fix the reading of files to properly
handle unicode in all Python 3 environments.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2794

rust/dns: add dns to dns alerts

configure.ac: fix --{disable,enable}-xxx options

Currently, if the user provides --enable-libmagic or
--disable-libmagic, libmagic will be disabled because $enableval is not
used to know if the user provided --enable or --disable

Most of the options have this issue so fix them all by using $enableval

Fixes:
 - https://redmine.openinfosecfoundation.org/issues/2797

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

detect: add file.name sticky buffer

detect: add http.response_body sticky buffer

As a mirror of the http_server_body content modifier.

detect/tls: consolidate validity code

detect/http-server-body: move tests to tests/

detect: add http.request_body sticky buffer

Sticky buffer version of the http_client_body content modifier.

detect/file-data: move tests into tests/

detect/file-data: consolidate matching code

detect/http-client-body: move tests into tests/

detect/http-client-body: convert to inspect api v2

detect/file-data: minor cleanups

detect/file-data: minor cleanups and clarifications

detect/http-server-body: code cleanup and test cleanups

detect/http-client-body: code cleanups and test cleanups

detect: add http.header.raw sticky buffer keyword

Add parsing tests as well.

detect/http_raw_header: move tests into tests/

detect/http_raw_header: use inspect v2 api

detect/http_raw_header: minor code cleanups

detect: add http.header sticky buffer keyword

detect/http_header: convert parsing tests to use helper

detect/http_header: move tests into tests/

detect/http_header: inspect v2 api

detect/http_header: test cleanups

detect/http_header: remove unused func args

detect: add http.cookie sticky buffer keyword

detect/http_cookie: move tests into tests/

detect/http_cookie: switch to inspect v2 api

detect/http_cookie: minor cleanups

detect/http_user_agent: set alternative and info flags

detect: add http.stat_code sticky buffer keyword

detect/http_stat_code: move tests into tests/

detect/http_stat_code: use inspect v2 api

detect/http_stat_code: minor code cleanups

detect: add http.stat_msg sticky buffer keyword

detect/http_stat_msg: move tests to tests/

detect/http_stat_msg: switch to inspect v2

detect/http_stat_msg: minor code cleanups

detect: add http.host.raw sticky buffer

detect/http_raw_host: move raw into regular host logic

detect/http_host: move tests into tests/

detect/http_raw_host: use inspect v2 api

detect/http_raw_host: minor cleanups

detect/http_method: add http.method sticky buffer

detect/http_method: move all tests into tests/

detect/http_method: use inspect v2 api

detect/http_method: minor cleanups

detect/http: add http.uri.raw sticky buffer keyword

detect/http_raw_uri: code reorganization

Move registration into http_uri logic, move tests into the other uri
tests. Switch to v2 mpm/inspect APIs.

detect/http_raw_uri: small cleanups

detect/http-uri: move tests into tests/

detect: add http.uri sticky buffer keyword

detect: add http.host sticky buffer

detect/http-hh: code cleanups

detect/http_user_agent: move tests into tests/

detect: add http.user_agent sticky buffer

detect/http-ua: remove dead code

detect/http-ua: test cleanups

detect: add verbosity of --list-keywords

Add indicators of content modifier or sticky buffer, and also
allow registering an alternative to a keyword.

detect: switch keyword flags u16

detect/transform: add to_sha1 keyword

detect/transform: add to_md5 keyword

unittests: add signature parse test helper

Open 5.0.0-dev branch

log/stats: fix formatting of long decoder events

userguide: improve stats logging documentation

source-pcap:set PktAcqBreakLoop as pcap_breakloop

stream: fix false negative on bad RST

If a bad RST was received the stream inspection would not happen
for that packet, but it would still move the 'raw progress' tracker
forward. Following good packets would then fail to detect anything
before the 'raw progress' position.

Bug #2770

Reported-by: Alexey Vishnyakov

eve.stats: warn that output might miss decoder-events

eve.stats: make decoder event prefix configurable

eve: fix missing decoder-events in stats

In the eve log the decoder events are added as optional counters. This
behaviour is enabled by default. However, lots of the counters are
missing, as the names colide with other counters.

E.g.

decoder.ipv6 counts ipv6 packets
decoder.ipv6.unknown_next_header counts how often an unknown next
    header is encountered.

In this example 'ipv6' would be both a json integer and a json object.
It appears that jansson favours the first that is generated, so the
event counters are mostly missing.

This patch registers them as 'decoder.events.<event>' instead. As
these names are generated on the fly, a hash table to contain the
allocated strings was added as well.

hash: move string hash funcs into util files

decoder: add gre over ipv6 support

af-packet: minor code cleanups

af-packet: re-enable sync for tpacket v2

Synchronize start was disabled for v2 when v3 was introduced, without
a reason being given.

Re-enable as v2 will otherwise also start reading packets before the
other threads are set up. This will lead to hashing issues.

Part of bug #2788.

af-packet: fix sync start for tpacket v3

The tpacket-v3 implementation of the synchonize start logic would
not correctly consider the timestamp parameter, leading to threads
starting before synchronization between threads was complete.

Bug #2788

nfqueue: inject fake packet on timeout

Fixes nfqueue and delayed-detect.

On systems with small amount of traffic (or with no traffic at all)
nfqueue with 'delayed-detect' enabled hanged in 'workers' mode.

Bug #2362.

doc: fix minor typo

lua: add lua dir with example to make dist

coccinelle: add missing tests to make dist

util-binsearch: remove the files

doc: add _static dir to make dist

ebpf: include files in make dist

changelog: update for 4.1.2 release

smb: improve request/response mapping

Only use ssn_id and msg_id for mapping a response to a request.

By not using the tree_id it can always be included in the tx.hdr which
means it can be logged properly in case of IOCTL and DCERPC.

doc: add missing and fix 404 for --list-keywords

doc: added tos keyword

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2583

Fixes other affected tests for smtp pipelining

Either checking state has pipelining
Or removing pipelining from input

smtp: improve pipelining support

Fixes #1863

proto/detect: workaround dns misdetected as dcerpc

The DCERPC UDP detection would misfire on DNS with transaction
ID 0x0400. This would happen as the protocol detection engine
gives preference to pattern based detection over probing parsers for
performance reasons.

This hack/workaround fixes this specific case by still running the
probing parser if DCERPC has been detected on UDP. The probing
parser result will take precedence.

Bug #2736.

teredo: be stricter on what to consider valid teredo

Invalid Teredo can lead to valid DNS traffic (or other UDP traffic)
being misdetected as Teredo. This leads to false negatives in the
UDP payload inspection.

Make the teredo code only consider a packet teredo if the encapsulated
data was decoded without any 'invalid' events being set.

Bug #2736.

detect: fix crash during startup with malformed yaml

detect-engine:
  custom-values:
    toclient-groups: 200
    toserver-groups: 200

Bug #2745

userguide/install: add rust, python-yaml to ubuntu

offloading: on bsd, disable rxcsum and v6 variants

offloading: don't set multiple times per interface

This could happen with netmap igb0->igb0^ IPS mode.