flow-hash: new function to get flow from flowkey

ebpf: make table iterator generic

Also adds a basic skeleton for flow creation loop.

af-packet: bypass with init function

ebpf: fix indentation in xdp_filter

util-ebpf: fix iteration in flow timeout

We were not setting the key using the correct item in map. Result
was deletion of wrong flow.

ebpf: set number of RSS queues to a power of 2

This is needed as netronome can not do a division (so can't do a modulo)
in hardware.

doc: use github mirror to setup libbpf

ebpf: implement RSS load balancing in hardware mode

ebpf: use atomic for counter in hw offload case

af-packet: correctly set up hardware offload

ebpf: more conditional code for netronome support

ebpf: remove BPF_LL_OFF in nhoff offset

It fixes invalid parsing in with recent kernels and does
not affect older kernels.

af-packet: fix loading of ebpf filter

ebpf: sync header with upstream

doc: typo fixes on ebpf doc

af-packet: fix the start when XDP is pinned

util-ebpf: change return of pinned maps loading

The calling function needs to be able to see when this is a success
and XDP do not need to be reloaded.

doc: document externally managed global switch

This is currently implemented as an exposed map and it seems
a good way to do it.

util-ebpf: conditional flow table loading

ebpf: implement global switch bypass

Add a switch to allow to bypass all traffic if the switch is on.
Concept is to use a persistant script and pinned maps, so an
external tool can be used to trigger global bypass in case Suricata
is dead.

af-packet: implement pinned-maps-name

af-packet: fix build when eBPF not built-in

util-ebpf: implement pinned maps loading

Load flow tables at start if asked to.

util-ebpf: only unlink pinned maps in eBPF filter

af-packet: conditionaly remove XDP filter

Only remove the XDP filter if we are in XDP mode and not using the
pinned maps.

doc: white space and typo fix

util-ebpf: conditional pinning of maps

Only pin maps if `pinned-maps` is set in the configuration. This
ensure backward compatibility.

doc: more eBPF and XDP capabilities

util-ebpf: fix loop on maps

We were missing the last element of the map by working on previous
key instead of current key.

util-ebpf: suppress spaces at end of line

ebpf: add filter by maps on example filter

util-ebpf: pin the maps

By pinning the maps we are creating a file in /sys/fs/bpf that can
be used by external program to access the map. This has multiple
benefits such as handling list from an external program.

The pinned maps could be persistent accross Suricata reload but
this can be complicated in term of handling everything in the life
of Suricata.

ebpf: document XDP iface redirect

ebpf: reduce counter size to allow netronome offload

ebpf: add VLAN support to loadbalancing

This patchs adds VLAN support to eBPF load balancing by doing a
parsing of VLAN headers.

ebpf: change the logic to avoid ktime usage

Kernel time is not available (and/or costly) on NIC such as
Netronome so we update the logic to detect dead flows based on a
lack of update of packets counters. This way, the XDP filter will
be usable by network card.

This patch also updates the ebpf code to support per CPU and
regular mapping. Netronome is not supporting it and the structure
is using atomic for counter so the cost of simultaneous update
is really low.

This patch also updates the xdp_filter to be able to select if the
flow table is per CPU on shared. Second option will be used for
hardward offload. To deactivate the per cpu hash, you need to set
USE_PERCPU_HASH to 0.

This patch also adds an new option to af-packet named no-percpu-hash
If this option is set to yes then the Flow bypassed manager thread
will use one CPU instead of the number of cores. By doing that
we are able to handle the case where USE_PERCPU_HASH is unset (so
hardware offload for Netronome).

This patch also remove aligment indications in the eBPF filter. This
was not really needed and it seems it is causing problem with
some recent version of LLVM toolchain.

flow-manager: no force reassembly on bypassed flow

When a bypassed flow is created we are forcing the reassembly so
we don't need to do it again when it timeout.

suricata.yaml: fix path to ebpf and xdp doc

detect/content: Message for escaping backslash

So far, if the rule loaded had a backslash character ("\") in its
content field, the rule will fail to load but without giving a
descriptive error message. This patch tells the user to escape the
troubling character.

Before
```
9409] 7/6/2019 -- 16:12:22 - (detect-engine-loader.c:184) <Error> (DetectLoadSigFile) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - error parsing signature "alert tcp $HOME_NET any -> $EXTERNAL_NET any (msg:"Backslash needs escaping msg"; flow:established,to_server; content:"MyBackslash\here"; sid:86; rev:1; )" from file /var/lib/suricata/rules/myrule.rules at line 1
```

After
```
[9409] 7/6/2019 -- 16:12:22 - (detect-content.c:155) <Error> (DetectContentDataParse) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - '\' has to be escaped
[9409] 7/6/2019 -- 16:12:22 - (detect-engine-loader.c:184) <Error> (DetectLoadSigFile) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - error parsing signature "alert tcp $HOME_NET any -> $EXTERNAL_NET any (msg:"Backslash needs escaping msg"; flow:established,to_server; content:"MyBackslash\here"; sid:86; rev:1; )" from file /var/lib/suricata/rules/myrule.rules at line 1
```

Closes redmine ticket #2626

doc: convert fancy quotes to straight quotes

threads: minor code cleanups

threads: improve flow timeout loop

Improve thread safety and remove BUG_ON

stats: walk tv_root under lock

stats: more accurate time handling for wakeup thread

stats: minor code cleanups

make: Remove rust generated headers during clean

New app layer event for invalid http request line

Handles logs from libhtp even if case of error

signature: error for rules with illegal port

Fixes #2080

warnings: fixes integer sizes in format strings

Fixes #3009

http: adds unit tests for HTPParseContentRange

http: fix overflow in HTPParseContentRange

rust/snmp: fix libc deprecation warnings for int types

rust/snmp: use snake_case when logging PDU types

snmp: fix 'defined but not used' warning

Remove HAVE_RUST guards as well.

snmp.version: move unittests to tests/

snmp.pdu_type: move unittests to tests/

snmp.community: move unittests to tests/

detect/snmp: convert snmp.community keyword to v2, and MPM

rust/snmp: fix missing IPPROTO_* declarations (use core)

detect/snmp: rename keywords to snmp.<name>, and make rust mandatory

rust/snmp: fix selection of v1/v2c parser

SNMP: add the "snmp.pdu_type" detection keyword

SNMP: add the "snmp.community" detection keyword

SNMP: add the "snmp.version" detection keyword

SNMP: add missing case for profiling enum

SNMP: use explicit references to support build with old rust compiler

SNMP: start looking for transactions from end of list

SNMP: add logger

Add SNMP (v1/v2c/v3) application layer

Rust: expose function AppLayerParserRegisterGetTxIterator

rust: fix warnings about wrong type of comments

"rustdoc does not generate documentation for macro expansions"

rust: fix libc deprecation warnings for int types

ikev2: clean up c glue code

tftp: c glue code cleanup

ikev2: remove excess new lines

tftp: properly implement tx handling

output: get rid of BUG_ONs

pool: don't call Cleanup after failed Init

Stream reassembly memcap is regulated by the Init and Cleanup
callbacks. If Init fails due to memcap reached, Cleanup had no
way of knowing and it would decrease the memcap even if it hadn't
been increased by Init. This could lead to too much memory use and
memcap counter underflow.

This patch fixes the issue by not calling Cleanup in this case. It's
fair to see a failed Init the responsibility of Init.

pool/thread: clean up tests

pool/thread: remove old grow function

stream: simplify segment and ssn pool inits

pool/thread: introduce simpler way to grow thread pool

pool/thread: minor code cleanups

app-layer: minor cleanups

capture: check for flow packets on capture timeout

The capture threads can receive packets from the flow manager in their
Threadvars::stream_pq packet queue. This mechanism makes sure the packets
the flow manager injects into the engine are processed by the correct
worker thread.

If the capture thread(s) would not receive packets for a long time, the
Threadvars::stream_pq would not be checked and processed. This could
lead to packet pool depletion in the flow manager. It would also lead
to flows not being timed out/logged until either packets started flowing
again or until the engine was shut down.

The scenario is more likely to happen in a test (e.g. replay) but could
also delay logging on low traffic sensors.

app-layer: mandatory tx registration checks

All protocols now implement the TX API, so the runtime checks for
whether or not a protocol supports the TX API can be removed.

app-layer: make tests tx aware

Make tests minimally TX-aware so we can asume all parsers use
the tx API.

ssh: test cleanup

Remove explicit locks. Set ALPROTO_SSH in all tests.

packetpool: move return stack to pool earlier

If waiting for N packets move the return stack to the main
stack every time we take the return stack lock.

Make sure we consider enough packets when setting the pending pool
flush logic. This should at least make sure to have the 9 packets
the flow manager requires per run.

detect/content: clean up logging output

Signed-off-by: jason taylor <jtfas90@gmail.com>

suricatasc: fix reconnect

doc: http keyword update

This changeset updates the keyword type for http.location and http.server

detect/analyzer Add missing HTTP values

This changeset adds recognition of missing HTTP values
- Raw host
- Header names
- Server body
- User agent

signature: fix memory leak in DetectBytejumpSetup

http: adds an event for double encoded uri

http: fixes double-encode configuration keywords

travis: move checks into script

This makes error handling easier and more robust:
https://docs.travis-ci.com/user/job-lifecycle#complex-build-commands

travis: add sphinx to trigger doc build

ja3s-string: move unittests to tests/

ja3s-hash: move unittests to tests/