util-ebpf: more useful error message

At the time of the writing, libbpf output useful error message
on strdout only and errno is not really interesting. So let's
tell user to look at stdout.

ebpf: don't use nexthdr to build hash

As pointed by Victor Julien, it is not a good idea to use the
nexthdr value, as init key for the hash as it could contain some
other headers and can be changed for a session.

util-ebpf: improve code readability

As pointed by Victor Julien, the pkts_cnt usage was quite confusing
so functions are now returning a bool.

util-ebpf: discard flow if no Flow storage

doc: document flow event_type

util-ebpf: fix ebpf bypass

Fix endian order in eBPF bypass. It has to be updated after the
bypassed flows handling change.

bypass: fix wait time at exit

The loop on bypassed flow maps can take a few seconds on heavily
loaded system causing Suricata to not honor a stop before a few
seconds.

This patch adds the code needed to detect the need to exit from
the check loop.

af-packet: fix use after free on config

ASAN did find that afp config was used after free. This was in
fact done in the Flow bypass manager hence this patch.

bypass: allow bypass for packet without flow

For capture method that have their own flow structure (not maintained
by Suricata), it can make sense to bypass a packet even if there is
no Flow in Suricata.

For AF_PACKET it does not make sense as the eBPF map entry will
be destroyed as soon as it will be checked by the flow bypass
manager. Thus we shortcut the bypass function if ever no Flow is
attached to the packet.

This path also removes reference to Flow in the bypass functions
for AF_PACKET. It was not necessary and we possibly could benefit
of it if ever we change the bypass algorithm.

ebpf: fix bypass filter vlan

doc: update ebpf doc following bypass_filter change

ebpf: complete vlan support for ebpf bypass filter

doc: update for latest xdp_filter.c change

bypass: use flow storage for bypass counter

There is a synchronization issue occuring when a flow is
added to the eBPF bypass maps. The flow can have packets
in the ring buffer that have already passed the eBPF stage.
By consequences, they are not accounted in the eBPF counter
but are accounted by Suricata flow engine.

This was causing counters to be completely wrong. This code
fixes the issue by avoiding the counter change in invalid
case.

To avoid adding 4 64bits integers to the Flow structure for the
bypass accounting, we use instead a FlowStorage. This limits the
memory usage to the size of a pointer.

ebpf: add vlan tracking option to xdp_filter

If vlan is not use for tracking in Suricata this result in vlan not
being used in the flow key in Suricata and we need to adjust that
in the XDP filter to avoid any problem.

ebpf: tls encrypted bypass in xdp_filter

Tests have shown that when we bypass encrypted traffic a non
neglicteable amount of encrypted  packets of the session are already in the
capture ring buffer. Result is that Suricata is doing unnecessary
work on these packets.

These packets can be identified via the first bytes of their payloads
so we can bypass them directly in the XDP code. This is done here
for application data packets on port 443 and for TLS 1.2.

ebpf: fix UDP bypass in xdp_filter

ebpf: fix typo in xdp_filter.c comment

bypass: generalize iface bypass stats

Introduce functions in util-device.c to be able to manage the
flow bypassed count stats.

ebpf: add comment for some define in XDP filter

ebpf: remove useless var in xdp_filter

util-ebpf: change flow accounting logic

Update the flow counters during the life of a bypassed flow
instead of just accounting at the end of it.

util-ebpf: better error handling

util-ebpf: better error handling of map unlink

util-ebpf: rename field 'unlink' to avoid confusion

af-packet: improve warning message

af-packet: rename option 'no-percpu-hash'

af-packet: warn when XDP is not supported

af-packet: remove question from code

flow-bypass: rename variables

flow-hash: doc and code cleaning

flow-bypass: clock_gettime error handling

Only reason clock_gettime could fail is a permission so let's
error and leave the flow bypass manager if it is the case.

Also let's suppress the error message if ever the error appear in
the middle of a run (which is unlikely).

util-ebpf: log level fixes and code cleaning

util-ebpf: init code optimization

configure: libbpf path

ebpf: reindent xdp_filter.c

doc: improve ebpf doc

Add example of bypass rules and explain clang dependency.

doc: document netronome hardware bypass usage

util-ebpf: fix error reported by coccinelle check

Some allocation errors were not checked during init phase.

af-packet: add vlan_id in bypass key

Bypassing on vlan was not supported due to the missing key.

ebpf: fix percpu hash handling

An alignement issue was preventing the code to work properly.
We introduce macros taken from Linux source code sample to get
something that should work on the long term.

flow-bypass: increase bypass timeout

This is needed as we did switch from counter maintained in kernel
to internal polling so we need a bigger value.

flow-bypass: fix timeout of maps bypassed flows

The time is taken from the parameter and is checked against real
flow entries so we need a standard time.

util-ebpf: fix IPv6 deletion loop

af-packet: fix bypass for IPv6

util-ebpf: add message if key deletion fails

util-ebpf: can't delete in place so update algo

af-packet: fix default in pinned maps name

af-packet: be sure to nullify option if not set

util-ebpf: simplify function declarations

util-ebpf: micro optimization

util-ebpf: create flow from bypassed flows

flow-hash: new function to get flow from flowkey

ebpf: make table iterator generic

Also adds a basic skeleton for flow creation loop.

af-packet: bypass with init function

ebpf: fix indentation in xdp_filter

util-ebpf: fix iteration in flow timeout

We were not setting the key using the correct item in map. Result
was deletion of wrong flow.

ebpf: set number of RSS queues to a power of 2

This is needed as netronome can not do a division (so can't do a modulo)
in hardware.

doc: use github mirror to setup libbpf

ebpf: implement RSS load balancing in hardware mode

ebpf: use atomic for counter in hw offload case

af-packet: correctly set up hardware offload

ebpf: more conditional code for netronome support

ebpf: remove BPF_LL_OFF in nhoff offset

It fixes invalid parsing in with recent kernels and does
not affect older kernels.

af-packet: fix loading of ebpf filter

ebpf: sync header with upstream

doc: typo fixes on ebpf doc

af-packet: fix the start when XDP is pinned

util-ebpf: change return of pinned maps loading

The calling function needs to be able to see when this is a success
and XDP do not need to be reloaded.

doc: document externally managed global switch

This is currently implemented as an exposed map and it seems
a good way to do it.

util-ebpf: conditional flow table loading

ebpf: implement global switch bypass

Add a switch to allow to bypass all traffic if the switch is on.
Concept is to use a persistant script and pinned maps, so an
external tool can be used to trigger global bypass in case Suricata
is dead.

af-packet: implement pinned-maps-name

af-packet: fix build when eBPF not built-in

util-ebpf: implement pinned maps loading

Load flow tables at start if asked to.

util-ebpf: only unlink pinned maps in eBPF filter

af-packet: conditionaly remove XDP filter

Only remove the XDP filter if we are in XDP mode and not using the
pinned maps.

doc: white space and typo fix

util-ebpf: conditional pinning of maps

Only pin maps if `pinned-maps` is set in the configuration. This
ensure backward compatibility.

doc: more eBPF and XDP capabilities

util-ebpf: fix loop on maps

We were missing the last element of the map by working on previous
key instead of current key.

util-ebpf: suppress spaces at end of line

ebpf: add filter by maps on example filter

util-ebpf: pin the maps

By pinning the maps we are creating a file in /sys/fs/bpf that can
be used by external program to access the map. This has multiple
benefits such as handling list from an external program.

The pinned maps could be persistent accross Suricata reload but
this can be complicated in term of handling everything in the life
of Suricata.

ebpf: document XDP iface redirect

ebpf: reduce counter size to allow netronome offload

ebpf: add VLAN support to loadbalancing

This patchs adds VLAN support to eBPF load balancing by doing a
parsing of VLAN headers.

ebpf: change the logic to avoid ktime usage

Kernel time is not available (and/or costly) on NIC such as
Netronome so we update the logic to detect dead flows based on a
lack of update of packets counters. This way, the XDP filter will
be usable by network card.

This patch also updates the ebpf code to support per CPU and
regular mapping. Netronome is not supporting it and the structure
is using atomic for counter so the cost of simultaneous update
is really low.

This patch also updates the xdp_filter to be able to select if the
flow table is per CPU on shared. Second option will be used for
hardward offload. To deactivate the per cpu hash, you need to set
USE_PERCPU_HASH to 0.

This patch also adds an new option to af-packet named no-percpu-hash
If this option is set to yes then the Flow bypassed manager thread
will use one CPU instead of the number of cores. By doing that
we are able to handle the case where USE_PERCPU_HASH is unset (so
hardware offload for Netronome).

This patch also remove aligment indications in the eBPF filter. This
was not really needed and it seems it is causing problem with
some recent version of LLVM toolchain.

flow-manager: no force reassembly on bypassed flow

When a bypassed flow is created we are forcing the reassembly so
we don't need to do it again when it timeout.

suricata.yaml: fix path to ebpf and xdp doc

detect/content: Message for escaping backslash

So far, if the rule loaded had a backslash character ("\") in its
content field, the rule will fail to load but without giving a
descriptive error message. This patch tells the user to escape the
troubling character.

Before
```
9409] 7/6/2019 -- 16:12:22 - (detect-engine-loader.c:184) <Error> (DetectLoadSigFile) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - error parsing signature "alert tcp $HOME_NET any -> $EXTERNAL_NET any (msg:"Backslash needs escaping msg"; flow:established,to_server; content:"MyBackslash\here"; sid:86; rev:1; )" from file /var/lib/suricata/rules/myrule.rules at line 1
```

After
```
[9409] 7/6/2019 -- 16:12:22 - (detect-content.c:155) <Error> (DetectContentDataParse) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - '\' has to be escaped
[9409] 7/6/2019 -- 16:12:22 - (detect-engine-loader.c:184) <Error> (DetectLoadSigFile) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - error parsing signature "alert tcp $HOME_NET any -> $EXTERNAL_NET any (msg:"Backslash needs escaping msg"; flow:established,to_server; content:"MyBackslash\here"; sid:86; rev:1; )" from file /var/lib/suricata/rules/myrule.rules at line 1
```

Closes redmine ticket #2626

doc: convert fancy quotes to straight quotes

threads: minor code cleanups

threads: improve flow timeout loop

Improve thread safety and remove BUG_ON

stats: walk tv_root under lock

stats: more accurate time handling for wakeup thread

stats: minor code cleanups

make: Remove rust generated headers during clean

New app layer event for invalid http request line

Handles logs from libhtp even if case of error

signature: error for rules with illegal port

Fixes #2080