util-ebpf: only unlink pinned maps in eBPF filter

af-packet: conditionaly remove XDP filter

Only remove the XDP filter if we are in XDP mode and not using the
pinned maps.

doc: white space and typo fix

util-ebpf: conditional pinning of maps

Only pin maps if `pinned-maps` is set in the configuration. This
ensure backward compatibility.

doc: more eBPF and XDP capabilities

util-ebpf: fix loop on maps

We were missing the last element of the map by working on previous
key instead of current key.

util-ebpf: suppress spaces at end of line

ebpf: add filter by maps on example filter

util-ebpf: pin the maps

By pinning the maps we are creating a file in /sys/fs/bpf that can
be used by external program to access the map. This has multiple
benefits such as handling list from an external program.

The pinned maps could be persistent accross Suricata reload but
this can be complicated in term of handling everything in the life
of Suricata.

ebpf: document XDP iface redirect

ebpf: reduce counter size to allow netronome offload

ebpf: add VLAN support to loadbalancing

This patchs adds VLAN support to eBPF load balancing by doing a
parsing of VLAN headers.

ebpf: change the logic to avoid ktime usage

Kernel time is not available (and/or costly) on NIC such as
Netronome so we update the logic to detect dead flows based on a
lack of update of packets counters. This way, the XDP filter will
be usable by network card.

This patch also updates the ebpf code to support per CPU and
regular mapping. Netronome is not supporting it and the structure
is using atomic for counter so the cost of simultaneous update
is really low.

This patch also updates the xdp_filter to be able to select if the
flow table is per CPU on shared. Second option will be used for
hardward offload. To deactivate the per cpu hash, you need to set
USE_PERCPU_HASH to 0.

This patch also adds an new option to af-packet named no-percpu-hash
If this option is set to yes then the Flow bypassed manager thread
will use one CPU instead of the number of cores. By doing that
we are able to handle the case where USE_PERCPU_HASH is unset (so
hardware offload for Netronome).

This patch also remove aligment indications in the eBPF filter. This
was not really needed and it seems it is causing problem with
some recent version of LLVM toolchain.

flow-manager: no force reassembly on bypassed flow

When a bypassed flow is created we are forcing the reassembly so
we don't need to do it again when it timeout.

suricata.yaml: fix path to ebpf and xdp doc

detect/content: Message for escaping backslash

So far, if the rule loaded had a backslash character ("\") in its
content field, the rule will fail to load but without giving a
descriptive error message. This patch tells the user to escape the
troubling character.

Before
```
9409] 7/6/2019 -- 16:12:22 - (detect-engine-loader.c:184) <Error> (DetectLoadSigFile) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - error parsing signature "alert tcp $HOME_NET any -> $EXTERNAL_NET any (msg:"Backslash needs escaping msg"; flow:established,to_server; content:"MyBackslash\here"; sid:86; rev:1; )" from file /var/lib/suricata/rules/myrule.rules at line 1
```

After
```
[9409] 7/6/2019 -- 16:12:22 - (detect-content.c:155) <Error> (DetectContentDataParse) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - '\' has to be escaped
[9409] 7/6/2019 -- 16:12:22 - (detect-engine-loader.c:184) <Error> (DetectLoadSigFile) -- [ERRCODE: SC_ERR_INVALID_SIGNATURE(39)] - error parsing signature "alert tcp $HOME_NET any -> $EXTERNAL_NET any (msg:"Backslash needs escaping msg"; flow:established,to_server; content:"MyBackslash\here"; sid:86; rev:1; )" from file /var/lib/suricata/rules/myrule.rules at line 1
```

Closes redmine ticket #2626

doc: convert fancy quotes to straight quotes

threads: minor code cleanups

threads: improve flow timeout loop

Improve thread safety and remove BUG_ON

stats: walk tv_root under lock

stats: more accurate time handling for wakeup thread

stats: minor code cleanups

make: Remove rust generated headers during clean

New app layer event for invalid http request line

Handles logs from libhtp even if case of error

signature: error for rules with illegal port

Fixes #2080

warnings: fixes integer sizes in format strings

Fixes #3009

http: adds unit tests for HTPParseContentRange

http: fix overflow in HTPParseContentRange

rust/snmp: fix libc deprecation warnings for int types

rust/snmp: use snake_case when logging PDU types

snmp: fix 'defined but not used' warning

Remove HAVE_RUST guards as well.

snmp.version: move unittests to tests/

snmp.pdu_type: move unittests to tests/

snmp.community: move unittests to tests/

detect/snmp: convert snmp.community keyword to v2, and MPM

rust/snmp: fix missing IPPROTO_* declarations (use core)

detect/snmp: rename keywords to snmp.<name>, and make rust mandatory

rust/snmp: fix selection of v1/v2c parser

SNMP: add the "snmp.pdu_type" detection keyword

SNMP: add the "snmp.community" detection keyword

SNMP: add the "snmp.version" detection keyword

SNMP: add missing case for profiling enum

SNMP: use explicit references to support build with old rust compiler

SNMP: start looking for transactions from end of list

SNMP: add logger

Add SNMP (v1/v2c/v3) application layer

Rust: expose function AppLayerParserRegisterGetTxIterator

rust: fix warnings about wrong type of comments

"rustdoc does not generate documentation for macro expansions"

rust: fix libc deprecation warnings for int types

ikev2: clean up c glue code

tftp: c glue code cleanup

ikev2: remove excess new lines

tftp: properly implement tx handling

output: get rid of BUG_ONs

pool: don't call Cleanup after failed Init

Stream reassembly memcap is regulated by the Init and Cleanup
callbacks. If Init fails due to memcap reached, Cleanup had no
way of knowing and it would decrease the memcap even if it hadn't
been increased by Init. This could lead to too much memory use and
memcap counter underflow.

This patch fixes the issue by not calling Cleanup in this case. It's
fair to see a failed Init the responsibility of Init.

pool/thread: clean up tests

pool/thread: remove old grow function

stream: simplify segment and ssn pool inits

pool/thread: introduce simpler way to grow thread pool

pool/thread: minor code cleanups

app-layer: minor cleanups

capture: check for flow packets on capture timeout

The capture threads can receive packets from the flow manager in their
Threadvars::stream_pq packet queue. This mechanism makes sure the packets
the flow manager injects into the engine are processed by the correct
worker thread.

If the capture thread(s) would not receive packets for a long time, the
Threadvars::stream_pq would not be checked and processed. This could
lead to packet pool depletion in the flow manager. It would also lead
to flows not being timed out/logged until either packets started flowing
again or until the engine was shut down.

The scenario is more likely to happen in a test (e.g. replay) but could
also delay logging on low traffic sensors.

app-layer: mandatory tx registration checks

All protocols now implement the TX API, so the runtime checks for
whether or not a protocol supports the TX API can be removed.

app-layer: make tests tx aware

Make tests minimally TX-aware so we can asume all parsers use
the tx API.

ssh: test cleanup

Remove explicit locks. Set ALPROTO_SSH in all tests.

packetpool: move return stack to pool earlier

If waiting for N packets move the return stack to the main
stack every time we take the return stack lock.

Make sure we consider enough packets when setting the pending pool
flush logic. This should at least make sure to have the 9 packets
the flow manager requires per run.

detect/content: clean up logging output

Signed-off-by: jason taylor <jtfas90@gmail.com>

suricatasc: fix reconnect

doc: http keyword update

This changeset updates the keyword type for http.location and http.server

detect/analyzer Add missing HTTP values

This changeset adds recognition of missing HTTP values
- Raw host
- Header names
- Server body
- User agent

signature: fix memory leak in DetectBytejumpSetup

http: adds an event for double encoded uri

http: fixes double-encode configuration keywords

travis: move checks into script

This makes error handling easier and more robust:
https://docs.travis-ci.com/user/job-lifecycle#complex-build-commands

travis: add sphinx to trigger doc build

ja3s-string: move unittests to tests/

ja3s-hash: move unittests to tests/

userguide: add documentation for ja3s.string keyword

detect: add (mpm) keyword ja3s.string

Match on JA3S string using ja3s.string keyword, e.g:

  alert tls any any -> any any (msg:"ja3s.string test";
      ja3s.string; content:"10-11-12"; sid:1;)

userguide: add documentation for ja3s.hash keyword

detect: add (mpm) keyword ja3s.hash

Match on JA3S hash using ja3s.hash keyword, e.g:

  alert tls any any -> any any (msg:"ja3s.hash test";
      ja3s.hash; content:"b26c652e0a402a24b5ca2a660e84f9d5"; sid:1;)

userguide: add documentation for Ja3SGetString Lua function

lua: add Ja3SGetString function

Add Ja3SGetString() to return the content of the JA3S string buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_string.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_string = Ja3SGetString()
      if ja3s_string == nil then
          return
      end

      file:write(ja3s_string .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

userguide: add documentation for JA3SGetHash Lua function

lua: add Ja3SGetHash function

Add Ja3SGetHash() to return the content of the JA3S hash buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_hash.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_hash = Ja3SGetHash()
      if ja3s_hash == nil then
          return
      end

      file:write(ja3s_hash .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

In the example above, each JA3S hash is logged to a log file.

userguide: add JA3S fields to the TLS logger documentation

eve: add JA3S field to TLS JSON logger

Add JA3S object to TLS JSON logger (extended log).

app-layer-ssl: generate JA3S fingerprints

Generate JA3S fingerprints based on fields in the ServerHello record.

Bug #2965: fix NFQ arguments parsing

af-packet: fix setting block_timeout value through afpconfig

doc: Anomaly logging documentation

This changeset adds discussion of anomaly log records and
the anomaly log record format.

detect/analyzer: Improve warning message

This changeset modifies the warning printed when a rule
is determined to detect in both directions.

af-packet: remove rollover reference

This patch removes reference to rollover in the configuration file
and add warnings when it is used.

signature: fix overflow in parsing

http: adds events for each libhtp log

Fixes #997

detect-ssl-version: move unittests to tests/

detect-ssl-state: move unittests to tests/

detect-tls-version: move unittests to tests/

detect-tls-cert-validity: move unittests to tests/

detect-tls-sni: move unittests to tests/