lua: add Ja3SGetString function

Add Ja3SGetString() to return the content of the JA3S string buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_string.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_string = Ja3SGetString()
      if ja3s_string == nil then
          return
      end

      file:write(ja3s_string .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

userguide: add documentation for JA3SGetHash Lua function

lua: add Ja3SGetHash function

Add Ja3SGetHash() to return the content of the JA3S hash buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_hash.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_hash = Ja3SGetHash()
      if ja3s_hash == nil then
          return
      end

      file:write(ja3s_hash .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

In the example above, each JA3S hash is logged to a log file.

userguide: add JA3S fields to the TLS logger documentation

eve: add JA3S field to TLS JSON logger

Add JA3S object to TLS JSON logger (extended log).

app-layer-ssl: generate JA3S fingerprints

Generate JA3S fingerprints based on fields in the ServerHello record.

Bug #2965: fix NFQ arguments parsing

af-packet: fix setting block_timeout value through afpconfig

doc: Anomaly logging documentation

This changeset adds discussion of anomaly log records and
the anomaly log record format.

detect/analyzer: Improve warning message

This changeset modifies the warning printed when a rule
is determined to detect in both directions.

af-packet: remove rollover reference

This patch removes reference to rollover in the configuration file
and add warnings when it is used.

signature: fix overflow in parsing

http: adds events for each libhtp log

Fixes #997

detect-ssl-version: move unittests to tests/

detect-ssl-state: move unittests to tests/

detect-tls-version: move unittests to tests/

detect-tls-cert-validity: move unittests to tests/

detect-tls-sni: move unittests to tests/

detect-tls-ja3-string: move unittests to tests/

detect-tls-ja3-hash: move unittests to tests/

detect-tls-cert-subject: move unittests to tests/

detect-tls-cert-serial: move unittests to tests/

detect-tls-cert-issuer: move unittests to tests/

detect-tls-cert-fingerprint: move unittests to tests/

detect-tls: tidy up unittests

By doing the following:
- removing unnecessary locks
- moving variable declarations
- removing redundant function 'SigCleanSignatures'

ja3: check if JA3 is disabled on one line

detect-tls: remove NULL settings from keyword registration

detect-tls: declare ssl_state as const in GetData()

detect-tls: check return values of functions on setup

Check the return values of DetectBufferSetActiveList() and
DetectSignatureSetAppProto().

detect-tls: remove confusing underscores from variables

Remove confusing underscore prefix from variables in GetData() for
all tls keywords.

userguide: 'sticky' instead of 'Sticky' for all tls keywords

app-layer-ftp: Potential memory leak fixed

Ensure that when handling failures during STOR command
processing, that all memory is freed on the error path.

userguide: add documentation for tls.certs keyword

detect: add tls.certs keyword

Add keyword to do "raw" matching on each of the certificates in the
TLS certificate sticky buffer.

Example:
  alert tls any any -> any any (msg:"tls.certs test"; tls.certs; \
          content:"|01 02 03 04|"; sid:1;)

detect/ssh: fix ssh.protoversion memory leak

detect/ssh: mark old ssh keywords as deprecated

detect/parse: add flag to indicate keyword is deprecated

Issue warning when it is still used.

detect/nfs.version: minor cleanups

detect/nfs: add nfs.version

detect/dcerpc: add dcerpc.iface

Keep dce_iface as an alias.

detect/dcerpc.opnum: minor code cleanups

detect/dcerpc: add dcerpc.opnum as new name for dce_opnum

eve/logging: disable anomaly logging by default

Disable anomaly logging by default. Networks with excessive issues may
experience packet processing degradation.

http: adds event for header repetition

filestore: remove jansson ifdefs

Jansson is now required.

eve/file: remove rust and jansson ifdefs.

Both Rust and Jansson are required now.

filestore: fix leak in contructing json

Use json_array_append_new instead of json_array_append to transfer
ownership of the integer object to jansson so it gets freed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2961

detect/engine: make DetectAppLayerMpmRegister decprecated

detect/dnp3: add dnp3.data with v2 api support

Adds MPM support as well. Add TxDetectFlags support to the parser
to avoid duplicate matches.

filestore: fix dropping of unwanted files (Issue #2853)

files: open files with track id only

detect/dce_stub_data: add dcerpc.stub_data

Also use v2 API for inspect and mpm registration.

detect/inspect: add flags to inspect buffer

detect/content-inspect: turn void arg into Packet

Replace the 'void *data' argument by a 'Packet *p' as this was
the only user left of the data pointer.

detect/dce_stub_data: minor cleanups

detect/dcerpc: move endian handling from pointer to flags

detect/krb5: add krb5.sname and krb5.cname

detect/nfs: remove HAVE_RUST guards

valgrind: support hyperscan warning

Issue on Ubuntu 19.04.

==18655== Conditional jump or move depends on uninitialised value(s)
==18655==    at 0x5454603: hs_alloc_scratch (in /usr/lib/x86_64-linux-gnu/libhs.so.5.1.0)
==18655==    by 0x3D5C9A: SCHSPreparePatterns (util-mpm-hs.c:707)
==18655==    by 0x215FEC: DetectMpmPrepareBuiltinMpms (detect-engine-mpm.c:364)
==18655==    by 0x20813A: SigGroupBuild (detect-engine-build.c:1932)
==18655==    by 0x21287B: SigLoadSignatures (detect-engine-loader.c:366)
==18655==    by 0x35A702: LoadSignatures (suricata.c:2419)
==18655==    by 0x35B0DD: PostConfLoadedDetectSetup (suricata.c:2574)
==18655==    by 0x35C827: main (suricata.c:2986)

https://github.com/intel/hyperscan/issues/148

afl: fix compilation

ftp: fix realloc handling to avoid valgrind warning

Bug #2951

detect/file.magic: add sticky buffer

Add sticky buffer to inspect file magic. Includes mpm support.

detect/thread: ctx info is allowed to have NULL data

detect/smb: clean up keywords

detect/file: add file.data, small cleanups

detect/ssh: minor --list-keywords improvements

detect/http.header.raw: minor cleanups

detect/http.host.raw: minor cleanups

detect/http.method: minor cleanups

detect/http.start: modernize name and code

detect/http: cleanup http stat *

detect/http.host: rename file for consistency

detect/http.host: fix --list-keywords output

detect/http.uri: fix up --list-keywords output

detect/http: request/response line keyword modernization

detect/http.header_names: use v2 api and new name

changelog: update for 5.0.0-beta1

nfs: fix integer underflow

Fix int underflow that leads to Rust panic in NFS3 readdirplus
parsing.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.

ssl : SSLProbingParser overflow fix

Found by fuzzing
Fixes ssl detection evasion by packet splitting

parse/ip: fix potential oob write in ipv4 validation

Found using AFL.

dhcp: verify client id len before parsing data

Verify that the client id length is at least 2 per the DHCP
protocol rfc before parsing the data.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2902

rust/ftp: validate port components in passive reponse

Make sure they are valid 8 bit integers before combining the
two parts into a u16 to prevent an overflow of the u16
return value.

Add unit tests to check parsing of invalid ports.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2904

rules: add mpls packet too small decoder rule

mpls: check buffer length before peeking at next header

Check that we have enough bytes before peaking into the MPLS
packet payload.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2884

ethernet: fix next packet size on DCE packet

Missing parans on the DCE length caused the length update
for the next call to DecodeEthernet to be wrong.

Tests added.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2887

ssh: fix banner overflow issue

Reported-by: Sirko Höer - Code Intelligence

runmodes: for test runmodes, clean up properly

For conf test and engine analysis, clean up memory correctly.

This helps valgrind tests for leaks.

logging: display base64 decoded string for packet

This changeset changes the packet display to be base64, rather than hex.

logging: Ensure all anomalous events have an event_type

This change ensures that each anomaly is tagged with an
event type to support querying.

Each anomalous event will include `"event_type": "anomaly"`
in the log record.

eve/alert: Remove unused results from PrintRawLineHexBuf

This changeset removes the call to `PrintRawLineHexBuf`. The
return values were never used.

logging: Anomaly logging

This changeset adds anomaly logging to suricata for issue 2282.

Anomaly logging is controlled via the `anomaly` section within eve-log.
There is a single option -- `packethdr` -- for including the packet header
in the anomaly.

http: new event for auth unrecognized

activates libhtp auth parsing
Fixes #984

documentation: Correct rst for ssh-keywords

This changeset corrects an error in the ssh-keywords
where 3 "`" characters were used instead of 2 "`" characters.

documentation: sticky buffer updates

This changeset updates the userguide for the TLS and JA3
keywords that have been renamed from <id>_<name> to <id.name>

detect: Modernize TLS keywords

This changeset adds keywords for "tls.<name>" and moves the existing
value of "tls_<name>" to an alias.

init: pledge(2) needs "fattr" during suricata reload.

When killed with SIGHUP, suricata reopens the log files.  If filemode
is set in the config, it needs pledge promise "fattr" to allow the
chmod(2) on OpenBSD.

doc: update http.protocol description

detect-http-protocol: use v2 inspect/mpm engines

This updates inspect/mpm engines to v2.

doc: Add manpages for suricatasc and suricatactl

Add the missing manpages and the corresponding Sphinx configuration
for the command line tools `suricatasc` and `suricatactl`.

Closes redmine ticket #884.

detect/files: fix file sigs state handling

Make sure all file sig mismatches indicate this in their return
code, not just the ones with filestore enabled. This is needed
to tell the stateful detect engine that it is dealing with a file
sig, so it can make sure these are inspected correctly even if
there are possibly multiple files per tx.