ja3s-string: move unittests to tests/

ja3s-hash: move unittests to tests/

userguide: add documentation for ja3s.string keyword

detect: add (mpm) keyword ja3s.string

Match on JA3S string using ja3s.string keyword, e.g:

  alert tls any any -> any any (msg:"ja3s.string test";
      ja3s.string; content:"10-11-12"; sid:1;)

userguide: add documentation for ja3s.hash keyword

detect: add (mpm) keyword ja3s.hash

Match on JA3S hash using ja3s.hash keyword, e.g:

  alert tls any any -> any any (msg:"ja3s.hash test";
      ja3s.hash; content:"b26c652e0a402a24b5ca2a660e84f9d5"; sid:1;)

userguide: add documentation for Ja3SGetString Lua function

lua: add Ja3SGetString function

Add Ja3SGetString() to return the content of the JA3S string buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_string.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_string = Ja3SGetString()
      if ja3s_string == nil then
          return
      end

      file:write(ja3s_string .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

userguide: add documentation for JA3SGetHash Lua function

lua: add Ja3SGetHash function

Add Ja3SGetHash() to return the content of the JA3S hash buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_hash.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_hash = Ja3SGetHash()
      if ja3s_hash == nil then
          return
      end

      file:write(ja3s_hash .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

In the example above, each JA3S hash is logged to a log file.

userguide: add JA3S fields to the TLS logger documentation

eve: add JA3S field to TLS JSON logger

Add JA3S object to TLS JSON logger (extended log).

app-layer-ssl: generate JA3S fingerprints

Generate JA3S fingerprints based on fields in the ServerHello record.

Bug #2965: fix NFQ arguments parsing

af-packet: fix setting block_timeout value through afpconfig

doc: Anomaly logging documentation

This changeset adds discussion of anomaly log records and
the anomaly log record format.

detect/analyzer: Improve warning message

This changeset modifies the warning printed when a rule
is determined to detect in both directions.

af-packet: remove rollover reference

This patch removes reference to rollover in the configuration file
and add warnings when it is used.

signature: fix overflow in parsing

http: adds events for each libhtp log

Fixes #997

detect-ssl-version: move unittests to tests/

detect-ssl-state: move unittests to tests/

detect-tls-version: move unittests to tests/

detect-tls-cert-validity: move unittests to tests/

detect-tls-sni: move unittests to tests/

detect-tls-ja3-string: move unittests to tests/

detect-tls-ja3-hash: move unittests to tests/

detect-tls-cert-subject: move unittests to tests/

detect-tls-cert-serial: move unittests to tests/

detect-tls-cert-issuer: move unittests to tests/

detect-tls-cert-fingerprint: move unittests to tests/

detect-tls: tidy up unittests

By doing the following:
- removing unnecessary locks
- moving variable declarations
- removing redundant function 'SigCleanSignatures'

ja3: check if JA3 is disabled on one line

detect-tls: remove NULL settings from keyword registration

detect-tls: declare ssl_state as const in GetData()

detect-tls: check return values of functions on setup

Check the return values of DetectBufferSetActiveList() and
DetectSignatureSetAppProto().

detect-tls: remove confusing underscores from variables

Remove confusing underscore prefix from variables in GetData() for
all tls keywords.

userguide: 'sticky' instead of 'Sticky' for all tls keywords

app-layer-ftp: Potential memory leak fixed

Ensure that when handling failures during STOR command
processing, that all memory is freed on the error path.

userguide: add documentation for tls.certs keyword

detect: add tls.certs keyword

Add keyword to do "raw" matching on each of the certificates in the
TLS certificate sticky buffer.

Example:
  alert tls any any -> any any (msg:"tls.certs test"; tls.certs; \
          content:"|01 02 03 04|"; sid:1;)

detect/ssh: fix ssh.protoversion memory leak

detect/ssh: mark old ssh keywords as deprecated

detect/parse: add flag to indicate keyword is deprecated

Issue warning when it is still used.

detect/nfs.version: minor cleanups

detect/nfs: add nfs.version

detect/dcerpc: add dcerpc.iface

Keep dce_iface as an alias.

detect/dcerpc.opnum: minor code cleanups

detect/dcerpc: add dcerpc.opnum as new name for dce_opnum

eve/logging: disable anomaly logging by default

Disable anomaly logging by default. Networks with excessive issues may
experience packet processing degradation.

http: adds event for header repetition

filestore: remove jansson ifdefs

Jansson is now required.

eve/file: remove rust and jansson ifdefs.

Both Rust and Jansson are required now.

filestore: fix leak in contructing json

Use json_array_append_new instead of json_array_append to transfer
ownership of the integer object to jansson so it gets freed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2961

detect/engine: make DetectAppLayerMpmRegister decprecated

detect/dnp3: add dnp3.data with v2 api support

Adds MPM support as well. Add TxDetectFlags support to the parser
to avoid duplicate matches.

filestore: fix dropping of unwanted files (Issue #2853)

files: open files with track id only

detect/dce_stub_data: add dcerpc.stub_data

Also use v2 API for inspect and mpm registration.

detect/inspect: add flags to inspect buffer

detect/content-inspect: turn void arg into Packet

Replace the 'void *data' argument by a 'Packet *p' as this was
the only user left of the data pointer.

detect/dce_stub_data: minor cleanups

detect/dcerpc: move endian handling from pointer to flags

detect/krb5: add krb5.sname and krb5.cname

detect/nfs: remove HAVE_RUST guards

valgrind: support hyperscan warning

Issue on Ubuntu 19.04.

==18655== Conditional jump or move depends on uninitialised value(s)
==18655==    at 0x5454603: hs_alloc_scratch (in /usr/lib/x86_64-linux-gnu/libhs.so.5.1.0)
==18655==    by 0x3D5C9A: SCHSPreparePatterns (util-mpm-hs.c:707)
==18655==    by 0x215FEC: DetectMpmPrepareBuiltinMpms (detect-engine-mpm.c:364)
==18655==    by 0x20813A: SigGroupBuild (detect-engine-build.c:1932)
==18655==    by 0x21287B: SigLoadSignatures (detect-engine-loader.c:366)
==18655==    by 0x35A702: LoadSignatures (suricata.c:2419)
==18655==    by 0x35B0DD: PostConfLoadedDetectSetup (suricata.c:2574)
==18655==    by 0x35C827: main (suricata.c:2986)

https://github.com/intel/hyperscan/issues/148

afl: fix compilation

ftp: fix realloc handling to avoid valgrind warning

Bug #2951

detect/file.magic: add sticky buffer

Add sticky buffer to inspect file magic. Includes mpm support.

detect/thread: ctx info is allowed to have NULL data

detect/smb: clean up keywords

detect/file: add file.data, small cleanups

detect/ssh: minor --list-keywords improvements

detect/http.header.raw: minor cleanups

detect/http.host.raw: minor cleanups

detect/http.method: minor cleanups

detect/http.start: modernize name and code

detect/http: cleanup http stat *

detect/http.host: rename file for consistency

detect/http.host: fix --list-keywords output

detect/http.uri: fix up --list-keywords output

detect/http: request/response line keyword modernization

detect/http.header_names: use v2 api and new name

changelog: update for 5.0.0-beta1

nfs: fix integer underflow

Fix int underflow that leads to Rust panic in NFS3 readdirplus
parsing.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.

ssl : SSLProbingParser overflow fix

Found by fuzzing
Fixes ssl detection evasion by packet splitting

parse/ip: fix potential oob write in ipv4 validation

Found using AFL.

dhcp: verify client id len before parsing data

Verify that the client id length is at least 2 per the DHCP
protocol rfc before parsing the data.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2902

rust/ftp: validate port components in passive reponse

Make sure they are valid 8 bit integers before combining the
two parts into a u16 to prevent an overflow of the u16
return value.

Add unit tests to check parsing of invalid ports.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2904

rules: add mpls packet too small decoder rule

mpls: check buffer length before peeking at next header

Check that we have enough bytes before peaking into the MPLS
packet payload.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2884

ethernet: fix next packet size on DCE packet

Missing parans on the DCE length caused the length update
for the next call to DecodeEthernet to be wrong.

Tests added.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2887

ssh: fix banner overflow issue

Reported-by: Sirko Höer - Code Intelligence

runmodes: for test runmodes, clean up properly

For conf test and engine analysis, clean up memory correctly.

This helps valgrind tests for leaks.

logging: display base64 decoded string for packet

This changeset changes the packet display to be base64, rather than hex.

logging: Ensure all anomalous events have an event_type

This change ensures that each anomaly is tagged with an
event type to support querying.

Each anomalous event will include `"event_type": "anomaly"`
in the log record.

eve/alert: Remove unused results from PrintRawLineHexBuf

This changeset removes the call to `PrintRawLineHexBuf`. The
return values were never used.

logging: Anomaly logging

This changeset adds anomaly logging to suricata for issue 2282.

Anomaly logging is controlled via the `anomaly` section within eve-log.
There is a single option -- `packethdr` -- for including the packet header
in the anomaly.

http: new event for auth unrecognized

activates libhtp auth parsing
Fixes #984

documentation: Correct rst for ssh-keywords

This changeset corrects an error in the ssh-keywords
where 3 "`" characters were used instead of 2 "`" characters.