detect-tls-sni: move unittests to tests/

detect-tls-ja3-string: move unittests to tests/

detect-tls-ja3-hash: move unittests to tests/

detect-tls-cert-subject: move unittests to tests/

detect-tls-cert-serial: move unittests to tests/

detect-tls-cert-issuer: move unittests to tests/

detect-tls-cert-fingerprint: move unittests to tests/

detect-tls: tidy up unittests

By doing the following:
- removing unnecessary locks
- moving variable declarations
- removing redundant function 'SigCleanSignatures'

ja3: check if JA3 is disabled on one line

detect-tls: remove NULL settings from keyword registration

detect-tls: declare ssl_state as const in GetData()

detect-tls: check return values of functions on setup

Check the return values of DetectBufferSetActiveList() and
DetectSignatureSetAppProto().

detect-tls: remove confusing underscores from variables

Remove confusing underscore prefix from variables in GetData() for
all tls keywords.

userguide: 'sticky' instead of 'Sticky' for all tls keywords

app-layer-ftp: Potential memory leak fixed

Ensure that when handling failures during STOR command
processing, that all memory is freed on the error path.

userguide: add documentation for tls.certs keyword

detect: add tls.certs keyword

Add keyword to do "raw" matching on each of the certificates in the
TLS certificate sticky buffer.

Example:
  alert tls any any -> any any (msg:"tls.certs test"; tls.certs; \
          content:"|01 02 03 04|"; sid:1;)

detect/ssh: fix ssh.protoversion memory leak

detect/ssh: mark old ssh keywords as deprecated

detect/parse: add flag to indicate keyword is deprecated

Issue warning when it is still used.

detect/nfs.version: minor cleanups

detect/nfs: add nfs.version

detect/dcerpc: add dcerpc.iface

Keep dce_iface as an alias.

detect/dcerpc.opnum: minor code cleanups

detect/dcerpc: add dcerpc.opnum as new name for dce_opnum

eve/logging: disable anomaly logging by default

Disable anomaly logging by default. Networks with excessive issues may
experience packet processing degradation.

http: adds event for header repetition

filestore: remove jansson ifdefs

Jansson is now required.

eve/file: remove rust and jansson ifdefs.

Both Rust and Jansson are required now.

filestore: fix leak in contructing json

Use json_array_append_new instead of json_array_append to transfer
ownership of the integer object to jansson so it gets freed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2961

detect/engine: make DetectAppLayerMpmRegister decprecated

detect/dnp3: add dnp3.data with v2 api support

Adds MPM support as well. Add TxDetectFlags support to the parser
to avoid duplicate matches.

filestore: fix dropping of unwanted files (Issue #2853)

files: open files with track id only

detect/dce_stub_data: add dcerpc.stub_data

Also use v2 API for inspect and mpm registration.

detect/inspect: add flags to inspect buffer

detect/content-inspect: turn void arg into Packet

Replace the 'void *data' argument by a 'Packet *p' as this was
the only user left of the data pointer.

detect/dce_stub_data: minor cleanups

detect/dcerpc: move endian handling from pointer to flags

detect/krb5: add krb5.sname and krb5.cname

detect/nfs: remove HAVE_RUST guards

valgrind: support hyperscan warning

Issue on Ubuntu 19.04.

==18655== Conditional jump or move depends on uninitialised value(s)
==18655==    at 0x5454603: hs_alloc_scratch (in /usr/lib/x86_64-linux-gnu/libhs.so.5.1.0)
==18655==    by 0x3D5C9A: SCHSPreparePatterns (util-mpm-hs.c:707)
==18655==    by 0x215FEC: DetectMpmPrepareBuiltinMpms (detect-engine-mpm.c:364)
==18655==    by 0x20813A: SigGroupBuild (detect-engine-build.c:1932)
==18655==    by 0x21287B: SigLoadSignatures (detect-engine-loader.c:366)
==18655==    by 0x35A702: LoadSignatures (suricata.c:2419)
==18655==    by 0x35B0DD: PostConfLoadedDetectSetup (suricata.c:2574)
==18655==    by 0x35C827: main (suricata.c:2986)

https://github.com/intel/hyperscan/issues/148

afl: fix compilation

ftp: fix realloc handling to avoid valgrind warning

Bug #2951

detect/file.magic: add sticky buffer

Add sticky buffer to inspect file magic. Includes mpm support.

detect/thread: ctx info is allowed to have NULL data

detect/smb: clean up keywords

detect/file: add file.data, small cleanups

detect/ssh: minor --list-keywords improvements

detect/http.header.raw: minor cleanups

detect/http.host.raw: minor cleanups

detect/http.method: minor cleanups

detect/http.start: modernize name and code

detect/http: cleanup http stat *

detect/http.host: rename file for consistency

detect/http.host: fix --list-keywords output

detect/http.uri: fix up --list-keywords output

detect/http: request/response line keyword modernization

detect/http.header_names: use v2 api and new name

changelog: update for 5.0.0-beta1

nfs: fix integer underflow

Fix int underflow that leads to Rust panic in NFS3 readdirplus
parsing.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.

ssl : SSLProbingParser overflow fix

Found by fuzzing
Fixes ssl detection evasion by packet splitting

parse/ip: fix potential oob write in ipv4 validation

Found using AFL.

dhcp: verify client id len before parsing data

Verify that the client id length is at least 2 per the DHCP
protocol rfc before parsing the data.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2902

rust/ftp: validate port components in passive reponse

Make sure they are valid 8 bit integers before combining the
two parts into a u16 to prevent an overflow of the u16
return value.

Add unit tests to check parsing of invalid ports.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2904

rules: add mpls packet too small decoder rule

mpls: check buffer length before peeking at next header

Check that we have enough bytes before peaking into the MPLS
packet payload.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2884

ethernet: fix next packet size on DCE packet

Missing parans on the DCE length caused the length update
for the next call to DecodeEthernet to be wrong.

Tests added.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2887

ssh: fix banner overflow issue

Reported-by: Sirko Höer - Code Intelligence

runmodes: for test runmodes, clean up properly

For conf test and engine analysis, clean up memory correctly.

This helps valgrind tests for leaks.

logging: display base64 decoded string for packet

This changeset changes the packet display to be base64, rather than hex.

logging: Ensure all anomalous events have an event_type

This change ensures that each anomaly is tagged with an
event type to support querying.

Each anomalous event will include `"event_type": "anomaly"`
in the log record.

eve/alert: Remove unused results from PrintRawLineHexBuf

This changeset removes the call to `PrintRawLineHexBuf`. The
return values were never used.

logging: Anomaly logging

This changeset adds anomaly logging to suricata for issue 2282.

Anomaly logging is controlled via the `anomaly` section within eve-log.
There is a single option -- `packethdr` -- for including the packet header
in the anomaly.

http: new event for auth unrecognized

activates libhtp auth parsing
Fixes #984

documentation: Correct rst for ssh-keywords

This changeset corrects an error in the ssh-keywords
where 3 "`" characters were used instead of 2 "`" characters.

documentation: sticky buffer updates

This changeset updates the userguide for the TLS and JA3
keywords that have been renamed from <id>_<name> to <id.name>

detect: Modernize TLS keywords

This changeset adds keywords for "tls.<name>" and moves the existing
value of "tls_<name>" to an alias.

init: pledge(2) needs "fattr" during suricata reload.

When killed with SIGHUP, suricata reopens the log files.  If filemode
is set in the config, it needs pledge promise "fattr" to allow the
chmod(2) on OpenBSD.

doc: update http.protocol description

detect-http-protocol: use v2 inspect/mpm engines

This updates inspect/mpm engines to v2.

doc: Add manpages for suricatasc and suricatactl

Add the missing manpages and the corresponding Sphinx configuration
for the command line tools `suricatasc` and `suricatactl`.

Closes redmine ticket #884.

detect/files: fix file sigs state handling

Make sure all file sig mismatches indicate this in their return
code, not just the ones with filestore enabled. This is needed
to tell the stateful detect engine that it is dealing with a file
sig, so it can make sure these are inspected correctly even if
there are possibly multiple files per tx.

eve/alert: take vlan from packet, not flow

Flow is not guaranteed to exist.

doc: add info about buffer usage in lua

detect-filename: avoid multiple inspections of buf

If the filename inspection function is returning nomatch this will
trigger iterative inspections with same content (aka filename) being
inspected. To avoid this we change the return as the buffer inspection
has not to be inspected anymore.

doc: fix way to build URL

detect-lua: implement sticky buffer

This patch implement an option named 'buffer' that can be used in the
init function of a lua signature:

 function init (args)
     local needs = {}
     needs["buffer"] = tostring(true)
     return needs
 end

With this, the lua script will get access to the sticky buffer
content.

detect-lua: fix DNP3 value

eve/json: always output vlan field as array

eve/flow: add in_iface field

Fixes #2057

eve/flow: add vlan field

Flow/Stream: set psuedopacket iface/vlan from flow

This fixes redmine bug #2057 by setting pseudopacket iface and vlan from
flow values, solving the problem of missing vlan/iface when psuedopacket
gets logged/alerted on.

Flow: Set flow iface and vlan_idx

Setting flow iface and vlan_idx from packet, making it possible to log
iface and vlan on psuedopackets and in flow-logs.

Flow: Adding livedev and vlan_idx on flow

Adding livedev and vlan_idx on flow, making it possible to use it for
logging in_iface on flow-logs and fix in_iface on psuedopackets.

http: logs content range

Fixes #2485

smtp: rset command resets bdat chunks length

Fixes #1860

ssh : code style consistency

Adds SSH_FLAG_VERSION_PARSED to flags before each return
This way, we are sure SSHParseBanner does not get called again
And proto_version does not get leaked

decode: Improved FTP active mode handling

This changeset addresses 2 issues:
- 2459
- 2527
and improves handling for FTP active mode over IPv4 and IPv6.

Active mode is triggered when the FTP client conveys the port
that should be used for a data connection (PORT, EPRT).

When this occurs, the FTP state is marked as "active".

mpls: fix misaligned read

Instead of casting the packet buffer to a uint32, memcpy it to
avoid misaligned read error, as caught by the undefined behavior
detector (ubsan).

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2903