http: adds event for header repetition

filestore: remove jansson ifdefs

Jansson is now required.

eve/file: remove rust and jansson ifdefs.

Both Rust and Jansson are required now.

filestore: fix leak in contructing json

Use json_array_append_new instead of json_array_append to transfer
ownership of the integer object to jansson so it gets freed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2961

detect/engine: make DetectAppLayerMpmRegister decprecated

detect/dnp3: add dnp3.data with v2 api support

Adds MPM support as well. Add TxDetectFlags support to the parser
to avoid duplicate matches.

filestore: fix dropping of unwanted files (Issue #2853)

files: open files with track id only

detect/dce_stub_data: add dcerpc.stub_data

Also use v2 API for inspect and mpm registration.

detect/inspect: add flags to inspect buffer

detect/content-inspect: turn void arg into Packet

Replace the 'void *data' argument by a 'Packet *p' as this was
the only user left of the data pointer.

detect/dce_stub_data: minor cleanups

detect/dcerpc: move endian handling from pointer to flags

detect/krb5: add krb5.sname and krb5.cname

detect/nfs: remove HAVE_RUST guards

valgrind: support hyperscan warning

Issue on Ubuntu 19.04.

==18655== Conditional jump or move depends on uninitialised value(s)
==18655==    at 0x5454603: hs_alloc_scratch (in /usr/lib/x86_64-linux-gnu/libhs.so.5.1.0)
==18655==    by 0x3D5C9A: SCHSPreparePatterns (util-mpm-hs.c:707)
==18655==    by 0x215FEC: DetectMpmPrepareBuiltinMpms (detect-engine-mpm.c:364)
==18655==    by 0x20813A: SigGroupBuild (detect-engine-build.c:1932)
==18655==    by 0x21287B: SigLoadSignatures (detect-engine-loader.c:366)
==18655==    by 0x35A702: LoadSignatures (suricata.c:2419)
==18655==    by 0x35B0DD: PostConfLoadedDetectSetup (suricata.c:2574)
==18655==    by 0x35C827: main (suricata.c:2986)

https://github.com/intel/hyperscan/issues/148

afl: fix compilation

ftp: fix realloc handling to avoid valgrind warning

Bug #2951

detect/file.magic: add sticky buffer

Add sticky buffer to inspect file magic. Includes mpm support.

detect/thread: ctx info is allowed to have NULL data

detect/smb: clean up keywords

detect/file: add file.data, small cleanups

detect/ssh: minor --list-keywords improvements

detect/http.header.raw: minor cleanups

detect/http.host.raw: minor cleanups

detect/http.method: minor cleanups

detect/http.start: modernize name and code

detect/http: cleanup http stat *

detect/http.host: rename file for consistency

detect/http.host: fix --list-keywords output

detect/http.uri: fix up --list-keywords output

detect/http: request/response line keyword modernization

detect/http.header_names: use v2 api and new name

changelog: update for 5.0.0-beta1

nfs: fix integer underflow

Fix int underflow that leads to Rust panic in NFS3 readdirplus
parsing.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.

ssl : SSLProbingParser overflow fix

Found by fuzzing
Fixes ssl detection evasion by packet splitting

parse/ip: fix potential oob write in ipv4 validation

Found using AFL.

dhcp: verify client id len before parsing data

Verify that the client id length is at least 2 per the DHCP
protocol rfc before parsing the data.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2902

rust/ftp: validate port components in passive reponse

Make sure they are valid 8 bit integers before combining the
two parts into a u16 to prevent an overflow of the u16
return value.

Add unit tests to check parsing of invalid ports.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2904

rules: add mpls packet too small decoder rule

mpls: check buffer length before peeking at next header

Check that we have enough bytes before peaking into the MPLS
packet payload.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2884

ethernet: fix next packet size on DCE packet

Missing parans on the DCE length caused the length update
for the next call to DecodeEthernet to be wrong.

Tests added.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2887

ssh: fix banner overflow issue

Reported-by: Sirko Höer - Code Intelligence

runmodes: for test runmodes, clean up properly

For conf test and engine analysis, clean up memory correctly.

This helps valgrind tests for leaks.

logging: display base64 decoded string for packet

This changeset changes the packet display to be base64, rather than hex.

logging: Ensure all anomalous events have an event_type

This change ensures that each anomaly is tagged with an
event type to support querying.

Each anomalous event will include `"event_type": "anomaly"`
in the log record.

eve/alert: Remove unused results from PrintRawLineHexBuf

This changeset removes the call to `PrintRawLineHexBuf`. The
return values were never used.

logging: Anomaly logging

This changeset adds anomaly logging to suricata for issue 2282.

Anomaly logging is controlled via the `anomaly` section within eve-log.
There is a single option -- `packethdr` -- for including the packet header
in the anomaly.

http: new event for auth unrecognized

activates libhtp auth parsing
Fixes #984

documentation: Correct rst for ssh-keywords

This changeset corrects an error in the ssh-keywords
where 3 "`" characters were used instead of 2 "`" characters.

documentation: sticky buffer updates

This changeset updates the userguide for the TLS and JA3
keywords that have been renamed from <id>_<name> to <id.name>

detect: Modernize TLS keywords

This changeset adds keywords for "tls.<name>" and moves the existing
value of "tls_<name>" to an alias.

init: pledge(2) needs "fattr" during suricata reload.

When killed with SIGHUP, suricata reopens the log files.  If filemode
is set in the config, it needs pledge promise "fattr" to allow the
chmod(2) on OpenBSD.

doc: update http.protocol description

detect-http-protocol: use v2 inspect/mpm engines

This updates inspect/mpm engines to v2.

doc: Add manpages for suricatasc and suricatactl

Add the missing manpages and the corresponding Sphinx configuration
for the command line tools `suricatasc` and `suricatactl`.

Closes redmine ticket #884.

detect/files: fix file sigs state handling

Make sure all file sig mismatches indicate this in their return
code, not just the ones with filestore enabled. This is needed
to tell the stateful detect engine that it is dealing with a file
sig, so it can make sure these are inspected correctly even if
there are possibly multiple files per tx.

eve/alert: take vlan from packet, not flow

Flow is not guaranteed to exist.

doc: add info about buffer usage in lua

detect-filename: avoid multiple inspections of buf

If the filename inspection function is returning nomatch this will
trigger iterative inspections with same content (aka filename) being
inspected. To avoid this we change the return as the buffer inspection
has not to be inspected anymore.

doc: fix way to build URL

detect-lua: implement sticky buffer

This patch implement an option named 'buffer' that can be used in the
init function of a lua signature:

 function init (args)
     local needs = {}
     needs["buffer"] = tostring(true)
     return needs
 end

With this, the lua script will get access to the sticky buffer
content.

detect-lua: fix DNP3 value

eve/json: always output vlan field as array

eve/flow: add in_iface field

Fixes #2057

eve/flow: add vlan field

Flow/Stream: set psuedopacket iface/vlan from flow

This fixes redmine bug #2057 by setting pseudopacket iface and vlan from
flow values, solving the problem of missing vlan/iface when psuedopacket
gets logged/alerted on.

Flow: Set flow iface and vlan_idx

Setting flow iface and vlan_idx from packet, making it possible to log
iface and vlan on psuedopackets and in flow-logs.

Flow: Adding livedev and vlan_idx on flow

Adding livedev and vlan_idx on flow, making it possible to use it for
logging in_iface on flow-logs and fix in_iface on psuedopackets.

http: logs content range

Fixes #2485

smtp: rset command resets bdat chunks length

Fixes #1860

ssh : code style consistency

Adds SSH_FLAG_VERSION_PARSED to flags before each return
This way, we are sure SSHParseBanner does not get called again
And proto_version does not get leaked

decode: Improved FTP active mode handling

This changeset addresses 2 issues:
- 2459
- 2527
and improves handling for FTP active mode over IPv4 and IPv6.

Active mode is triggered when the FTP client conveys the port
that should be used for a data connection (PORT, EPRT).

When this occurs, the FTP state is marked as "active".

mpls: fix misaligned read

Instead of casting the packet buffer to a uint32, memcpy it to
avoid misaligned read error, as caught by the undefined behavior
detector (ubsan).

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2903

ci: updated travis and appveyor for nss/nspr

* added nss and nspr requirements for appveyor build
* added nss and nspr requirements for travis builds
* added travis build without nss and nspr

Signed-off-by: jason taylor <jtfas90@gmail.com>

configure: fix nss check logic

Signed-off-by: jason taylor <jtfas90@gmail.com>

configure: fix nspr check logic

Signed-off-by: jason taylor <jtfas90@gmail.com>

eve/smb: minor cleanup now Rust is mandatory

rust/smb: rename files and code from RustSMB to SMB

detect/dcerpc: cleanup now Rust is mandatory

detect/app-layer-event: cleanup test

smb: remove C implementation

Now that Rust is mandatory it is obsolete.

Ticket: #2849

openbsd: fix rust linking

dns: remove as much C DNS code as possible

As some of the C code is still used it can't all be removed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2850

userguide: remove dns-log

dns-log: remove, not supported now that Rust is required

The non-json line based DNS log is not supported with Rust only
builds and has been scheduled for removal in Suricata 5.0.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2297

doc: remove autoconf replacement var for Rust

Set to yes as Rust is always enabled now.

config: enable all things requiring Rust

Instead of only enabling them if Rust is enabled, as Rust is
always enabled now.

travis-ci: enable Rust for all builds

autoconf: make Rust required in configure

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2507

travis-ci: test that configure fails without jansson

Update the no-jansson test to fail out if configure
passes.

The script needed to be converted into a single list item
for the early exit to work on Travis.

autoconf: jansson is now required

Jansson is required by the Suricata Rust support which
will also be mandatory.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1970

napatech: auto-config documentation update

Added documentation describing how to configure suricata to automaticly
configure sreams and host buffers without using NTPL.  I.e. from
suricata.yaml.

napatech: simplify integration with Napatech cards

- There is now an option to automatically create streams on the
  correct NUMA node when using cpu affinity.

- When not using cpu affinity the user can specify streams to be
  created in the suricata.yaml file.  It is no longer required to
  use NTPL to create streams before running suricata.

- The legacy usage model of running NTPL to create streams is still
  available. This can be used for legacy configurations and complex
  configurations that cannot be satisfied by the auto-config option.

byte: suppress errors in byte extraction utils

detect/bytejump: suppress runtime error messages

detect/byteextract: suppress runtime error messages

pfring: update PfringThreadVars_ for gcc 4.x

Signed-off-by: jason taylor <jtfas90@gmail.com>

init: use pledge(2) after suricata initialization.

pledge(2) can be used on OpenBSD to restrict suricata possible
operation on the system once initialization is completed.
The process promises to only make use of:
- "stdio" to allow read(2) on IPS rules and write(2) on log file
- "rpath wpath cpath" to allow log rotation
- "unix" to operate the control unix socket and log unix sockets
- "dns" to retrieve DNS from recvfrom(2)/sento(2) in IPFW mode
- "bpf" as suricata uses libpcap, which uses the BIOCGSTATS operation

Signed-off-by: Emmanuel Roullit <emmanuel.roullit@cognitix.de>

log: output file mode in octal on chmod warning

The mode input in chmod is an octal integer. However when the warning is logged,
the file mode is printed in decimal which is confusing.

Signed-off-by: Emmanuel Roullit <emmanuel.roullit@cognitix.de>