dhcp: update user guide

dhcp: add dhcp app-layer rules file

rust/dhcp: Rust based DHCP decoder and logger.

This is a DHCP decoder and logger written in Rust. Unlike most
parsers, this one is stateless so responses are not matched
up to requests by Suricata. However, the output does contain
enough fields to match them up in post-processing.

Rules are included to alert of malformed or truncated options.

rust: a Rust ConfNode wrapper.

A Rust wrapper around the C ConfNode object. Currenlty only exposes
ConfGetChildValueBool and ConfGetChildValue.

eve: check if enabled before attempting to setup

Before setting up a sub eve-logger, check that it is enabled. This
allows us to set "enabled: no" for loggers that are not registered
with the system without generating an error. An example of this
is loggers that are only available with Rust.

rust/app-layer: macros to export de_state functions

These macros generate the extern "C" functions for transactions
structs that need provide functions for setting and getting
the de_state. The idea is to provide macros do avoid code
duplication and make it simpler to create an app-layer.

A trait would be the correct solution, but it doesn't look like
you can use traits to export extern "C" functions.

rust: add get_tx_iterator to parser registration

app-layer-register: add GetTxIterator

Add a field to set the GetTxIterator function to the AppLayerParser
registration struct.

app-layer-detect-proto: remove unnecessary gotos

Kerberos 5: properly handle TCP buffering

Document Kerberos 5 parsing events

Add krb5_err_code detection keyword

Add krb5_cname and krb5_sname detection keywords

Add krb5_msg_type detection keyword

Kerberos 5: rename weak crypto to weak encryption, and log it

Add event rules for Kerberos 5

Kerberos 5: pretty-print error code when logging

Log Kerberos 5 errors

Kerberos 5: add support for TCP as well

Kerberos: check version in probing function

Add logger for Kerberos 5 metadata

Add Kerberos 5 application layer

util-random: fix detection of getrandom failure

util-random: workaround getrandom unavailability

getrandom syscall availability is detected at runtime. So it is
possible that the build is done on a box that supports it but
the run is done on a system with no availability. So a workaround
solution is needed to fix this case.

Also we have seen some issue in docker environment where the build
is detecting getrandom but where it does not work at runtime.

For both reasons, the code is updated to have a call to a fallback
function if ever the getrandom call returns that the syscall is
not available.

rust: cargo fixes for out of tree build

python: fixes for out of tree build

Autoconf/automake and python setup.py don't play that well
together with out of tree builds.

Makes suricatasc not an autoconf input file, instead use the
defaults module that is already being created.

In the case of an out of tree build, copy the generated defaults.py
to the build directory manually.

doc: spelling mistakes in various sections of the user guide

Update ntp-parser to 0.2.0

eve/json/xff - remove check for flow being NULL.

Fix Coverity issue:
** CID 1435535:  Null pointer dereferences  (REVERSE_INULL)
/src/output-json-file.c: 212 in JsonBuildFileInfoRecord()

Where we check a variable for being NULL, when all paths to the
code show that it can't be NULL.

htp: cleanup and fix test

http: add tests for header folding

To test for https://github.com/OISF/libhtp/issues/159

http: clean up unittest

pcap-log: don't divide by 0 on no traffic

eve/alert: use eve-level xff config by default

The alert section can still have an xff configuration which
will take priority over the eve level xff config.

eve/alert: separate xff and metadata configuration

Put xff setup and metadata setup into their own
functions.

qa/coccinelle: allow to run from non git directory

For example, when I put the contents of a git worktree into
a Docker image for a test build .git will not be a directory
causing the run_check.sh script to fail.

eve/files: use eve-level xff config by default

The files section can still have an xff configuration which
will take priority over the eve level xff config.

eve/http: use eve-level xff config by default

The http section can still have an xff configuration which
will take priority over the eve level xff config.

eve: use eve-level xff configuration

If an "xff" configuration section exists on the eve object,
parse and save it for child loggers to use.

xff: HttpXFFGetCfg - allow conf to be NULL

The code fully handles conf being NULL, and we have other functions
where conf can be NULL.

xff: Use XFF configuration in eve and filestore

XFF configuration is already set in app-layer-htp-xff, and in
output-json-alert. Extending XFF configuration to files and HTTP allow
to get the same behavior as for alerts.

Extend the configuration of filestore json to let filestore metafile
dump be aware of xff. This is available only if write-fileinfo is set
to yes and file-store version is 2.

Fix segfault when the protocol is anything other than HTTP

When a file is transferred over anything other than HTTP, the previously hard-coded HTTP protocol would trigger a non-existent index into htp_list_array_get(), causing a segfault. This patch mimics the logic in detect-lua-extensions.c.

detect-tls-cert-fingerprint: fix typo in unittest

detect-tls-cert-fingerprint: fix failing unittest

Fix unittest that failed with the content validation callback.

detect-tls-ja3-hash: add setup callback to lowercase content

Add setup callback that lowercase the content that follows 'ja3_hash'.

detect-tls-ja3-hash: add warning if nocase is used

detect-tls-cert-serial: add warning if nocase is used

detect-tls-cert-fingerprint: add warning if nocase is used

detect-tls-ja3-hash: add content validation callback

Validate that the content that follows the 'ja3_hash' keyword has
the correct length.

detect-tls-cert-fingerprint: add setup callback to lowercase content

Add setup callback that lowercase the content that follows
'tls_cert_fingerprint'.

detect-tls-cert-fingerprint: add content validation callback

Validate that the content that follows the 'tls_cert_fingerprint'
keyword is on the correct form and has the correct length.

detect-tls-cert-serial: add setup callback to uppercase content

Add setup callback that uppercase the content that follows
'tls_cert_serial'.

detect-engine: add DetectEngineCtx to setup callback function

Add detect engine context as variable to setup callback function
in 'DetectBufferTypeRegisterSetupCallback'.

detect-tls-cert-serial: add content validation callback

Validate that the content that follows the 'tls_cert_serial' keyword
is on the correct form. If it's longer than two bytes it should be
separated by colons.

Add info about pcap log compression to user guide

configure: Show installation info for liblz4 if not found

Add an option for compressing pcap-log files

Introduces the option 'outputs.pcap-log.compression' which can be set
to 'none' or 'lz4', plus options to set the compression level and to
enable checksums. SCFmemopen is used to make pcap_dump() write to a
buffer which is then compressed using liblz4.

af-packet: kill some white spaces

util-ioctl: fix a typo in setter message

af-packet: dump counters when timeout occurs

When traffic is becoming null (mainly seen in tests) we reach the
situation where there is timeouts in the poll on the socket and
only that. Existing code is then just looping on the poll and
the result is that the packet iface counters are not updated.

This patch calls the dump counter function to be sure to get
the counter right faster (and not only right at exit).

rules: set default rule dir to suricata-update if bundled

If suricata-update is bundled, set the default-rule-dir
to lib/suricata/rules under the $localstatedir

For now use 2 rule-files section that are renamed depending
on if suricata-update is bundled or not.

install-rules: use suricata-update if available

If Suricata update was bundled, use it for "install-rules" instead
of curl or wget.

python: put some defaults on suricata.config.defaults

This is a module that can contain installation default. For now
it includes the sysconfdir, and rules data directory for use
by suricata-update.

rules: install to $datadir/suricata/rules

Common /usr/share/suricata/rules or /usr/local/share/suricata/rules.

The rules provided by the distribution are installed here as part
of the Suricata install process so will always be installed, even
without the use of install-rules.

wirefuzz: add 'quiet' mode

Adds -q commandline option to force quiet operation.

hyperscan: don't abort on payloads > 64k

SPM API was recently updated to accept 32 bit length fields instead of
16 bits. This could trigger a BUG_ON in the hyperscan implementation.

gcc8: fix format truncation warnings

configure: fix error hw timestamp check

This fixes #2469

file_data/http: inspect cleanup

stream-tcp: fix stream depth computation

The stream depth computation was partly done with the stream_config
depth instead of using the value in the TCP session. As a result,
some configuration were resulting in abnormal behavior.

In particular, when stream depth was 0 and the file store depth was
not 0, Suricata was stopping the streaming on the flow as soon as
the filestore was started.

Reported-by: Pascal Delalande <pdl35@free.fr>

file: update logger API to log direction

By adding the flow direction to the logger we can have an accurate
logging of fileinfo events that has source and destination IP
correctly set.

app-layer-ftp: fill direction of transfer

This is required to return the file when asked with one direction.

detect: fix buffer length to uint32

There is a difference in the size of the buffer length as passed from
the content buffers (cfr HttpReassembledBody.buffer_len) and the buflen
variable passed to mpm primitives. This can cause a misdetection
whenever the bufferlen is multiple of 65536 (as uint16(X*65536) == 0).
Increasing the buflen variable type to uint32 solves the issue (this
does not cause any issue with primitives, they all accept uint32).

files: properly close files on flow timeout

If a file transfer stops on flow timeout, it won't be closed or
truncated. This patch makes sure that in such cases the files
are indeed truncated. This fixes the filestore-v2 output module,
as that requires a sha256 for storing the partial file correctly.

nfs4: support records wrapped in GSSAPI integrity

nfs4: fix attr parsing corner case

nfs4: implement COMMIT parsing and handling

nfs4: parse GSSAPI init

nfs4: create link support

nfs4: initial implementation

Implements record parsing and file extraction for READs and WRITEs.

Defines all types from RFC 7530.

nfs/rpc: add parser for GSSAPI Integrity records

flow: track flow for ip proto 41

eve/netflow: only log response record if we've seen response pkts

flow: track flow for ICMP

Change packet layout to allow for expected counterpart type.

unified2: address strict aliasing issue

decode/ipv6: expose addr as 'struct in6_addr' as well

mingw: minor compile warning fixes

tests/detect-engine-hsbd: deinit det_ctx threads

detect-engine: free events

Events are stored in a detection engine but actually
they are not freed.

smb: use inspect API v2 for smb keywords

Simplies code and supports transforms.

mpm/hs: fix minor coverity warning

CID 1428797 (#1 of 1): Unchecked return value (CHECKED_RETURN)
    check_return: Calling HashTableAdd without checking return value
    (as is done elsewhere 5 out of 6 times).

configure: fix small issue with libevent check

doc: add lua directory to Makefile

doc/lua: small update to the usage intro

doc: document lua function about flow var

doc: add a lua support top level section

Both output and signature are using lua. So lua functions should
be displayed in a single section.

doc: document lua TLS functions

doc: minor updates (tls custom, TODO removal, ftp/smb file rules)

detect/pktvar: clean up keyword parsing

doc: add ntlmssp, kerberos and other setup fields