file_data/http: inspect cleanup

stream-tcp: fix stream depth computation

The stream depth computation was partly done with the stream_config
depth instead of using the value in the TCP session. As a result,
some configuration were resulting in abnormal behavior.

In particular, when stream depth was 0 and the file store depth was
not 0, Suricata was stopping the streaming on the flow as soon as
the filestore was started.

Reported-by: Pascal Delalande <pdl35@free.fr>

file: update logger API to log direction

By adding the flow direction to the logger we can have an accurate
logging of fileinfo events that has source and destination IP
correctly set.

app-layer-ftp: fill direction of transfer

This is required to return the file when asked with one direction.

detect: fix buffer length to uint32

There is a difference in the size of the buffer length as passed from
the content buffers (cfr HttpReassembledBody.buffer_len) and the buflen
variable passed to mpm primitives. This can cause a misdetection
whenever the bufferlen is multiple of 65536 (as uint16(X*65536) == 0).
Increasing the buflen variable type to uint32 solves the issue (this
does not cause any issue with primitives, they all accept uint32).

files: properly close files on flow timeout

If a file transfer stops on flow timeout, it won't be closed or
truncated. This patch makes sure that in such cases the files
are indeed truncated. This fixes the filestore-v2 output module,
as that requires a sha256 for storing the partial file correctly.

nfs4: support records wrapped in GSSAPI integrity

nfs4: fix attr parsing corner case

nfs4: implement COMMIT parsing and handling

nfs4: parse GSSAPI init

nfs4: create link support

nfs4: initial implementation

Implements record parsing and file extraction for READs and WRITEs.

Defines all types from RFC 7530.

nfs/rpc: add parser for GSSAPI Integrity records

flow: track flow for ip proto 41

eve/netflow: only log response record if we've seen response pkts

flow: track flow for ICMP

Change packet layout to allow for expected counterpart type.

unified2: address strict aliasing issue

decode/ipv6: expose addr as 'struct in6_addr' as well

mingw: minor compile warning fixes

tests/detect-engine-hsbd: deinit det_ctx threads

detect-engine: free events

Events are stored in a detection engine but actually
they are not freed.

smb: use inspect API v2 for smb keywords

Simplies code and supports transforms.

mpm/hs: fix minor coverity warning

CID 1428797 (#1 of 1): Unchecked return value (CHECKED_RETURN)
    check_return: Calling HashTableAdd without checking return value
    (as is done elsewhere 5 out of 6 times).

configure: fix small issue with libevent check

doc: add lua directory to Makefile

doc/lua: small update to the usage intro

doc: document lua function about flow var

doc: add a lua support top level section

Both output and signature are using lua. So lua functions should
be displayed in a single section.

doc: document lua TLS functions

doc: minor updates (tls custom, TODO removal, ftp/smb file rules)

detect/pktvar: clean up keyword parsing

doc: add ntlmssp, kerberos and other setup fields

lua output: Update example script to match style of user doc examples

lua output doc: Use more descriptive variable names in the examples

This also removes the "args" parameter of the hooking functions in the examples,
since this parameter is unused in all functions.
It would not be very helpful anyways since 3 of the 4 functions don't get passed
any parameters. The only exception is init() which gets a table containing:
  script_api_ver = 1

lua output doc: Add explaining introduction text

doc: fix json formatting in smb doc

Print syslog format with SCLogDebug() instead of printf()

app-layer-ssl: remove possibility to overflow HAS_SPACE macro

app-layer-ssl: really fix CID 1433623

doc: initial smb eve documentation

doc: add by_either to suppress explanation

doc: add smb section to yaml

doc: minor fix

app-layer-ssl: fix use-after-free (CID 1433623)

Ja3BufferAddValue frees the buffer on error, so there is no point
in doing it twice (use-after-free).

app-layer-ssl: fix use-after-free (CID 14336229)

Nullify JA3 buffer on free to avoid use-after-free vulnerability.

tls: work around coverity warnings

doc: add SMB to file extraction. Minor improvements.

doc: update suricata-update screenshot

doc: improve suricata-update docs now that its bundled

doc: improve making sense of alerts

doc: add suricata-update to intro for rules

Bug #2466: map SC_LOG_CONFIG level to syslogs LOG_DEBUG

suricatasc: move lib to suricata.sc

Pull the sc python package under the suricata top level
package. A suricatasc package still exists for compatibility
that pulls in suricata.sc.

suricatasc: allow to run from non-standard python locations

When we install to a non-standard prefix, the Python modules
are not in the standard location requiring the PYTHONPATH
to be fixed up.

This wa a pre-existing issue with suricatasc, and not due to
the move into the python directory.

suricatasc: move into python/

Will be built and installed as part of the Python code used
for suricatactl, which is intended to be the generic place
for all Python utility code that gets installed with Suricata.

No change to suricatasc code.

app-layer-ssl: use BIT_U32 for flags

app-layer-tls-handshake: remove since it is no longer needed

Remove this file and all its content, since the functionality
was reimplemented in app-layer-ssl.

app-layer-ssl: reimplement function for decoding certificates

Do a complete rewrite of the function for decoding the SSL/TLS
certificate from the handshake.

tls: replace variable in header file with TAILQ_EMPTY()

Use TAILQ_EMPTY to check if a certificate exists instead of
setting two variables in the app-layer-ssl header file for
that purpose only.

smb: minor optimizations

rust: remove multi level 'experimental'

Don't treat 'external' parsers as more experimental. All parsers
depend on crates to some extend, and all have C glue code. So the
distinction doesn't really make sense.

IKEv2: Use JSON arrays instead of comma-separated values

IKEv2: suppress some debug output

IKEv2: remove events counter

Add ikev2 to userguide

Remove the 'experimental' mark for IKEv2

IKEv2 logger: use Debug trait for IkePayloadType

Add logger for IKEv2

Add rules for IKEv2 events

Add new parser: IKEv2

Add a new parser for Internet Key Exchange version (IKEv2), defined in
RFC 7296.
The IKEv2 parser itself is external. The embedded code includes the
parser state and associated variables, the state machine, and the
detection code.

The parser looks the first two messages of a connection, and analyzes
the client and server proposals to check the cryptographic parameters.

Rust: fix prototype of parsing function (make pstate mutable)

Rust: expose function AppLayerParserStateSetFlag

configure: allow to disable libnss and libnspr

Let user chose to disable libnss and libnspr support even if these
libraries are installed in the system. Default remains to enable when
libraries are found and disable parameter were not used

nfs/rpc: fix reponse parsing

auth/krb5: move kerberos5 wrapper to rust root

Make it available outside of just the SMB parser.

smb: clean up partial read/write record handling

smb: improve skip handling

When skipping records the skip tracker could underflow if the record
parsing had more data than expected.

Enforce the calculation by moving it into a method and make the actual
fields private.

smb2: improve read/write record parsing

parse_smb2_response_read()/parse_smb2_response_write() can be called on
incomplete data, so they didn't use the read/write length field to grab
the data field. Instead it just used rest(). However in some cases
SMB2 records have trailing data, which would be included in the
READ/WRITE data.

This patch addresses this by using the length field if enough data is
available.

changelog: update for 4.1.0-beta1

doc: fix http_header_names example

threshold: don't touch globals after init

Don't free/reinit pcre globals per tenant. Others may be using them
at the same time, or try to free/reinit them at the same time.

detect-tls-sni: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_sni' detection
keyword.

detect-tls-cert-serial: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_serial'
detection keyword.

detect-tls-cert-subject: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_subject'
detection keyword.

detect-tls-cert-issuer: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_issuer'
detection keyword.

detect-tls-cert-fingerprint: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_fingerprint'
detection keyword.

nfs/rpc: improve RPCv2 parser, add GssApi

Improve RPCv2 credentials parsing. Add GssApi and turn creds into
an enum.

Minor cleanups and optimizations.

nfs: minor cleanup

prelude: swap msg and class_msg in Prelude alert

prelude: fix duplicated analyzer in Prelude alert

pcap/file: fix missing files stopping engine #2451

https://redmine.openinfosecfoundation.org/issues/2451

When a missing (or empty named) file is passed to source-pcap-file while
using unix socket, the pcap processing thread will incorrectly be stopped,
and no longer available for subsequent files.

rules: optimize bidir rules with same src/dst

As an optimization, reset bidirectional flag for rules with same src and dst.
If one created bidirectional rule like 'alert tcp any any <> any any ...',
the rule was checked twice (for each packet in every direction). This is
suboptimal and may give duplicated alerts. To avoid this, bidirectional
rules are now checked for the same src and dst (addresses and ports) and
if it's the case, the rule is treated as unidirectional and a corresponding
message is logged.

doc: fix typo in unix socket doc

Also fixes a dead link to code.

doc: more info on unix socket rule reload

doc: fix typo in ebpf xdp doc

suricata.yaml: fix some spelling mistakes

der: don't overwrite errcode

If the code has already been set it is more detailed than the more
generic 'invalid object'.

suricata-update: bundle suricata update

Add autoconf/automake support for installing suricata-update
if found in the top level suricata-update.

conf: user-configurable umask setting

Make umask user-configurable by setting 'umask' in suricata.yaml.

DER parser: ensure errcode is set for every return path