afl: add --enable-afl configure option

afl: optionally exit right after afl single runmode

Exit right away if afl.exit_after_pcap is set to true. Safes time
as fuzzing the shutdown code may not be as interesting.

afl: add --afl-parse-rules to return 0 on any rule

When fuzzing, AFL will create lots of malformed rules. We don't want
to error out on those. As we're fuzzing the parser any non-crash
should return 0. Crashes (ASAN or not) will return a non-0 code.

afl: special 'single' runmode

To avoid threading, this 'single' mode doesn't run in it's own thread
but instead runs in the main thread.

afl: add define to disable mgt threads

The inherent non-deterministic nature of the management threads
creates variable test cases.

afl: add define to disable rand_r use

The randomness affects AFL. It creates variable test cases, which
we need to avoid.

detect reload: improve signal logic

startup: move more into PostConfLoadedSetup

startup: move RunUnittests to StartInternalRunMode

detect keywords: use parse regex util func

detect parser: add parse regex util function

Add regex setup and free util functions. Keywords often use a regex
to parse rule input. Introduce a common function to do this setup.

Also create a list of registered regexes to free at engine shutdown.

dns: improve handling of tx pick up on response

util-decode-der: fix hang detected by AFL

Fix hang that occurs when child->length is zero, resulting in an
endless loop.

util-decode-der-get: code cleanup

util-decode-der: code cleanup

app-layer-ssl: code cleanup

app-layer-tls-handshake: code cleanup

app-layer-tls-handshake: remove duplicate include

Support sending rejects via libnet when running under non-root.

Since version 1.1.6 libnet handles capabilities correctly.
So changing libnet's version checking a little bit should do the trick.

autotools: add AS_VERSION_COMPARE stub for CentOS 5

doxygen: define UNITTESTS to generate test framework docs

flowbits: use some of the new test macros

counters: use some of the new macros in tests

conf: use new testing macros

Also don't bother with cleanup on failure.

testing: new test macros, new testing documentation group.

Unit testing support macros for failing on expressions,
as well as passing tests on expressions.

If fatal unittests are enabled BUG_ON will be triggered for
an assertion providing the line number of the failure, otherwise
the test will simply fail.

Moved the fatal flag to a global var instead of a configuration
parameter for ease of access from a macro.

tests: no longer necessary to provide successful return code

1 pass, 0 is fail.

tests: convert all test to return 0 on failure, 1 on success

prscript: update logic of sync with master test

Code now get master sha on github and check if it is in current
branch with a git command. It also sync first that the current
local branch is in sync with github corresponding branch.

Signed-off-by: Eric Leblond <eric@regit.org>

tcp: reduce TCP options storage in packets

Until now, the TCP options would all be stored in the Packet structure.
The commonly used ones (wscale, ts, sack, sackok and mss*) then had a
pointer to the position in the option array. Overall this option array
was large. About 360 bytes on 64bit systems. Since no part of the engine
would every access this array other than through the common short cuts,
this was actually just wasteful.

This patch changes the approach. It stores just the common ones in the
packet. The rest is gone. This shrinks the packet structure with almost
300 bytes.

* even though mss wasn't actually used

lua_close() segfaults on null pointers

detect: fix error handling in mpm setup

*** CID 1358124:  Null pointer dereferences  (REVERSE_INULL)
/src/detect-engine-mpm.c: 940 in MpmStoreSetup()
934                     PopulateMpmHelperAddPatternToPktCtx(ms->mpm_ctx,
935                             cd, s, 0, (cd->flags & DETECT_CONTENT_FAST_PATTERN_CHOP));
936                 }
937             }
938         }
939
>>>     CID 1358124:  Null pointer dereferences  (REVERSE_INULL)
>>>     Null-checking "ms->mpm_ctx" suggests that it may be null, but it has already been dereferenced on all paths leading to the check.
940         if (ms->mpm_ctx != NULL) {
941             if (ms->mpm_ctx->pattern_cnt == 0) {
942                 MpmFactoryReClaimMpmCtx(de_ctx, ms->mpm_ctx);
943                 ms->mpm_ctx = NULL;
944             } else {
945                 if (ms->sgh_mpm_context == MPM_CTX_FACTORY_UNIQUE_CONTEXT) {

detect: fix scan-build warning

detect-engine-siggroup.c:700:38: warning: Call to 'malloc' has an allocation size of 0 bytes
    sgh->non_mpm_other_store_array = SCMalloc(non_mpm * sizeof(SignatureNonMpmStore));
                                     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./util-mem.h:177:14: note: expanded from macro 'SCMalloc'
    ptrmem = malloc((a)); \
             ^~~~~~~~~~~
1 warning generated.

detect: don't set unused variable

detect.c:3801:13: warning: Value stored to 'tmplist2_tail' is never read
            tmplist2_tail = joingr;
            ^               ~~~~~~
detect.c:3804:13: warning: Value stored to 'tmplist2_tail' is never read
            tmplist2_tail = joingr;
            ^               ~~~~~~
2 warnings generated.

mpm: remove unused max pattern len field

detect-flowvar: shrink mem structure by 8 bytes

detect: shrink IPOnlyCIDRItem with 8 bytes

detect-port: improve comment about sgh pointer

detect-address: remove sgh pointer as it's unused

detect-port: remove debug mem counters

detect-address: remove debug mem counters

detect grouping: remove debug mem counters

detect grouping: make json dump configurable

Make the rule grouping dump to rule_group.json configurable.

detect:
  profiling:
    grouping:
      dump-to-disk: false
      include-rules: false      # very verbose
      include-mpm-stats: false

detect: make port whitelisting configurable

Make the port grouping whitelisting configurable. A whitelisted port
ends up in it's own port group.

detect:
  grouping:
    tcp-whitelist: 80, 443
    udp-whitelist: 53, 5060

No portranges are allowed at this point.

detect: suppress output

yaml: convert detect-engine to just detect

Instead of detect-engine which used a list for no good reason, use a
simple map now.

detect:
  profile: medium
  custom-values:
    toclient-groups: 3
    toserver-groups: 25
  sgh-mpm-context: auto
  inspection-recursion-limit: 3000
  # If set to yes, the loading of signatures will be made after the capture
  # is started. This will limit the downtime in IPS mode.
  #delayed-detect: yes

mpm: clean up builtin mpm setup, enable single/full

mpm: always cleanup factory

mpm: allow app buffer shared/unique

Allow setting of shared or unique setting per app buffer type:
e.g. detect.mpm.http_uri.shared=true

mpm: refactor 'single' setup handling

mpm: remove useless flag from factory

mpm: remove unused app proto factory

mpm: in factory register, consider name const

detect: work around cocci limitation

rule grouping: speed up port based grouping

Create a hash table of unique DetectPort objects before trying to
create a unique list of these objects. This safes a lot of cycles
in the creation of the list.

mpm: consify packet/stream search

detect/mpm: unify packet/stream mpm_ctx pointers

SGH's for tcp and udp are now always only per proto and per direction.
This means we can simply reuse the packet and stream mpm pointers.

The SGH's for the other protocols already used a directionless catch
all mpm pointer.

http_raw_header: improve mpm progress handling

detect: optimize sgh layout

detect: remove unused content minlen tracking

mpm: optimize calls

For all mpm wrapper functions, check minlen vs the input buffer to see
if we can bypass the mpm search.

Next to this, make all the function inline. Also constify the input and
do other minor cleanups.

http_uri: mpm cleanup. Use mpm_ctx's minlen

mpm: cleanup: move mpm funcs into buffer specific files

mpm: cleanup, remove unused structs and prototypes

mpm: remove unused structure

profiling: output post-prefilter matches

Dump a json record containing all sigs that need to be inspected after
prefilter. Part of profiling. Only dump if threshold is met, which is
currently set by:

 --set detect.profiling.inspect-logging-threshold=200

A file called packet_inspected_rules.json is created in the default
log dir.

detect: move sm_list to string funcs to parser code

profiling: initial rulegroup tracking

Per rule group tracking of checks, use of lists, mpm matches,
post filter counts.

Logs SGH id so it can be compared with the rule_group.json output.

Implemented both in a human readable text format and a JSON format.

detect: assign id to sgh

detect: shrink sgh

Turn list of mpm_ctx pointers into a union so that we don't waste
space. The sgh's for tcp and udp are in one direction only, so the
ts and tc ones are now in the union.

detect: move app_mpms array to init data

mpm: unify & localize mpm pattern (id) handling

So far, the patterns as passed to the mpm's would use global id's that
were shared among all buffers, directions. This would lead to a fairly
large pattern id space. As the mpm algo's use the pattern id's to
prevent duplicate matching through a pattern id based bitarray,
shrinking this space will optimize performance.

This patch implements this. It sets a flag before adding the pattern
to the mpm ctx, instructing the mpm to ignore the provided pid and
handle pids management itself. This leads to a shrinking of the
bitarray size.

This is made possible by the previous work that removes the pid logic
from the code.

Next to this, this patch moves the pattern setup stage to common util
functions. This avoids code duplication.

Update ac, ac-bs and ac-ks to use this.

mpm: improve negated mpm

The idea is: if mpm is negated, it's both on mpm and nonmpm sid lists
and we can kick it out in that case during the merge sort.

It only works for patterns that are 'independent'. This means that the
rule doesn't need to only match if the negated mpm pattern is limited
to the first 10 bytes for example.

Or more generally, an negated mpm pattern that has depth, offset,
distance or within settings can't be handled this way. These patterns
are not added to the mpm at all, but just to to non-mpm list. This
makes sense as they will *always* need manual inspection.

Similarly, a pattern that is 'chopped' always needs validation. This
is because in this case we only inspect a part of the final pattern.

detect: remove signature pattern id reference

mpm: remove unused pmq merge function

detect: remove stream pmq array

detect mpm: mpm store cleanup

Move all rule modification to the fast_pattern assigment.

detect mpm: fast_pattern assignment cleanup

detect mpm: remove unused mpm flags

detect address: remove unused features

detect-port: cleanup

detect: remove unused dport sgh hash

detect: clean up sgh's at detect engine free

detect: remove unused flag

detect sgh: remove unused field

detect: free lookup structures

detect: output sgh stats

Output stats for the rule groups into a json format.

detect: add list id to string funcs

mpm: remove pattern id logic

mpm: ac-bs use internal pattern id tracking

mpm: ac use internal pattern id tracking

smtp: use rule_id mpm support instead of pattern id

proto detect: in mpm switch to rule id

Use the rule id API instead of pattern id API.

detect: simplify negated mpm handling

detect grouping: multiple whitelist conditions

Instead of the binary yes/no whitelisting used so far, use different
values for different sorts of whitelist reasons. The port list will
be sorted by whitelist value first, then by rule count.

The goal is to whitelist groups that have weak sigs:

 - 1 byte pattern groups

 - SYN sigs

    Rules that check for SYN packets are mostly scan detection rules.
    They will be checked often as SYN packets are very common.

    e.g. alert tcp any any -> any 22 (flags:S,12; sid:123;)

    This patch adds whitelisting for SYN-sigs, so that the sigs end up
    in as unique groups as possible.

 - negated mpm sigs

    Currently negated mpm sigs are inspected often, so they are quite
    expensive. For this reason, try to whitelist them.

These values are set during 'stage 1', rule preprocessing.

detect grouping: port based group whitelisting

Whitelist some ports in grouping to make sure they get their own group.

detect grouping: warn on and fix up bad sigs

Only inspect directionless SYN scan sigs toserver. Issue a warning for
those rules.

detect: split non-mpm list into syn/nosyn

Since SYN inspecting rules are expensive, this patch splits the
'non-mpm' list (i.e. the rules that are always considered) into
a 'syn' and 'non-syn' list. The SYN list is only inspected if the
packet has the SYN flag set, otherwise the non-syn list is used.

The syn-list contains _all_ rules. The non-syn list contains all
minus the rules requiring the SYN bit in a packet.

mpm: constify search func args

detect: mpm store frees mpm_ctx' it owns

detect: use mpm store for app layer mpms

Rework app-layer mpm setup and registration to make this possible.