entry point: update sys.path for non-distutils install

When bundled with Suricata, Suricata-Update will not be installed with
distutils/setuptools and will be installed in a custom location. Update
the search path for these changes.

This will still work correctly if installed from pip, or running from a
custom directory not bundled with Suricata.

Issue: #5313

Remove line of debug output.

changelog: update

Better URL fail message on with --fail.

If --fail, we wil not use the cached version.

main: add fail option and handle it

Ticket 4579

main: use format for error strings

Don't fail when source removed from index.

Instead of failing when an enabled source is no longer in the index, log
an error and continue onto the next source.

Ticket 5269

modify: metadata-add filter

A new addition to `modify.conf` that allows for adding a new metadata.

Example configuration lines:
  metadata-add re:"SURICATA STREAM" "evebox-action" "archive"
  metadata-add 2010646 "evebox-action" "archive"

Matching rules will have a new `metadata` section added onto the end of
the rule.

Ticket #5221

datasets: dataset handling for --local files

Look for datasets on the filesystem when referenced from rules loaded
with "--local".

datasets: disable rule if file not found

If a dataset file is not found for load, print a warning and disable the
rule. This will allow Suricata to pass the -T test so the working rules
are updated instead of rolling back.

datasets: rewrite dataset filenames to a hash of the filename

Prevents dataset filenames from different rulesets that share the same
name from overwriting each other.

datasets: fix path handling issues

handle dataset files properly

- Cover edge cases for invalid dataset rules
- Handle "state" attribute
- Make checks more robust

Ticket 5010

Respect Suricata's install location when loading config.

During startup change the default locations of S-U configuration files
(enable.conf, disable.conf, etc) to be relative to the installed
Suricata's --sysconfdir, but only if they exist.  This keeps the
fallback behaviour to /etc/suricata for now.

Ticket #4374

changelog: add fix for issue 4373

checkversions: fix wrong version checks

Ticket 4373

github-ci: update fedora tests to f34 and f35

github-ci: convert centos 8 build to almalinux 8

changelog: update

Add warning to update sources if no index found

Don't automatically update the sources on list-sources
if it does not exist. Instead just use the bundled version.

Ticket #3249.

help output: hide advanced options behind a flag

Cleaning up the suricata help output and hiding the extra options
behind a "--show-advanced" option.

Hidden options are:

* --user-agent <user-agent>
* --no-check-certificate
* --yaml-fragment <filename>
* --url <url>
* --local <path>
* --sid-msg-map <filename>
* --sid-msg-map-2 <filename>
* --ignore <pattern>
* --no-ignore
* --threshold-in <filename>
* --threshold-out <filename>
* --dump-sample-configs
* --etopen
* --reload-command <command>
* --test-command <command>
* --no-merge

Ticket #3974.

doc: add --show-advanced to common options

Ticket #3974.

logging: Improve flowbit logs

Add and update debug logs for flowbit requirements to display pass

Ticket #3205.

trivial typo in comment

changelog: update

Fix counter accuracy.

Instead of counting how many modifications took place, just
count the number of rules that were modified.

Fix multiple modifications not having an affect.

In the case where multiple modifications changed a rule (drop included),
only the last modification took affect.

This is due to the modifications each being done on a clean version of
the rule, rather than the previously modified version of the rule.

Ticket #4259

tests: add integration tests for multiple modifications

integration tests: format

index: allow custom url for embedded index update

Doc: Improve documentation of Suricata reload.

Redmine issue: https://redmine.openinfosecfoundation.org/issues/4564

doc: fix formatting error

changelog: update

Allow more characters in the custom headers

Allow more characters in the custom header regular expression to
allow for Oauth2 tokens.

Feature #4701.

[Commit message rewritten by jish@oisf.net with permission]

tests: fix checksum test for new argument type

Use HTTP-Headers for checksum request

changelog: update

testing: remove python 3.5, add python 3.8

Python 3.5 has been end of lifed.

conf: allow no-test in configuration file

If no-test was set in the configuration file, it was always
being overridden by the command, even if not set on the command
line. This change allow no-test to be set in the configuration file
like:

no-test: true

Redmine issue:
https://redmine.openinfosecfoundation.org/versions/168

changelog: update

github-ci: add Ubuntu 20.04

github-ci: add fedora 33, remove fedora 31 (eol)

travis-ci: remove, appears they haven't been building

And GitHub CI has all these tests covered.

tests: add integration test for --http-header

HTTP BasicAuth support.

Allow whitespaces in entire HTTP header value.

This enables HTTP Basic Authentication.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4362

version: 1.3.0dev0

version: 1.2.1

doc: remove --merged option

This option was never implemented and is an artifact of the tools
suricata-update was based on.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4215

changelog: update

fix: fix --no-merge option

The no-merge handling was not updated when the file storage
was converted to a list causing it to fail.

Also add a --no-merge test to our integration test.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/4324

github-ci: fix MacOS test

Make sure Python 3 is used.

github-ci: remove CentOS 6 build

CentOS 6 has been end of lifed.

1.2.0: update version and changelog

doc: update quick start to be current

doc: disable default code formatting for code blocks

Code blocks were by default being highlighted as Python, but
for Suricata-Update most code blocks are command lines, so
disable language highlighting by default.

1.2.0rc2

Handle obsolete sources.

An obsolete source is a source that remains in the index but
is otherwise non-functional.

Much like deprecated sources it won't be displayed in list-sources
without the --all flag.

Obsolete sources will never be fetched. Instead a warning will be
printed with the obsolete reason.

Handle deprecated sources in index.

Handle sources that have been deprecated in the index.

Deprecated sources will not be display with "list-sources" unless
the (new) --all flag is provided.

Also, warn the user if they are using a deprecated source with
the reason.

fix message containing tuple

allow re-enabling disabled sources

Closes redmine ticket 3843.

list-sources: keep list-enabled-sources as an alias

Keep list-enabled-sources for backwards compatibility.

dataset parsing: handle spaces between ","

Fix dataset parsing so the filename can be parsed from:

  dataset:isset, sslbl, type md5, load sslbl-fingerprints.md5;

Load files into list, not dict to keep duplicate filenames

By loading all downloaded rule files into the same dict, filenames
that are the same cause other files to be lost, and the content
may be different.

Instead use of list objects that tracks the filename and the content
to avoid losing the contents of a filename that already exists.

If the contents is duplicated, the rule deduplication process
will catch that.

Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/3174

Make list-enabled-sources command as an option for list-sources

Removed `list-enabled-sources` command  and made use of single
command `suricata-update list-sources --enabled` to list all
the enabled sources.

Redmine issue:
        https://redmine.openinfosecfoundation.org/issues/3248

Shorten the state of being written for rule files

In an attempt to have shorter window for rule files of being written,
write the rules at first to `<filename>.tmp` and then rename the file.

Closes Redmine ticket #2327

Use tempdir to log output with tests

Closes redmine ticket 3262.

doc: Add order of application of config files

Closes redmine ticket 3535.

modify.conf: add more examples of usage

Closes redmine ticket 3550.

version: 1.2.0dev1

1.2.0rc1

index: update

changelog: features 2688 and 3528 added

Move dataset and filemd5 files along with rules

Closes redmine tickets 2688 and 3528.

Better environment detection for user-agent

Don't rely on Python's platform.linux_distribution module as it
has been deprecated and removed in the latest version of Python.

Instead use more generic ways to pick up the distribution such
as looking at /etc/os-release, or falling back to uname.

Should also pickup the version of FreeBSD, which was previously
missing.

github-ci: add Fedora 32 test (Python3 only)

github-ci: use fedora:31 instead of fedora:latest

Fedora:latest is a moving target, for CI its probably best
to pin the version of the OS that testing is done on.

changelog: add classification management

classifications: logging fixups

Log when loading a classification file as debug.

Log the path being written as info.

tests: add test for classification file merge

tests: Rename classification.config

manage classification.config

threshold typo

tests/index.yaml: add comment about not adding new sources

Sources should be added to the suricata-intel-index repo.

changelog: add issue 3696 fix

changing source index from http_header to http-header to fix --http_header option

changelog: update

travis-ci: drop python 3.4 testing

testing: remove python 3.4 from the test matrix

PyYAML has dropped support for Python 3.4 causing all tests
on Python 3.4 to fail.

modify filters: better error on badly formatted filter

Instead of exiting with an uncaught exception on a badly formatted
modify filter, convert the exception to an ApplicationError that
will be logged, along with the line that is badly formatted.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3536

move modify into loop with others and skip format check

Check data directory's permission while updating sources

Closes redmine ticket #3219.

Docs: Setup directories with correct permissions

Documentation updated with the steps to setup the directories with
the correct permissions.

Separate out matchers

Currently, all the code for matchers happens to be in main.py
which makes it quite cluttered. A separate `matchers.py` module
is created which contains all the code for matching rules and
integrated with main.py. Also the modules `test_main.py` and
`test_matchers.py` are modified accordingly.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2873

Separate out parsers

Parsers are separated out of the `main.py` module to a new `parsers.py`
module to make code cleaner and compact.

This patch is heavily based on Vidushi's work.
Thanks to Vidushi Agrawal <vidushi229@gmail.com>

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2874

doc: Add missing docs for commands

Add docs for `list-sources`, `list-enabled-sources` and `check-versions`
commands.
Closes redmine ticket #3228.

update-sources: python 3 fixup

Open index in binary mode to fix encoding issue on Python 3.6
on CentOS 7.

github: add some github ci actions

integration-test: use python executable thats starts test

Use the Python binary that was used to start the integration
test to run suricata-update.

changelog: update

Disable SMB rules if not supported by Suricata

If Suricata is less than 5, and Rust is not enabled, disable
smb rules as they require Rust.

Ticket 3280:
https://redmine.openinfosecfoundation.org/issues/3280