changelog: update

Add warning to update sources if no index found

Don't automatically update the sources on list-sources
if it does not exist. Instead just use the bundled version.

Ticket #3249.

help output: hide advanced options behind a flag

Cleaning up the suricata help output and hiding the extra options
behind a "--show-advanced" option.

Hidden options are:

* --user-agent <user-agent>
* --no-check-certificate
* --yaml-fragment <filename>
* --url <url>
* --local <path>
* --sid-msg-map <filename>
* --sid-msg-map-2 <filename>
* --ignore <pattern>
* --no-ignore
* --threshold-in <filename>
* --threshold-out <filename>
* --dump-sample-configs
* --etopen
* --reload-command <command>
* --test-command <command>
* --no-merge

Ticket #3974.

doc: add --show-advanced to common options

Ticket #3974.

logging: Improve flowbit logs

Add and update debug logs for flowbit requirements to display pass

Ticket #3205.

trivial typo in comment

changelog: update

Fix counter accuracy.

Instead of counting how many modifications took place, just
count the number of rules that were modified.

Fix multiple modifications not having an affect.

In the case where multiple modifications changed a rule (drop included),
only the last modification took affect.

This is due to the modifications each being done on a clean version of
the rule, rather than the previously modified version of the rule.

Ticket #4259

tests: add integration tests for multiple modifications

integration tests: format

index: allow custom url for embedded index update

Doc: Improve documentation of Suricata reload.

Redmine issue: https://redmine.openinfosecfoundation.org/issues/4564

doc: fix formatting error

changelog: update

Allow more characters in the custom headers

Allow more characters in the custom header regular expression to
allow for Oauth2 tokens.

Feature #4701.

[Commit message rewritten by jish@oisf.net with permission]

tests: fix checksum test for new argument type

Use HTTP-Headers for checksum request

changelog: update

testing: remove python 3.5, add python 3.8

Python 3.5 has been end of lifed.

conf: allow no-test in configuration file

If no-test was set in the configuration file, it was always
being overridden by the command, even if not set on the command
line. This change allow no-test to be set in the configuration file
like:

no-test: true

Redmine issue:
https://redmine.openinfosecfoundation.org/versions/168

changelog: update

github-ci: add Ubuntu 20.04

github-ci: add fedora 33, remove fedora 31 (eol)

travis-ci: remove, appears they haven't been building

And GitHub CI has all these tests covered.

tests: add integration test for --http-header

HTTP BasicAuth support.

Allow whitespaces in entire HTTP header value.

This enables HTTP Basic Authentication.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4362

version: 1.3.0dev0

version: 1.2.1

doc: remove --merged option

This option was never implemented and is an artifact of the tools
suricata-update was based on.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4215

changelog: update

fix: fix --no-merge option

The no-merge handling was not updated when the file storage
was converted to a list causing it to fail.

Also add a --no-merge test to our integration test.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/4324

github-ci: fix MacOS test

Make sure Python 3 is used.

github-ci: remove CentOS 6 build

CentOS 6 has been end of lifed.

1.2.0: update version and changelog

doc: update quick start to be current

doc: disable default code formatting for code blocks

Code blocks were by default being highlighted as Python, but
for Suricata-Update most code blocks are command lines, so
disable language highlighting by default.

1.2.0rc2

Handle obsolete sources.

An obsolete source is a source that remains in the index but
is otherwise non-functional.

Much like deprecated sources it won't be displayed in list-sources
without the --all flag.

Obsolete sources will never be fetched. Instead a warning will be
printed with the obsolete reason.

Handle deprecated sources in index.

Handle sources that have been deprecated in the index.

Deprecated sources will not be display with "list-sources" unless
the (new) --all flag is provided.

Also, warn the user if they are using a deprecated source with
the reason.

fix message containing tuple

allow re-enabling disabled sources

Closes redmine ticket 3843.

list-sources: keep list-enabled-sources as an alias

Keep list-enabled-sources for backwards compatibility.

dataset parsing: handle spaces between ","

Fix dataset parsing so the filename can be parsed from:

  dataset:isset, sslbl, type md5, load sslbl-fingerprints.md5;

Load files into list, not dict to keep duplicate filenames

By loading all downloaded rule files into the same dict, filenames
that are the same cause other files to be lost, and the content
may be different.

Instead use of list objects that tracks the filename and the content
to avoid losing the contents of a filename that already exists.

If the contents is duplicated, the rule deduplication process
will catch that.

Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/3174

Make list-enabled-sources command as an option for list-sources

Removed `list-enabled-sources` command  and made use of single
command `suricata-update list-sources --enabled` to list all
the enabled sources.

Redmine issue:
        https://redmine.openinfosecfoundation.org/issues/3248

Shorten the state of being written for rule files

In an attempt to have shorter window for rule files of being written,
write the rules at first to `<filename>.tmp` and then rename the file.

Closes Redmine ticket #2327

Use tempdir to log output with tests

Closes redmine ticket 3262.

doc: Add order of application of config files

Closes redmine ticket 3535.

modify.conf: add more examples of usage

Closes redmine ticket 3550.

version: 1.2.0dev1

1.2.0rc1

index: update

changelog: features 2688 and 3528 added

Move dataset and filemd5 files along with rules

Closes redmine tickets 2688 and 3528.

Better environment detection for user-agent

Don't rely on Python's platform.linux_distribution module as it
has been deprecated and removed in the latest version of Python.

Instead use more generic ways to pick up the distribution such
as looking at /etc/os-release, or falling back to uname.

Should also pickup the version of FreeBSD, which was previously
missing.

github-ci: add Fedora 32 test (Python3 only)

github-ci: use fedora:31 instead of fedora:latest

Fedora:latest is a moving target, for CI its probably best
to pin the version of the OS that testing is done on.

changelog: add classification management

classifications: logging fixups

Log when loading a classification file as debug.

Log the path being written as info.

tests: add test for classification file merge

tests: Rename classification.config

manage classification.config

threshold typo

tests/index.yaml: add comment about not adding new sources

Sources should be added to the suricata-intel-index repo.

changelog: add issue 3696 fix

changing source index from http_header to http-header to fix --http_header option

changelog: update

travis-ci: drop python 3.4 testing

testing: remove python 3.4 from the test matrix

PyYAML has dropped support for Python 3.4 causing all tests
on Python 3.4 to fail.

modify filters: better error on badly formatted filter

Instead of exiting with an uncaught exception on a badly formatted
modify filter, convert the exception to an ApplicationError that
will be logged, along with the line that is badly formatted.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3536

move modify into loop with others and skip format check

Check data directory's permission while updating sources

Closes redmine ticket #3219.

Docs: Setup directories with correct permissions

Documentation updated with the steps to setup the directories with
the correct permissions.

Separate out matchers

Currently, all the code for matchers happens to be in main.py
which makes it quite cluttered. A separate `matchers.py` module
is created which contains all the code for matching rules and
integrated with main.py. Also the modules `test_main.py` and
`test_matchers.py` are modified accordingly.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2873

Separate out parsers

Parsers are separated out of the `main.py` module to a new `parsers.py`
module to make code cleaner and compact.

This patch is heavily based on Vidushi's work.
Thanks to Vidushi Agrawal <vidushi229@gmail.com>

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2874

doc: Add missing docs for commands

Add docs for `list-sources`, `list-enabled-sources` and `check-versions`
commands.
Closes redmine ticket #3228.

update-sources: python 3 fixup

Open index in binary mode to fix encoding issue on Python 3.6
on CentOS 7.

github: add some github ci actions

integration-test: use python executable thats starts test

Use the Python binary that was used to start the integration
test to run suricata-update.

changelog: update

Disable SMB rules if not supported by Suricata

If Suricata is less than 5, and Rust is not enabled, disable
smb rules as they require Rust.

Ticket 3280:
https://redmine.openinfosecfoundation.org/issues/3280

Cleanup scattered main imports

Currently, lot of names of a module are imported from a package by
writing multiple import statements in main.py. Instead, Python's
standard grouping mechanism (parentheses) is used to write the import
statement to make them compact.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2872

Cleanup unused import and use isinstance() instead of type()

Optimization Cleanup main imports

`import types` is an unused import in main.py, therefore, removed.
Also, using `isinstance()` is the preferred way to access the type.
The isinstance() function checks if the object (first argument)
is an instance or subclass of classinfo class (second argument).
Here object is the 'url' to be checked and classinfo is a string
type.

Fix failure in case of missing index.yaml, cleanup

If the index.yaml was not present in data directory, update-sources
command would fail with an IOError. Fix this by handling this case. Now,
if sources are updated on a new data directory, there is an info message
"Adding all sources in the log".

Modularize the current structure to make it more readable and perform
one thing per function. Sort the imports and clean them.

Add summary for updated sources

`suricata-update` when used with its option `update-sources` did not
give any information about what changed and in which source. Add the
logs for any change in the sources, namely, addition, removal or change
in the content.
The log output now looks like:
```
$ ./bin/suricata-update update-sources
31/10/2018 -- 00:03:52 - <Info> -- Loading /etc/suricata/update.yaml
31/10/2018 -- 00:03:52 - <Info> -- Using data-directory /var/lib/suricata.
31/10/2018 -- 00:03:52 - <Info> -- Using Suricata configuration /etc/suricata/suricata.yaml
31/10/2018 -- 00:03:52 - <Info> -- Using /etc/suricata/rules for Suricata provided rules.
31/10/2018 -- 00:03:52 - <Info> -- Found Suricata version 4.1.0-dev at /usr/sbin/suricata.
31/10/2018 -- 00:03:52 - <Info> -- Downloading https://www.openinfosecfoundation.org/rules/index.yaml
31/10/2018 -- 00:03:53 - <Info> -- Source et/open was added
31/10/2018 -- 00:03:53 - <Info> -- Source empty/something was removed
31/10/2018 -- 00:03:53 - <Info> -- Source et/pro was changed
31/10/2018 -- 00:03:53 - <Info> -- Saved /var/lib/suricata/update/cache/index.yaml
```

Closes redmine ticket #2472.

pr template: Remove unnecessary newlines

version: 1.2.0dev0

1.1.0: update version and changelog

Copy environment before modify when running Suricata.

Related issue:
https://redmine.openinfosecfoundation.org/issues/2669

LD_LIBRARY_PATH wasn't being passed through to the environment
used to run Suricata. Fix this by copying the parent
environment than adding the vars that we need instead of
using a clean environment.

index: update embedded index

index: remove version info from bundled index

This prevents the issue of including outdated version info
when a new release of Suricata is made with a bundled
suricata-update.

The user will be asked to update their sources to check
their version info.

version check: small fix - missing import and wording

- import sys was missing cause sys.exit to throw an
  exception

- if the index does not contain a version, suggest the
  user run update-sources.

Fix check-versions command

This patch addresses the following issues:
1. Checks wherever code could fail
2. Proper handling of dev and stable versions
3. Small optimizations

Add "check-versions" subcommand

Add a `suricata-update check-versions` subcommand that checks
the version of suricata and logs if the versions are up to
date, outdated or EOL.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2341

config: use datarootdir from build info for dist rules

When looking for Suricata provided rules, put the highest
priority on the datarootdir from the build info.

Disable ja3_hash rules if Suricata not configured for ja3.

Disable rules using ja3 keywords if Suricata is not configure
for ja3, or does not support ja3.

Rules using ja3 keywords with fail to load if Suricata is not
built with NSS, or ja3 fingerprints are disabled.

Take into account the Suricata version as well, as not defining
the ja3_fingerprint configuration field in 5.0+ will leave it
enabled, but in older versions, it will remain disabled if
not defined.

engine/config: include info info in config object

engine/build-info: include parsed version info

engine: extract features from --build-info