changelog: update

Allow more characters in the custom headers

Allow more characters in the custom header regular expression to
allow for Oauth2 tokens.

Feature #4701.

[Commit message rewritten by jish@oisf.net with permission]

tests: fix checksum test for new argument type

Use HTTP-Headers for checksum request

changelog: update

testing: remove python 3.5, add python 3.8

Python 3.5 has been end of lifed.

conf: allow no-test in configuration file

If no-test was set in the configuration file, it was always
being overridden by the command, even if not set on the command
line. This change allow no-test to be set in the configuration file
like:

no-test: true

Redmine issue:
https://redmine.openinfosecfoundation.org/versions/168

changelog: update

github-ci: add Ubuntu 20.04

github-ci: add fedora 33, remove fedora 31 (eol)

travis-ci: remove, appears they haven't been building

And GitHub CI has all these tests covered.

tests: add integration test for --http-header

HTTP BasicAuth support.

Allow whitespaces in entire HTTP header value.

This enables HTTP Basic Authentication.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4362

version: 1.3.0dev0

version: 1.2.1

doc: remove --merged option

This option was never implemented and is an artifact of the tools
suricata-update was based on.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4215

changelog: update

fix: fix --no-merge option

The no-merge handling was not updated when the file storage
was converted to a list causing it to fail.

Also add a --no-merge test to our integration test.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/4324

github-ci: fix MacOS test

Make sure Python 3 is used.

github-ci: remove CentOS 6 build

CentOS 6 has been end of lifed.

1.2.0: update version and changelog

doc: update quick start to be current

doc: disable default code formatting for code blocks

Code blocks were by default being highlighted as Python, but
for Suricata-Update most code blocks are command lines, so
disable language highlighting by default.

1.2.0rc2

Handle obsolete sources.

An obsolete source is a source that remains in the index but
is otherwise non-functional.

Much like deprecated sources it won't be displayed in list-sources
without the --all flag.

Obsolete sources will never be fetched. Instead a warning will be
printed with the obsolete reason.

Handle deprecated sources in index.

Handle sources that have been deprecated in the index.

Deprecated sources will not be display with "list-sources" unless
the (new) --all flag is provided.

Also, warn the user if they are using a deprecated source with
the reason.

fix message containing tuple

allow re-enabling disabled sources

Closes redmine ticket 3843.

list-sources: keep list-enabled-sources as an alias

Keep list-enabled-sources for backwards compatibility.

dataset parsing: handle spaces between ","

Fix dataset parsing so the filename can be parsed from:

  dataset:isset, sslbl, type md5, load sslbl-fingerprints.md5;

Load files into list, not dict to keep duplicate filenames

By loading all downloaded rule files into the same dict, filenames
that are the same cause other files to be lost, and the content
may be different.

Instead use of list objects that tracks the filename and the content
to avoid losing the contents of a filename that already exists.

If the contents is duplicated, the rule deduplication process
will catch that.

Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/3174

Make list-enabled-sources command as an option for list-sources

Removed `list-enabled-sources` command  and made use of single
command `suricata-update list-sources --enabled` to list all
the enabled sources.

Redmine issue:
        https://redmine.openinfosecfoundation.org/issues/3248

Shorten the state of being written for rule files

In an attempt to have shorter window for rule files of being written,
write the rules at first to `<filename>.tmp` and then rename the file.

Closes Redmine ticket #2327

Use tempdir to log output with tests

Closes redmine ticket 3262.

doc: Add order of application of config files

Closes redmine ticket 3535.

modify.conf: add more examples of usage

Closes redmine ticket 3550.

version: 1.2.0dev1

1.2.0rc1

index: update

changelog: features 2688 and 3528 added

Move dataset and filemd5 files along with rules

Closes redmine tickets 2688 and 3528.

Better environment detection for user-agent

Don't rely on Python's platform.linux_distribution module as it
has been deprecated and removed in the latest version of Python.

Instead use more generic ways to pick up the distribution such
as looking at /etc/os-release, or falling back to uname.

Should also pickup the version of FreeBSD, which was previously
missing.

github-ci: add Fedora 32 test (Python3 only)

github-ci: use fedora:31 instead of fedora:latest

Fedora:latest is a moving target, for CI its probably best
to pin the version of the OS that testing is done on.

changelog: add classification management

classifications: logging fixups

Log when loading a classification file as debug.

Log the path being written as info.

tests: add test for classification file merge

tests: Rename classification.config

manage classification.config

threshold typo

tests/index.yaml: add comment about not adding new sources

Sources should be added to the suricata-intel-index repo.

changelog: add issue 3696 fix

changing source index from http_header to http-header to fix --http_header option

changelog: update

travis-ci: drop python 3.4 testing

testing: remove python 3.4 from the test matrix

PyYAML has dropped support for Python 3.4 causing all tests
on Python 3.4 to fail.

modify filters: better error on badly formatted filter

Instead of exiting with an uncaught exception on a badly formatted
modify filter, convert the exception to an ApplicationError that
will be logged, along with the line that is badly formatted.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3536

move modify into loop with others and skip format check

Check data directory's permission while updating sources

Closes redmine ticket #3219.

Docs: Setup directories with correct permissions

Documentation updated with the steps to setup the directories with
the correct permissions.

Separate out matchers

Currently, all the code for matchers happens to be in main.py
which makes it quite cluttered. A separate `matchers.py` module
is created which contains all the code for matching rules and
integrated with main.py. Also the modules `test_main.py` and
`test_matchers.py` are modified accordingly.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2873

Separate out parsers

Parsers are separated out of the `main.py` module to a new `parsers.py`
module to make code cleaner and compact.

This patch is heavily based on Vidushi's work.
Thanks to Vidushi Agrawal <vidushi229@gmail.com>

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2874

doc: Add missing docs for commands

Add docs for `list-sources`, `list-enabled-sources` and `check-versions`
commands.
Closes redmine ticket #3228.

update-sources: python 3 fixup

Open index in binary mode to fix encoding issue on Python 3.6
on CentOS 7.

github: add some github ci actions

integration-test: use python executable thats starts test

Use the Python binary that was used to start the integration
test to run suricata-update.

changelog: update

Disable SMB rules if not supported by Suricata

If Suricata is less than 5, and Rust is not enabled, disable
smb rules as they require Rust.

Ticket 3280:
https://redmine.openinfosecfoundation.org/issues/3280

Cleanup scattered main imports

Currently, lot of names of a module are imported from a package by
writing multiple import statements in main.py. Instead, Python's
standard grouping mechanism (parentheses) is used to write the import
statement to make them compact.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2872

Cleanup unused import and use isinstance() instead of type()

Optimization Cleanup main imports

`import types` is an unused import in main.py, therefore, removed.
Also, using `isinstance()` is the preferred way to access the type.
The isinstance() function checks if the object (first argument)
is an instance or subclass of classinfo class (second argument).
Here object is the 'url' to be checked and classinfo is a string
type.

Fix failure in case of missing index.yaml, cleanup

If the index.yaml was not present in data directory, update-sources
command would fail with an IOError. Fix this by handling this case. Now,
if sources are updated on a new data directory, there is an info message
"Adding all sources in the log".

Modularize the current structure to make it more readable and perform
one thing per function. Sort the imports and clean them.

Add summary for updated sources

`suricata-update` when used with its option `update-sources` did not
give any information about what changed and in which source. Add the
logs for any change in the sources, namely, addition, removal or change
in the content.
The log output now looks like:
```
$ ./bin/suricata-update update-sources
31/10/2018 -- 00:03:52 - <Info> -- Loading /etc/suricata/update.yaml
31/10/2018 -- 00:03:52 - <Info> -- Using data-directory /var/lib/suricata.
31/10/2018 -- 00:03:52 - <Info> -- Using Suricata configuration /etc/suricata/suricata.yaml
31/10/2018 -- 00:03:52 - <Info> -- Using /etc/suricata/rules for Suricata provided rules.
31/10/2018 -- 00:03:52 - <Info> -- Found Suricata version 4.1.0-dev at /usr/sbin/suricata.
31/10/2018 -- 00:03:52 - <Info> -- Downloading https://www.openinfosecfoundation.org/rules/index.yaml
31/10/2018 -- 00:03:53 - <Info> -- Source et/open was added
31/10/2018 -- 00:03:53 - <Info> -- Source empty/something was removed
31/10/2018 -- 00:03:53 - <Info> -- Source et/pro was changed
31/10/2018 -- 00:03:53 - <Info> -- Saved /var/lib/suricata/update/cache/index.yaml
```

Closes redmine ticket #2472.

pr template: Remove unnecessary newlines

version: 1.2.0dev0

1.1.0: update version and changelog

Copy environment before modify when running Suricata.

Related issue:
https://redmine.openinfosecfoundation.org/issues/2669

LD_LIBRARY_PATH wasn't being passed through to the environment
used to run Suricata. Fix this by copying the parent
environment than adding the vars that we need instead of
using a clean environment.

index: update embedded index

index: remove version info from bundled index

This prevents the issue of including outdated version info
when a new release of Suricata is made with a bundled
suricata-update.

The user will be asked to update their sources to check
their version info.

version check: small fix - missing import and wording

- import sys was missing cause sys.exit to throw an
  exception

- if the index does not contain a version, suggest the
  user run update-sources.

Fix check-versions command

This patch addresses the following issues:
1. Checks wherever code could fail
2. Proper handling of dev and stable versions
3. Small optimizations

Add "check-versions" subcommand

Add a `suricata-update check-versions` subcommand that checks
the version of suricata and logs if the versions are up to
date, outdated or EOL.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/2341

config: use datarootdir from build info for dist rules

When looking for Suricata provided rules, put the highest
priority on the datarootdir from the build info.

Disable ja3_hash rules if Suricata not configured for ja3.

Disable rules using ja3 keywords if Suricata is not configure
for ja3, or does not support ja3.

Rules using ja3 keywords with fail to load if Suricata is not
built with NSS, or ja3 fingerprints are disabled.

Take into account the Suricata version as well, as not defining
the ja3_fingerprint configuration field in 5.0+ will leave it
enabled, but in older versions, it will remain disabled if
not defined.

engine/config: include info info in config object

engine/build-info: include parsed version info

engine: extract features from --build-info

1.1.0rc1

changelog: add ticket 3100: optional checksum url

Add no-checksum option

Added a `--no-checksum` option to the add-source command and an optional
"checksum" in SourceConfiguration class for add-sources and
enabled-sources.
Also, a check is added to skip downloading the checksum URL if the
source is configured  with checksum false.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/3100

Redo variable and function names reserved for Python

Changed the conflicting variable name `filter` and function name
`filter()` accordingly which suricata-update uses as it is reserved
for use in Python standard modules.

Log a warning if index is old

If the index is older than 2 weeks, logged a warning that the
index is old and user needs to update it by running
`suricata-update update-sources`.

changelog: add missing tickets

Add a check to apply colour if output stream on tty

Separate log messages to stderr and stdout

Currently, all the messages in suricata-update are logged to stderr.
Changes are made to split between log messages where regular
output (INFO, DEBUG) goes to stdout whereas ERRORS, WARNINGS and
CRITICAL messages goes to stderr.

changelog: fix for issue 2875

Improve permission warning

Improve permission warning when Suricata-update runs with the wrong user

When suricata-update runs with a non-root user, it gives an ugly traceback.
To avoid those ugly tracebacks, try except block is put around the operation
that are being performed on the file i.e. shutil.copyfile(src, dest) and
exit cleanly with an error in the log.
Also, to avoid ugly tracebacks for permission of suricata.yaml, try-except
is put around where it is accessed and exit cleanly.

changelog: fix for issue 2867

Fix TypeError : Failure with missing rule params

Bug #2867 : Failure with missing rule params
If sometimes a rule is not parsed correctly and sid or gid are of
NoneType the program shows a TypeError. While parsing the rule, the sid
can be checked to make sure that sid is not of type None, and if it is,
raise a BadSidError and log it, the rule is not added to the list of
final rules.

changelog: pull in changelog for 1.0.4 and 1.0.5

Catch Keyboard Interrupt and exit cleanly.

Optimization #2878 https://redmine.openinfosecfoundation.org/issues/2878
Can be done by importing python library signal, and defining a function
signal_handler which will print a message if keyboard interrupt is
detected and exit the program.