Add no-checksum option

Added a `--no-checksum` option to the add-source command and an optional
"checksum" in SourceConfiguration class for add-sources and
enabled-sources.
Also, a check is added to skip downloading the checksum URL if the
source is configured  with checksum false.

Redmine issue:
    https://redmine.openinfosecfoundation.org/issues/3100

Redo variable and function names reserved for Python

Changed the conflicting variable name `filter` and function name
`filter()` accordingly which suricata-update uses as it is reserved
for use in Python standard modules.

Log a warning if index is old

If the index is older than 2 weeks, logged a warning that the
index is old and user needs to update it by running
`suricata-update update-sources`.

changelog: add missing tickets

Add a check to apply colour if output stream on tty

Separate log messages to stderr and stdout

Currently, all the messages in suricata-update are logged to stderr.
Changes are made to split between log messages where regular
output (INFO, DEBUG) goes to stdout whereas ERRORS, WARNINGS and
CRITICAL messages goes to stderr.

changelog: fix for issue 2875

Improve permission warning

Improve permission warning when Suricata-update runs with the wrong user

When suricata-update runs with a non-root user, it gives an ugly traceback.
To avoid those ugly tracebacks, try except block is put around the operation
that are being performed on the file i.e. shutil.copyfile(src, dest) and
exit cleanly with an error in the log.
Also, to avoid ugly tracebacks for permission of suricata.yaml, try-except
is put around where it is accessed and exit cleanly.

changelog: fix for issue 2867

Fix TypeError : Failure with missing rule params

Bug #2867 : Failure with missing rule params
If sometimes a rule is not parsed correctly and sid or gid are of
NoneType the program shows a TypeError. While parsing the rule, the sid
can be checked to make sure that sid is not of type None, and if it is,
raise a BadSidError and log it, the rule is not added to the list of
final rules.

changelog: pull in changelog for 1.0.4 and 1.0.5

Catch Keyboard Interrupt and exit cleanly.

Optimization #2878 https://redmine.openinfosecfoundation.org/issues/2878
Can be done by importing python library signal, and defining a function
signal_handler which will print a message if keyboard interrupt is
detected and exit the program.

Add "offline" command

Add a command line option `--offline` that uses locally cached
latest version of rules without trying to download rules from
sources.

Log a warning on duplicate SID

Currently when suricata-update encounters a rule with duplicate SIDs,
it silently uses the one with the higher revision without logging the
warnings.
On duplicate SID, warnings are logged for equal as well as different
revisions.

Parse rule files alphabetically

Sort the file names before parsing them.
Example:
Currently,
```
suricata-update -v
```
generates
```
24/3/2019 -- 10:38:16 - <Debug> -- Parsing rules/emerging-chat.rules.
24/3/2019 -- 10:38:16 - <Debug> -- Parsing sslblacklist.rules.
24/3/2019 -- 10:38:16 - <Debug> -- Parsing rules/emerging-web_client.rules.
24/3/2019 -- 10:38:16 - <Debug> -- Parsing rules/botcc.portgrouped.rules.
24/3/2019 -- 10:38:16 - <Debug> -- Parsing rules/emerging-smtp.rules.
```
i.e., the rule files are not parsed in alphabetical order.

Thus, changing the parser to load these files in alphabetical order by sorting the filenames before starting to work on them fixes the issue. Now the output generated on running
```
suricata-update -v
```
is
```
24/3/2019 -- 10:34:24 - <Debug> -- Parsing rules/botcc.rules.
24/3/2019 -- 10:34:24 - <Debug> -- Parsing rules/ciarmy.rules.
24/3/2019 -- 10:34:24 - <Debug> -- Parsing rules/compromised.rules.
24/3/2019 -- 10:34:24 - <Debug> -- Parsing rules/drop.rules.
24/3/2019 -- 10:34:24 - <Debug> -- Parsing rules/dshield.rules.
24/3/2019 -- 10:34:24 - <Debug> -- Parsing rules/emerging-activex.rules.
```
Rules files are now parsed in sorted order.

Closes Redmine ticket #2892

add test cases for flowbit dependencies and noalert option

rule: recognise more noalert cases

This commit ensures that rules only tagged with "noalert;" option
and not only with "flowbits:noalert;" will get the rule.noalert
value set to true.

make sure that noalert is set in newly enabled rules

This commit adds functionality that ensures that previously
disabled rules enabled by flowbit dependencies will receive
the noalert option.

tests: update test index to latest index

doc: update default index url

From jasonish repo to
  https://www.openinfosecfoundation.org/rules/index.yaml

index: update embedded intel index

index update: use oisf index, not jasonish

address code comments

add documentation paragraph about updating

print info log message on changed source parameter

do not fail on repeated enabling/disabling of sources

Fix default for the --ignore flag

suricata-update doesn't properly load some sections in update.yaml file.
Example:
Even after setting the following in update.yaml
```
ignore:
  - "*deleted.rules"
  - "*pop3.rules"
```

```
$ ./bin/suricata-update -v
```
generates
```
16/3/2019 -- 03:14:59 - <Debug> -- Parsing rules/emerging-pop3.rules.
16/3/2019 -- 03:15:01 - <Debug> -- Parsing rules/emerging-deleted.rules.
```
which means the files do not get ignored. It seems that the code loading command line parameters override previous settings even when no parameters are given.
Thus changing the default for the --ignore flag from "[]" to "None", fixes the issue.

Closes Redmine ticket #2851.

Fix Failure with --no-merge

UnboundLocalError: local variable 'rule' referenced before assignment

'suricata-update --no-merge' runs into an error.
'rule.id' is changed to 'key' variable to fix this issue because 'rule' is
not used in the loop. Appended 'key' to the added list i.e. List of rule IDs
that have been added.

Add timeout of 30 sec for all GET requests

suricata-update has been reported to get hung in case the download fails
for a particular source. Add a timeout parameter to urllib to avoid that
and continue further processing after a timeout of 30 seconds.

Closes redmine ticket #2703.

Fix null pointer dereference issue detected by coverity

Coverity scan of the current code raised the following issue:
```
>>>     CID 327298:  Null pointer dereferences  (FORWARD_NULL)
>>>     Accessing a property of null-like value "val".
271                 if val.find("noalert") > -1:
```

Fix this by adding a null check on val.

Closes redmine ticket #2834.

Add dhcp-events.rules as a known engine provided rule.

tests: test rule without rev gets rev 0

rules: default rev to 0 for rules without a rev

Comparisons between none types in Python 2 were allowed, Python 3
throws an exception here causing rules without a rev to break
suricata-update.

Free some collection types before testing Suricata

Forces Python to free up some memory before starting Suricata
which may use a lot of memory itself.

Fixup for low memory devices.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2791

Optimize report generation memory usage

Avoid the need to keep the complete parsed old ruleset in memory
while building the report by generating the report as the old
ruleset is parsed.

In my tests has a good amount of memory saving.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2791

rules: don't store a tokenized list of options

Its not required by suricata-update, and contributes to
excessive memory usage.

In support of issue:
https://redmine.openinfosecfoundation.org/issues/2791

rule: set noalert field to True of noalert flowbit set

This is done to check if a rule is noalert instead of iterating
through the options as the options list is being removed.

Avoid failure in case of obsoletion of attribute

`platform` is currently (Py3.7) shipped with `linux_distribution`
attribute but it has been Deprecated since Py3.5. In future when it
becomes obsolete, suricata-update will break while creating User-Agent
header. In order to avoid this, check for the attribute before adding it
to User-Agent.

This renders redmine issue #2645 invalid.

integration test: log python version info

travis: call integration test

changelog: update for 1.0.3

Make header an optional argument

header was being used as a required argument in SourceConfiguration
class. Since SourceConfiguration class has been used multiple times
across commands, not all the commands require header argument and thus
it breaks. Fix it by making header an optional argument.

Closes redmine ticket #2753

changelog: update for 1.0.2

setup.py: check for Python 2.7 or newer.

Display message and exit if Python is less than 2.7.

Fix the broken sys import of distutils

Newer distutils versions allow to list and work with `sys` as it is
imported in the `__init__.py` however, the older versions of disutils
does not contain anything other than the version and revision strings.
The current installation procedure relied on the former method which is
only adapted in the new versions so make it compatible to the older
versions by importing `sys` from `distutils.core`.

Closes redmine ticket #2747

changelog: update for 1.0.1 release

changelog: fix typos

changelog: update

doc: document add-source --http-header

Use header in the request for sources

Allows the use of header while requesting for a source.

Alongwith 75f6c327, closes redmine ticket #2577

Add header option to add source command

Facilitates addition of a header per source while adding the source.
Usage:
```
$ ./bin/suricata-update add-source --header "Auth: Basic"
```

Supress progress meter when not on a tty.

Fixes Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2743

Update list of engine rules to include.

version: hide git revision if unknown

This happens when suricata-update is installed bundled with
Suricata.  This is more a relic from the earlier days
of Suricata-Update when more users were likely to install
it directly from git anyways.

changelog: issue 2676 fixed

Fix missing null check

Coverity discovered a missing null check for the variable `val`. Fix
 that by adding the appropriate checks for it.

Closes redmine ticket #2676

changelog: update with recent fixes

Install requirements if using pip

Current setup was using distutils which does not allow to define the
requirements of a package. Check if the installation of
`suricata-update` is being done with `pip` and if it is, install the
requirements while installing the package.
This way distutils will not throw a warning of the `install_requires`
option being unrecognized, however, it would still not install the
requirements.
Now, with the installation of `suricata-update` package, all the
requirements are installed as well if it is installed with `pip`.

Closes redmine ticket #2667

Add the required data for sample confs to setup

setup.py missed the required configuration files for running the
`dump-sample-configs` option. Add all the files under
suricata/update/configs.

Closes redmine ticket #2683

version: 1.1.0dev0

changelog: issue 2665

changelog: issue 2641 addressed

Add --free argument to list-sources command

Add the functionality of being able to list only the free sources with
the `list-sources` command. This patch differentiates a free source from
a non-free source based on the availability of "subscription-url" for a
particular source.

This argument is also available in the help section of `list-sources`
command.

```
$./suricata-update list-sources -h
usage: suricata-update list-sources [-h] [-v] [-q] [-D <directory>]
                                    [-c <filename>]
                                    [--suricata-conf <filename>]
                                    [--suricata <path>]
                                    [--suricata-version <version>]
                                    [--user-agent <user-agent>]
                                    [--no-check-certificate] [-V] [--free]

optional arguments:
  -h, --help            show this help message and exit
  -v, --verbose         Be more verbose
  -q, --quiet           Be quiet, warning and error messages only
  -D <directory>, --data-dir <directory>
                        Data directory (default: /var/lib/suricata)
  -c <filename>, --config <filename>
                        configuration file (default:
                        /etc/suricata/update.yaml)
  --suricata-conf <filename>
                        configuration file (default:
                        /etc/suricata/suricata.yaml)
  --suricata <path>     Path to Suricata program
  --suricata-version <version>
                        Override Suricata version
  --user-agent <user-agent>
                        Set custom user-agent string
  --no-check-certificate
                        Disable server SSL/TLS certificate verification
  -V, --version         Display version
  --free                List all freely available sources
```

Closes Redmine ticket #2641.

classification.conf: update test to match new strings

classification.conf: Changed to Suricata 4.1 style

should remain backwards compatible

Remove User-Agent header if set to empty

`suricata-update` sends a User Agent as a part of the request header to
get some basic information about the user system like the suricata-update
version, python version, etc. However, some users do not like this
behavior and are facililated with a `--user-agent` option whereby they
can modify the `User-Agent` header to a custom string. Although, in some
cases, it has been observed that the `User-Agent` header can be set to
nothing. In some other cases, users wish to set it to an empty string.

Example:

```
$ ./bin/suricata-update update-sources --user-agent "  "
```

generates request headers like,

```
Accept-Encoding: identity
Host: XXX
User-Agent:
Connection: close
```

which makes `User-Agent` header quite redundant.

Remove the header if it is set to a string that evaluates to nothing.

Closes Redmine ticket #2665.

Check default conf before command line options

The default configuration file must be checked for the availability of
`user-agent` option even if it is None.

This behavior has been implemented by Jason Ish.

quickstart: update for 1.0

Also add note that if using Suricata 4.1 the command may already
be installed.

readme: update for 1.0.0

1.0.0 - update changelog, set version

logging: better log message when a new file is identified

instead of saying "recording <file> with hash ''" where the
hash is empty, log that a new file is being recorded

No functional change outside of the log message.

Show error on failure to create output directory.

Previously:
  Output directory does not exist and could not be created:
      /var/lib/suricata/rules
Now:
  Failed to create directory /var/lib/suricata/rules:
      [Errno 13] Permission denied: '/var/lib/suricata

--test-command: fix call to get output directory

A custom --test-command was failing due to the wrong usage
of getting the output directory, resulting in the call
to open failing.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2652

1.0.0rc2

index: update bundled rule source index

- Includes Etnetera.

Use assertEqual instead of deprecated assertEquals

Replace the use of assertEquals in all places with assertEqual as the
former was deprecated in https://bugs.python.org/issue9424
assertEquals goes well with Python 2.7 alongwith Python 3.x so this does
not break any existing test cases.

Add Python 3.7 to tox configurations

Current tox configuration was missing Python 3.7 because of which tests were
never run for a Python 3.7 environment. Fix that by adding py37 to the configurations.

travis: test on python 3.7

Quote reload command

suricata-update throws error if the command is not quoted.
```
suricata-update: error: unrecognized arguments: kill -USR2
```

issue 2551: python3 issue loading disable.conf

... and likely other related files.

The failing disable.conf has been added to the integration
tests.

Issue:
https://redmine.openinfosecfoundation.org/issues/2551

add-source: fix prompt for required fields

The command had the code to prompt the user for the required
fields but the argument parser was forcing them to be set
on the command line. Make the name and url optional for
the argument parser, and prompt if not provided.

Also, handle user input on Python 2 and 3.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/2550

issue 2549: python3 fix enable-source

In Python 3, raw_input was renamed to input. This is now Python 2
and Python 3 compatible.

version: 1.0.0rc1

changelog: update

config: save the filename that was used for the config

So it can be presented to the user in log messages, specifically
when listing enabled sources that are in the main configuration
file.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/2526

sid matchers: allow command separated sids

Inspired by patch from Russel Fulton.

tests: move matcher tests to test_matchers

allow trailing commands in .conf files

Based on patch from Russel Fulton.

arg handling: fix broken argument handling

Broke in 74bf64e706162de9bb1731e801609e0a667a27d8.

Fixed wording in update documentation

display help, or version before parsing config file

Handle the display of version info and help before parsing any
configuration data.

attempt to load defaults from a defaults module

The defaults module is installed by suricata into the
and contains compile time values such as sysconfdir,
and the directory where distribution provided rules
are found.

don't try to iterate local if None

fail safe if ssl.create_default_context doesn't exist

fall back to the default SSL handler when create_default_context
doesn't exist as on Python versions prior to 2.7.9 where it hasn't
been backported (Ubuntu Trusty).

The downside is no certificate verification is done.

don't see if suricata.yaml if value is None

add smb-events.rules as a known dist provided rule file

bundle the index; for when it can't be downloaded

Bundle a copy of the index and fall back to it when the
index can't be downloaded.

python3 fix: don't use itervalues

engine: check_output returns encoded byts with python3

readme: fix minor grammar issue