add test cases for flowbit dependencies and noalert option

rule: recognise more noalert cases

This commit ensures that rules only tagged with "noalert;" option
and not only with "flowbits:noalert;" will get the rule.noalert
value set to true.

make sure that noalert is set in newly enabled rules

This commit adds functionality that ensures that previously
disabled rules enabled by flowbit dependencies will receive
the noalert option.

tests: update test index to latest index

doc: update default index url

From jasonish repo to
  https://www.openinfosecfoundation.org/rules/index.yaml

index: update embedded intel index

index update: use oisf index, not jasonish

address code comments

add documentation paragraph about updating

print info log message on changed source parameter

do not fail on repeated enabling/disabling of sources

Fix default for the --ignore flag

suricata-update doesn't properly load some sections in update.yaml file.
Example:
Even after setting the following in update.yaml
```
ignore:
  - "*deleted.rules"
  - "*pop3.rules"
```

```
$ ./bin/suricata-update -v
```
generates
```
16/3/2019 -- 03:14:59 - <Debug> -- Parsing rules/emerging-pop3.rules.
16/3/2019 -- 03:15:01 - <Debug> -- Parsing rules/emerging-deleted.rules.
```
which means the files do not get ignored. It seems that the code loading command line parameters override previous settings even when no parameters are given.
Thus changing the default for the --ignore flag from "[]" to "None", fixes the issue.

Closes Redmine ticket #2851.

Fix Failure with --no-merge

UnboundLocalError: local variable 'rule' referenced before assignment

'suricata-update --no-merge' runs into an error.
'rule.id' is changed to 'key' variable to fix this issue because 'rule' is
not used in the loop. Appended 'key' to the added list i.e. List of rule IDs
that have been added.

Add timeout of 30 sec for all GET requests

suricata-update has been reported to get hung in case the download fails
for a particular source. Add a timeout parameter to urllib to avoid that
and continue further processing after a timeout of 30 seconds.

Closes redmine ticket #2703.

Fix null pointer dereference issue detected by coverity

Coverity scan of the current code raised the following issue:
```
>>>     CID 327298:  Null pointer dereferences  (FORWARD_NULL)
>>>     Accessing a property of null-like value "val".
271                 if val.find("noalert") > -1:
```

Fix this by adding a null check on val.

Closes redmine ticket #2834.

Add dhcp-events.rules as a known engine provided rule.

tests: test rule without rev gets rev 0

rules: default rev to 0 for rules without a rev

Comparisons between none types in Python 2 were allowed, Python 3
throws an exception here causing rules without a rev to break
suricata-update.

Free some collection types before testing Suricata

Forces Python to free up some memory before starting Suricata
which may use a lot of memory itself.

Fixup for low memory devices.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2791

Optimize report generation memory usage

Avoid the need to keep the complete parsed old ruleset in memory
while building the report by generating the report as the old
ruleset is parsed.

In my tests has a good amount of memory saving.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2791

rules: don't store a tokenized list of options

Its not required by suricata-update, and contributes to
excessive memory usage.

In support of issue:
https://redmine.openinfosecfoundation.org/issues/2791

rule: set noalert field to True of noalert flowbit set

This is done to check if a rule is noalert instead of iterating
through the options as the options list is being removed.

Avoid failure in case of obsoletion of attribute

`platform` is currently (Py3.7) shipped with `linux_distribution`
attribute but it has been Deprecated since Py3.5. In future when it
becomes obsolete, suricata-update will break while creating User-Agent
header. In order to avoid this, check for the attribute before adding it
to User-Agent.

This renders redmine issue #2645 invalid.

integration test: log python version info

travis: call integration test

changelog: update for 1.0.3

Make header an optional argument

header was being used as a required argument in SourceConfiguration
class. Since SourceConfiguration class has been used multiple times
across commands, not all the commands require header argument and thus
it breaks. Fix it by making header an optional argument.

Closes redmine ticket #2753

changelog: update for 1.0.2

setup.py: check for Python 2.7 or newer.

Display message and exit if Python is less than 2.7.

Fix the broken sys import of distutils

Newer distutils versions allow to list and work with `sys` as it is
imported in the `__init__.py` however, the older versions of disutils
does not contain anything other than the version and revision strings.
The current installation procedure relied on the former method which is
only adapted in the new versions so make it compatible to the older
versions by importing `sys` from `distutils.core`.

Closes redmine ticket #2747

changelog: update for 1.0.1 release

changelog: fix typos

changelog: update

doc: document add-source --http-header

Use header in the request for sources

Allows the use of header while requesting for a source.

Alongwith 75f6c327, closes redmine ticket #2577

Add header option to add source command

Facilitates addition of a header per source while adding the source.
Usage:
```
$ ./bin/suricata-update add-source --header "Auth: Basic"
```

Supress progress meter when not on a tty.

Fixes Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2743

Update list of engine rules to include.

version: hide git revision if unknown

This happens when suricata-update is installed bundled with
Suricata.  This is more a relic from the earlier days
of Suricata-Update when more users were likely to install
it directly from git anyways.

changelog: issue 2676 fixed

Fix missing null check

Coverity discovered a missing null check for the variable `val`. Fix
 that by adding the appropriate checks for it.

Closes redmine ticket #2676

changelog: update with recent fixes

Install requirements if using pip

Current setup was using distutils which does not allow to define the
requirements of a package. Check if the installation of
`suricata-update` is being done with `pip` and if it is, install the
requirements while installing the package.
This way distutils will not throw a warning of the `install_requires`
option being unrecognized, however, it would still not install the
requirements.
Now, with the installation of `suricata-update` package, all the
requirements are installed as well if it is installed with `pip`.

Closes redmine ticket #2667

Add the required data for sample confs to setup

setup.py missed the required configuration files for running the
`dump-sample-configs` option. Add all the files under
suricata/update/configs.

Closes redmine ticket #2683

version: 1.1.0dev0

changelog: issue 2665

changelog: issue 2641 addressed

Add --free argument to list-sources command

Add the functionality of being able to list only the free sources with
the `list-sources` command. This patch differentiates a free source from
a non-free source based on the availability of "subscription-url" for a
particular source.

This argument is also available in the help section of `list-sources`
command.

```
$./suricata-update list-sources -h
usage: suricata-update list-sources [-h] [-v] [-q] [-D <directory>]
                                    [-c <filename>]
                                    [--suricata-conf <filename>]
                                    [--suricata <path>]
                                    [--suricata-version <version>]
                                    [--user-agent <user-agent>]
                                    [--no-check-certificate] [-V] [--free]

optional arguments:
  -h, --help            show this help message and exit
  -v, --verbose         Be more verbose
  -q, --quiet           Be quiet, warning and error messages only
  -D <directory>, --data-dir <directory>
                        Data directory (default: /var/lib/suricata)
  -c <filename>, --config <filename>
                        configuration file (default:
                        /etc/suricata/update.yaml)
  --suricata-conf <filename>
                        configuration file (default:
                        /etc/suricata/suricata.yaml)
  --suricata <path>     Path to Suricata program
  --suricata-version <version>
                        Override Suricata version
  --user-agent <user-agent>
                        Set custom user-agent string
  --no-check-certificate
                        Disable server SSL/TLS certificate verification
  -V, --version         Display version
  --free                List all freely available sources
```

Closes Redmine ticket #2641.

classification.conf: update test to match new strings

classification.conf: Changed to Suricata 4.1 style

should remain backwards compatible

Remove User-Agent header if set to empty

`suricata-update` sends a User Agent as a part of the request header to
get some basic information about the user system like the suricata-update
version, python version, etc. However, some users do not like this
behavior and are facililated with a `--user-agent` option whereby they
can modify the `User-Agent` header to a custom string. Although, in some
cases, it has been observed that the `User-Agent` header can be set to
nothing. In some other cases, users wish to set it to an empty string.

Example:

```
$ ./bin/suricata-update update-sources --user-agent "  "
```

generates request headers like,

```
Accept-Encoding: identity
Host: XXX
User-Agent:
Connection: close
```

which makes `User-Agent` header quite redundant.

Remove the header if it is set to a string that evaluates to nothing.

Closes Redmine ticket #2665.

Check default conf before command line options

The default configuration file must be checked for the availability of
`user-agent` option even if it is None.

This behavior has been implemented by Jason Ish.

quickstart: update for 1.0

Also add note that if using Suricata 4.1 the command may already
be installed.

readme: update for 1.0.0

1.0.0 - update changelog, set version

logging: better log message when a new file is identified

instead of saying "recording <file> with hash ''" where the
hash is empty, log that a new file is being recorded

No functional change outside of the log message.

Show error on failure to create output directory.

Previously:
  Output directory does not exist and could not be created:
      /var/lib/suricata/rules
Now:
  Failed to create directory /var/lib/suricata/rules:
      [Errno 13] Permission denied: '/var/lib/suricata

--test-command: fix call to get output directory

A custom --test-command was failing due to the wrong usage
of getting the output directory, resulting in the call
to open failing.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2652

1.0.0rc2

index: update bundled rule source index

- Includes Etnetera.

Use assertEqual instead of deprecated assertEquals

Replace the use of assertEquals in all places with assertEqual as the
former was deprecated in https://bugs.python.org/issue9424
assertEquals goes well with Python 2.7 alongwith Python 3.x so this does
not break any existing test cases.

Add Python 3.7 to tox configurations

Current tox configuration was missing Python 3.7 because of which tests were
never run for a Python 3.7 environment. Fix that by adding py37 to the configurations.

travis: test on python 3.7

Quote reload command

suricata-update throws error if the command is not quoted.
```
suricata-update: error: unrecognized arguments: kill -USR2
```

issue 2551: python3 issue loading disable.conf

... and likely other related files.

The failing disable.conf has been added to the integration
tests.

Issue:
https://redmine.openinfosecfoundation.org/issues/2551

add-source: fix prompt for required fields

The command had the code to prompt the user for the required
fields but the argument parser was forcing them to be set
on the command line. Make the name and url optional for
the argument parser, and prompt if not provided.

Also, handle user input on Python 2 and 3.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/2550

issue 2549: python3 fix enable-source

In Python 3, raw_input was renamed to input. This is now Python 2
and Python 3 compatible.

version: 1.0.0rc1

changelog: update

config: save the filename that was used for the config

So it can be presented to the user in log messages, specifically
when listing enabled sources that are in the main configuration
file.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/2526

sid matchers: allow command separated sids

Inspired by patch from Russel Fulton.

tests: move matcher tests to test_matchers

allow trailing commands in .conf files

Based on patch from Russel Fulton.

arg handling: fix broken argument handling

Broke in 74bf64e706162de9bb1731e801609e0a667a27d8.

Fixed wording in update documentation

display help, or version before parsing config file

Handle the display of version info and help before parsing any
configuration data.

attempt to load defaults from a defaults module

The defaults module is installed by suricata into the
and contains compile time values such as sysconfdir,
and the directory where distribution provided rules
are found.

don't try to iterate local if None

fail safe if ssl.create_default_context doesn't exist

fall back to the default SSL handler when create_default_context
doesn't exist as on Python versions prior to 2.7.9 where it hasn't
been backported (Ubuntu Trusty).

The downside is no certificate verification is done.

don't see if suricata.yaml if value is None

add smb-events.rules as a known dist provided rule file

bundle the index; for when it can't be downloaded

Bundle a copy of the index and fall back to it when the
index can't be downloaded.

python3 fix: don't use itervalues

engine: check_output returns encoded byts with python3

readme: fix minor grammar issue

notes: output notes at end of run

Currently notes are printed if a rule was disabled due to
unknown address or port group variables.

fix --quiet: log only warning and above

validate rule vars, disabling rules on error

If the Suricata config is available, suricata-update will check
that all rule vars are defined. If a rule uses a var that is
not defined a warning message will be logged, and the rule
will be disabled.

rules: store the addrs and ports in the rule structure

Before they were being parsed but then thrown away.

handle rules in spaces in addr and port lists

Based on an issue reported to py-idstools.

use --sysconfdir for default dist rules

determine defaults from suricata binary

Look at --build-info and base the default configuration and
data directories based on --sysconfdir and --localstatedir.

For example, if one were to have installed suricata-update and
suricata with --prefix /opt/suricata, suricata-update will
now use these defaults:

- /opt/suricata/etc/suricata/suricata.yaml
- /opt/suricata/var/lib/suricata

check suricata-update directory for suricata binary

And use those one before looking in the path. Handles the case
when when bundled and --prefix is used to install into an
alternate location.

use distutils: required for bundling in Suricata

setuptools is too picky about installation location breaking
when --prefix is used

bin/suricata-update: handle non-standard install prefixes.

Look to see if the modules are in a known location relative to
the location of suricata-update and to the sys.path if found.

Allows suricata-update to be installed with non-standard
--prefixes.

readme: fixup paths

Version 1.0.0b1

changelog: typo

list-sources: print subscribe URL

The subscribe URL may be a sentence with a URL in it which may
contain useful information.

on download failure, return cached version (if exists)

Previously if a download failed, an error would be logged and
the rules that were downloaded were processed. This could lead
to an output that was no expected (missing rules).

Now if the download fails, check if we have the previous download.
If we do, log a warning and return the cached files.

If we don't have the previous download, log an error and process
what rules we do have.