issue 2551: python3 issue loading disable.conf

... and likely other related files.

The failing disable.conf has been added to the integration
tests.

Issue:
https://redmine.openinfosecfoundation.org/issues/2551

add-source: fix prompt for required fields

The command had the code to prompt the user for the required
fields but the argument parser was forcing them to be set
on the command line. Make the name and url optional for
the argument parser, and prompt if not provided.

Also, handle user input on Python 2 and 3.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/2550

issue 2549: python3 fix enable-source

In Python 3, raw_input was renamed to input. This is now Python 2
and Python 3 compatible.

version: 1.0.0rc1

changelog: update

config: save the filename that was used for the config

So it can be presented to the user in log messages, specifically
when listing enabled sources that are in the main configuration
file.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/2526

sid matchers: allow command separated sids

Inspired by patch from Russel Fulton.

tests: move matcher tests to test_matchers

allow trailing commands in .conf files

Based on patch from Russel Fulton.

arg handling: fix broken argument handling

Broke in 74bf64e706162de9bb1731e801609e0a667a27d8.

Fixed wording in update documentation

display help, or version before parsing config file

Handle the display of version info and help before parsing any
configuration data.

attempt to load defaults from a defaults module

The defaults module is installed by suricata into the
and contains compile time values such as sysconfdir,
and the directory where distribution provided rules
are found.

don't try to iterate local if None

fail safe if ssl.create_default_context doesn't exist

fall back to the default SSL handler when create_default_context
doesn't exist as on Python versions prior to 2.7.9 where it hasn't
been backported (Ubuntu Trusty).

The downside is no certificate verification is done.

don't see if suricata.yaml if value is None

add smb-events.rules as a known dist provided rule file

bundle the index; for when it can't be downloaded

Bundle a copy of the index and fall back to it when the
index can't be downloaded.

python3 fix: don't use itervalues

engine: check_output returns encoded byts with python3

readme: fix minor grammar issue

notes: output notes at end of run

Currently notes are printed if a rule was disabled due to
unknown address or port group variables.

fix --quiet: log only warning and above

validate rule vars, disabling rules on error

If the Suricata config is available, suricata-update will check
that all rule vars are defined. If a rule uses a var that is
not defined a warning message will be logged, and the rule
will be disabled.

rules: store the addrs and ports in the rule structure

Before they were being parsed but then thrown away.

handle rules in spaces in addr and port lists

Based on an issue reported to py-idstools.

use --sysconfdir for default dist rules

determine defaults from suricata binary

Look at --build-info and base the default configuration and
data directories based on --sysconfdir and --localstatedir.

For example, if one were to have installed suricata-update and
suricata with --prefix /opt/suricata, suricata-update will
now use these defaults:

- /opt/suricata/etc/suricata/suricata.yaml
- /opt/suricata/var/lib/suricata

check suricata-update directory for suricata binary

And use those one before looking in the path. Handles the case
when when bundled and --prefix is used to install into an
alternate location.

use distutils: required for bundling in Suricata

setuptools is too picky about installation location breaking
when --prefix is used

bin/suricata-update: handle non-standard install prefixes.

Look to see if the modules are in a known location relative to
the location of suricata-update and to the sys.path if found.

Allows suricata-update to be installed with non-standard
--prefixes.

readme: fixup paths

Version 1.0.0b1

changelog: typo

list-sources: print subscribe URL

The subscribe URL may be a sentence with a URL in it which may
contain useful information.

on download failure, return cached version (if exists)

Previously if a download failed, an error would be logged and
the rules that were downloaded were processed. This could lead
to an output that was no expected (missing rules).

Now if the download fails, check if we have the previous download.
If we do, log a warning and return the cached files.

If we don't have the previous download, log an error and process
what rules we do have.

--no-check-certificate options

Allows the disabling of server TLS certificate checks.

config: more debug on initialization

update-sources: catch network errors and error out

Issue:
https://redmine.openinfosecfoundation.org/issues/2348

(Remote)Code-Execution while loading yaml-file

The list of possible sources for suricata-update is downloaded from "https://www.openinfosecfoundation.org/rules/index.yaml" per default. Suricata-Update uses the insecure yaml.load()-function. Code will be executed if the yaml-file contains lines like:

hello: !!python/object/apply:os.system ['ls -l > /tmp/output']

The vulnerable function can be triggered by "suricata-update list-sources". The locally stored index.yaml will be loaded in this function and the malicious code gets executed.

This commit fixes Bug #2359

changelog: update

look in config file for "suricata" option

Previously the suricata binary could only be changed from
the command line. Now it can be set in the config file.

when testing suricata, use provided suricata-conf

Previously no suricata.yaml was specified for the test,
so the default was picked up.

config: configurable suricata-conf-parameter

This commit adds the command-line-parameter "suricata-conf" and replaces the hard-coded "/etc/suricata/suricata.yaml".

Ticket: Feature #2350

implemented support for multiple default suricata.yaml-files

docker live test for Ubuntu 16.04.

Makefile: docker-test target to run docker tests.

user agent: moving suricata version check up

before sub-commands, so the Suricata version can be provided
in "update-sources".

Also make --suricata and --suricata-path global options, so
sub-commands can depend on them.

integration test: fix command line option (typo)

fix verbose logging

Commit c0789ccf2b64ddc93d20ea2afb0585b4cece50e1 broke
--verbose by never setting the log level to debug.

doc: add --user-agent to common options

--user-agent: make a global option

This allows it to apply to update-sources as well.

config: configure a custom user-agent-string

Includes an command-line/config-file-option for a custom user-agent string.

setup: don't try to write revision of .git doesn't exist

typos: udpate -> update

changelog: update

doc: include common options with all commands

integration test - executes suricata-update

And checks exit codes and outputs. Can be run
as a script, or as a tox setup where it will
be run under multiple Python versions.

remove integration test from unit tests.

allow default et/open url to be set from env

Allows the default et/open URL to be set with the
environment variable ETOPEN_URL. Mainly useful with tests
to avoid hitting the network.

list-sources: update-sources if no index found

Issue:
https://redmine.openinfosecfoundation.org/issues/2336

rework parser to support global options before subcommand

Allows to do something like:
suricata-update --verbose update-sources
OR
suricata-update update-sources --verbose
having the same result.

tests: remove specific python2 and python3 tests

With tox, the tests are run under multiple versions of Python.
Just use the interpreter running the tests to hit all versions
instead of relying whats installed on the host system.

-D, --data-dir to change the data directory

By default /var/lib/suricata is used. But for various reasons
including permissions and testing it can be useful to change
this.

The data directory serves as the prefix for suricata-update
work directories, including rules/ and update/sources, and
update/cache.

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/2334

travis: switch to pytest for tests

To be consistent with tox.

testing: use tox for unit tests

Tox can test against multiple versions of Python using
virtualenvs.

test: centos 7 based docker live test

This is a test that runs in a Docker image. It installs
suricata-update and executes a sequence of commands looking for
failures.

The test sequence is done with Python 2 and Python 3 as provided
in CentOS 7.

config: use the module singleton for config

This is a common Python pattern giving us a global singleton
config. Making it a bit easier than passing a config object
around everywhere.

python 3 fixups

- enable-source
- update-sources
- setup.py

more specific exception handling when downloading

Only catch and log errors related to downloading such as bad
URLs, or 404 type errors.

Let actual coding error exeptions ripple up, as a catch all
handler here can catch actual code errors causing them to only be
logged and not crash the program during testing.

fix getting cpu on certain platforms

use platform.machine() instead of platform.processor() as its
more reliable

usage: clarify -c is for the update configuration

And not the Suricata config. This is more clear in the docs
just not in the command line help usage.

Version 1.0.0a.

Update source index URL to one hosted by OISF.

doc: point pip commands at the PyPI index

In prep for a release of 1.0.0a, suricata-update will be
available on PyPI.

manifest: add sample update.yaml

add-source: don't use flags for options

Instead making name and url positional args.

We can add a flag to change the meaning of the URL
later.

remove sources that an enabled one replaces

For example, when enabling et/pro, if et/open is enabled,
remove it, as its replaced by et/pro

doc: reorg index

doc: remove-source

doc: disable-source

remove-source - move code to its own file

disable-source: move command to own source file

doc: add page for enable-source

quickstart: remove bit about re-enabling et/open

list-sources: show parameters (if any)

When enabling source, also enable et/open...

But only if the source being enabled is not et/open, or the
source being enabled does not replace et/open.

This is also only done on creation of the directory:
  /var/lib/suricata/update/sources

enable-source: move to own source files

list-sources: show replaces info

doc: add doc for update-sources

Also introduce a common-options file for options that are
common to all commands.

update-sources: move to own source file

Also make the verbose logging info.

doc: re-org into commands

python 3 fix for parsing suricata config output

include suricata version in user agent

doc: add quickstart

doc: fix pulling in version

use a custom user agent

Includes Suricata-Update version, Suricata version, OS name
and processor architecture.

changelog: update

list-sources: colourize

disable rules with proto's not enabled in suricata config

include git revision in version output

env var SOURCE_DIRECTORY to override default...

So tests won't pick up enabled sources...