engine: check_output returns encoded byts with python3

readme: fix minor grammar issue

notes: output notes at end of run

Currently notes are printed if a rule was disabled due to
unknown address or port group variables.

fix --quiet: log only warning and above

validate rule vars, disabling rules on error

If the Suricata config is available, suricata-update will check
that all rule vars are defined. If a rule uses a var that is
not defined a warning message will be logged, and the rule
will be disabled.

rules: store the addrs and ports in the rule structure

Before they were being parsed but then thrown away.

handle rules in spaces in addr and port lists

Based on an issue reported to py-idstools.

use --sysconfdir for default dist rules

determine defaults from suricata binary

Look at --build-info and base the default configuration and
data directories based on --sysconfdir and --localstatedir.

For example, if one were to have installed suricata-update and
suricata with --prefix /opt/suricata, suricata-update will
now use these defaults:

- /opt/suricata/etc/suricata/suricata.yaml
- /opt/suricata/var/lib/suricata

check suricata-update directory for suricata binary

And use those one before looking in the path. Handles the case
when when bundled and --prefix is used to install into an
alternate location.

use distutils: required for bundling in Suricata

setuptools is too picky about installation location breaking
when --prefix is used

bin/suricata-update: handle non-standard install prefixes.

Look to see if the modules are in a known location relative to
the location of suricata-update and to the sys.path if found.

Allows suricata-update to be installed with non-standard
--prefixes.

readme: fixup paths

Version 1.0.0b1

changelog: typo

list-sources: print subscribe URL

The subscribe URL may be a sentence with a URL in it which may
contain useful information.

on download failure, return cached version (if exists)

Previously if a download failed, an error would be logged and
the rules that were downloaded were processed. This could lead
to an output that was no expected (missing rules).

Now if the download fails, check if we have the previous download.
If we do, log a warning and return the cached files.

If we don't have the previous download, log an error and process
what rules we do have.

--no-check-certificate options

Allows the disabling of server TLS certificate checks.

config: more debug on initialization

update-sources: catch network errors and error out

Issue:
https://redmine.openinfosecfoundation.org/issues/2348

(Remote)Code-Execution while loading yaml-file

The list of possible sources for suricata-update is downloaded from "https://www.openinfosecfoundation.org/rules/index.yaml" per default. Suricata-Update uses the insecure yaml.load()-function. Code will be executed if the yaml-file contains lines like:

hello: !!python/object/apply:os.system ['ls -l > /tmp/output']

The vulnerable function can be triggered by "suricata-update list-sources". The locally stored index.yaml will be loaded in this function and the malicious code gets executed.

This commit fixes Bug #2359

changelog: update

look in config file for "suricata" option

Previously the suricata binary could only be changed from
the command line. Now it can be set in the config file.

when testing suricata, use provided suricata-conf

Previously no suricata.yaml was specified for the test,
so the default was picked up.

config: configurable suricata-conf-parameter

This commit adds the command-line-parameter "suricata-conf" and replaces the hard-coded "/etc/suricata/suricata.yaml".

Ticket: Feature #2350

implemented support for multiple default suricata.yaml-files

docker live test for Ubuntu 16.04.

Makefile: docker-test target to run docker tests.

user agent: moving suricata version check up

before sub-commands, so the Suricata version can be provided
in "update-sources".

Also make --suricata and --suricata-path global options, so
sub-commands can depend on them.

integration test: fix command line option (typo)

fix verbose logging

Commit c0789ccf2b64ddc93d20ea2afb0585b4cece50e1 broke
--verbose by never setting the log level to debug.

doc: add --user-agent to common options

--user-agent: make a global option

This allows it to apply to update-sources as well.

config: configure a custom user-agent-string

Includes an command-line/config-file-option for a custom user-agent string.

setup: don't try to write revision of .git doesn't exist

typos: udpate -> update

changelog: update

doc: include common options with all commands

integration test - executes suricata-update

And checks exit codes and outputs. Can be run
as a script, or as a tox setup where it will
be run under multiple Python versions.

remove integration test from unit tests.

allow default et/open url to be set from env

Allows the default et/open URL to be set with the
environment variable ETOPEN_URL. Mainly useful with tests
to avoid hitting the network.

list-sources: update-sources if no index found

Issue:
https://redmine.openinfosecfoundation.org/issues/2336

rework parser to support global options before subcommand

Allows to do something like:
suricata-update --verbose update-sources
OR
suricata-update update-sources --verbose
having the same result.

tests: remove specific python2 and python3 tests

With tox, the tests are run under multiple versions of Python.
Just use the interpreter running the tests to hit all versions
instead of relying whats installed on the host system.

-D, --data-dir to change the data directory

By default /var/lib/suricata is used. But for various reasons
including permissions and testing it can be useful to change
this.

The data directory serves as the prefix for suricata-update
work directories, including rules/ and update/sources, and
update/cache.

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/2334

travis: switch to pytest for tests

To be consistent with tox.

testing: use tox for unit tests

Tox can test against multiple versions of Python using
virtualenvs.

test: centos 7 based docker live test

This is a test that runs in a Docker image. It installs
suricata-update and executes a sequence of commands looking for
failures.

The test sequence is done with Python 2 and Python 3 as provided
in CentOS 7.

config: use the module singleton for config

This is a common Python pattern giving us a global singleton
config. Making it a bit easier than passing a config object
around everywhere.

python 3 fixups

- enable-source
- update-sources
- setup.py

more specific exception handling when downloading

Only catch and log errors related to downloading such as bad
URLs, or 404 type errors.

Let actual coding error exeptions ripple up, as a catch all
handler here can catch actual code errors causing them to only be
logged and not crash the program during testing.

fix getting cpu on certain platforms

use platform.machine() instead of platform.processor() as its
more reliable

usage: clarify -c is for the update configuration

And not the Suricata config. This is more clear in the docs
just not in the command line help usage.

Version 1.0.0a.

Update source index URL to one hosted by OISF.

doc: point pip commands at the PyPI index

In prep for a release of 1.0.0a, suricata-update will be
available on PyPI.

manifest: add sample update.yaml

add-source: don't use flags for options

Instead making name and url positional args.

We can add a flag to change the meaning of the URL
later.

remove sources that an enabled one replaces

For example, when enabling et/pro, if et/open is enabled,
remove it, as its replaced by et/pro

doc: reorg index

doc: remove-source

doc: disable-source

remove-source - move code to its own file

disable-source: move command to own source file

doc: add page for enable-source

quickstart: remove bit about re-enabling et/open

list-sources: show parameters (if any)

When enabling source, also enable et/open...

But only if the source being enabled is not et/open, or the
source being enabled does not replace et/open.

This is also only done on creation of the directory:
  /var/lib/suricata/update/sources

enable-source: move to own source files

list-sources: show replaces info

doc: add doc for update-sources

Also introduce a common-options file for options that are
common to all commands.

update-sources: move to own source file

Also make the verbose logging info.

doc: re-org into commands

python 3 fix for parsing suricata config output

include suricata version in user agent

doc: add quickstart

doc: fix pulling in version

use a custom user agent

Includes Suricata-Update version, Suricata version, OS name
and processor architecture.

changelog: update

list-sources: colourize

disable rules with proto's not enabled in suricata config

include git revision in version output

env var SOURCE_DIRECTORY to override default...

So tests won't pick up enabled sources...

add --now to skip the timebased check.

doc: rework heading levels

readme: update files and directories

don't require index for url sources

Also logs some exceptions in a more friendly way.

update.yaml: sources is now just a URL list

new commands: add-source, list-sources, list-enabled-sources

sources: resolve urls from index

update-sources: new command to download source index

et pro: mask the secret code

logging: add secret masking

Allows strings to be registered that will be masked
in the log output.

rule parsing: fix infinite loop on missing ;

If the last rule option was missing a ";" the parser would
enter an infinite loop. Instead error out with an exception
that can be logged.

Test case added.

From an reported on the idstools rule parser.

tests: remove BSD license.

All code has been assigned to the OISF under the GPLv2.

change --post-hook to --reload-command

doc: --cache-dir command line argument removed

Ingore cache directory when backing up rules.

Put cache directory under the rules directory.

One less directory to manage permissions on.

fix restoration permission issue after update fail

First attempt to just copy back the data of the files. Then
attempt to copy the mode, as the mode may fail if the user
running suricata-update doesn't own the files, but has permissions
to write to them with group permissions.

fix ET Open by default logic...

Somewhere along the line the behaviour of loading ET Open
if no other URLs were present was lost. Re-add this default
behaviour.

Loading ET-Open by default will happen if:
- no --urls passed on the command line
- no sources provided in the configuration
- no etpro code given

github/codeowners: add OISF/core-team

Add core team so all PRs get a reviewer assigned. When it's @jasonish
it will be just OISF/core-team, otherwise it'll be both. Then
@jasonish can approve in name of core-team as well.