changelog: update

doc: include common options with all commands

integration test - executes suricata-update

And checks exit codes and outputs. Can be run
as a script, or as a tox setup where it will
be run under multiple Python versions.

remove integration test from unit tests.

allow default et/open url to be set from env

Allows the default et/open URL to be set with the
environment variable ETOPEN_URL. Mainly useful with tests
to avoid hitting the network.

list-sources: update-sources if no index found

Issue:
https://redmine.openinfosecfoundation.org/issues/2336

rework parser to support global options before subcommand

Allows to do something like:
suricata-update --verbose update-sources
OR
suricata-update update-sources --verbose
having the same result.

tests: remove specific python2 and python3 tests

With tox, the tests are run under multiple versions of Python.
Just use the interpreter running the tests to hit all versions
instead of relying whats installed on the host system.

-D, --data-dir to change the data directory

By default /var/lib/suricata is used. But for various reasons
including permissions and testing it can be useful to change
this.

The data directory serves as the prefix for suricata-update
work directories, including rules/ and update/sources, and
update/cache.

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/2334

travis: switch to pytest for tests

To be consistent with tox.

testing: use tox for unit tests

Tox can test against multiple versions of Python using
virtualenvs.

test: centos 7 based docker live test

This is a test that runs in a Docker image. It installs
suricata-update and executes a sequence of commands looking for
failures.

The test sequence is done with Python 2 and Python 3 as provided
in CentOS 7.

config: use the module singleton for config

This is a common Python pattern giving us a global singleton
config. Making it a bit easier than passing a config object
around everywhere.

python 3 fixups

- enable-source
- update-sources
- setup.py

more specific exception handling when downloading

Only catch and log errors related to downloading such as bad
URLs, or 404 type errors.

Let actual coding error exeptions ripple up, as a catch all
handler here can catch actual code errors causing them to only be
logged and not crash the program during testing.

fix getting cpu on certain platforms

use platform.machine() instead of platform.processor() as its
more reliable

usage: clarify -c is for the update configuration

And not the Suricata config. This is more clear in the docs
just not in the command line help usage.

Version 1.0.0a.

Update source index URL to one hosted by OISF.

doc: point pip commands at the PyPI index

In prep for a release of 1.0.0a, suricata-update will be
available on PyPI.

manifest: add sample update.yaml

add-source: don't use flags for options

Instead making name and url positional args.

We can add a flag to change the meaning of the URL
later.

remove sources that an enabled one replaces

For example, when enabling et/pro, if et/open is enabled,
remove it, as its replaced by et/pro

doc: reorg index

doc: remove-source

doc: disable-source

remove-source - move code to its own file

disable-source: move command to own source file

doc: add page for enable-source

quickstart: remove bit about re-enabling et/open

list-sources: show parameters (if any)

When enabling source, also enable et/open...

But only if the source being enabled is not et/open, or the
source being enabled does not replace et/open.

This is also only done on creation of the directory:
  /var/lib/suricata/update/sources

enable-source: move to own source files

list-sources: show replaces info

doc: add doc for update-sources

Also introduce a common-options file for options that are
common to all commands.

update-sources: move to own source file

Also make the verbose logging info.

doc: re-org into commands

python 3 fix for parsing suricata config output

include suricata version in user agent

doc: add quickstart

doc: fix pulling in version

use a custom user agent

Includes Suricata-Update version, Suricata version, OS name
and processor architecture.

changelog: update

list-sources: colourize

disable rules with proto's not enabled in suricata config

include git revision in version output

env var SOURCE_DIRECTORY to override default...

So tests won't pick up enabled sources...

add --now to skip the timebased check.

doc: rework heading levels

readme: update files and directories

don't require index for url sources

Also logs some exceptions in a more friendly way.

update.yaml: sources is now just a URL list

new commands: add-source, list-sources, list-enabled-sources

sources: resolve urls from index

update-sources: new command to download source index

et pro: mask the secret code

logging: add secret masking

Allows strings to be registered that will be masked
in the log output.

rule parsing: fix infinite loop on missing ;

If the last rule option was missing a ";" the parser would
enter an infinite loop. Instead error out with an exception
that can be logged.

Test case added.

From an reported on the idstools rule parser.

tests: remove BSD license.

All code has been assigned to the OISF under the GPLv2.

change --post-hook to --reload-command

doc: --cache-dir command line argument removed

Ingore cache directory when backing up rules.

Put cache directory under the rules directory.

One less directory to manage permissions on.

fix restoration permission issue after update fail

First attempt to just copy back the data of the files. Then
attempt to copy the mode, as the mode may fail if the user
running suricata-update doesn't own the files, but has permissions
to write to them with group permissions.

fix ET Open by default logic...

Somewhere along the line the behaviour of loading ET Open
if no other URLs were present was lost. Re-add this default
behaviour.

Loading ET-Open by default will happen if:
- no --urls passed on the command line
- no sources provided in the configuration
- no etpro code given

github/codeowners: add OISF/core-team

Add core team so all PRs get a reviewer assigned. When it's @jasonish
it will be just OISF/core-team, otherwise it'll be both. Then
@jasonish can approve in name of core-team as well.

rule parsing: don't warn if no msg present

issue 2261: don't fail on empty "local"

If local existed, but was empty, YAML would make it a None
value instead of the default empty list.

For local and sources, make sure they are an empty list after
loading instead of None.

rule testing: don't fail because of ASAN leak warnings

Fix Oinkmaster modifysid with group name.

Make the group name matcher the last matcher to be parsed,
and accept the match spec if it ends with .rules and not
prefixed with group.

This was broken while fixing up other issues in group name
parsing to make it more predictable.

Initial import of Suricata-Update.

Suricata-Update is a tool for updating Suricata rules. Based
on idstools-rulecat, but relicensed under the GPL and contributed
to the OISF.