add-source: don't use flags for options

Instead making name and url positional args.

We can add a flag to change the meaning of the URL
later.

remove sources that an enabled one replaces

For example, when enabling et/pro, if et/open is enabled,
remove it, as its replaced by et/pro

doc: reorg index

doc: remove-source

doc: disable-source

remove-source - move code to its own file

disable-source: move command to own source file

doc: add page for enable-source

quickstart: remove bit about re-enabling et/open

list-sources: show parameters (if any)

When enabling source, also enable et/open...

But only if the source being enabled is not et/open, or the
source being enabled does not replace et/open.

This is also only done on creation of the directory:
  /var/lib/suricata/update/sources

enable-source: move to own source files

list-sources: show replaces info

doc: add doc for update-sources

Also introduce a common-options file for options that are
common to all commands.

update-sources: move to own source file

Also make the verbose logging info.

doc: re-org into commands

python 3 fix for parsing suricata config output

include suricata version in user agent

doc: add quickstart

doc: fix pulling in version

use a custom user agent

Includes Suricata-Update version, Suricata version, OS name
and processor architecture.

changelog: update

list-sources: colourize

disable rules with proto's not enabled in suricata config

include git revision in version output

env var SOURCE_DIRECTORY to override default...

So tests won't pick up enabled sources...

add --now to skip the timebased check.

doc: rework heading levels

readme: update files and directories

don't require index for url sources

Also logs some exceptions in a more friendly way.

update.yaml: sources is now just a URL list

new commands: add-source, list-sources, list-enabled-sources

sources: resolve urls from index

update-sources: new command to download source index

et pro: mask the secret code

logging: add secret masking

Allows strings to be registered that will be masked
in the log output.

rule parsing: fix infinite loop on missing ;

If the last rule option was missing a ";" the parser would
enter an infinite loop. Instead error out with an exception
that can be logged.

Test case added.

From an reported on the idstools rule parser.

tests: remove BSD license.

All code has been assigned to the OISF under the GPLv2.

change --post-hook to --reload-command

doc: --cache-dir command line argument removed

Ingore cache directory when backing up rules.

Put cache directory under the rules directory.

One less directory to manage permissions on.

fix restoration permission issue after update fail

First attempt to just copy back the data of the files. Then
attempt to copy the mode, as the mode may fail if the user
running suricata-update doesn't own the files, but has permissions
to write to them with group permissions.

fix ET Open by default logic...

Somewhere along the line the behaviour of loading ET Open
if no other URLs were present was lost. Re-add this default
behaviour.

Loading ET-Open by default will happen if:
- no --urls passed on the command line
- no sources provided in the configuration
- no etpro code given

github/codeowners: add OISF/core-team

Add core team so all PRs get a reviewer assigned. When it's @jasonish
it will be just OISF/core-team, otherwise it'll be both. Then
@jasonish can approve in name of core-team as well.

rule parsing: don't warn if no msg present

issue 2261: don't fail on empty "local"

If local existed, but was empty, YAML would make it a None
value instead of the default empty list.

For local and sources, make sure they are an empty list after
loading instead of None.

rule testing: don't fail because of ASAN leak warnings

Fix Oinkmaster modifysid with group name.

Make the group name matcher the last matcher to be parsed,
and accept the match spec if it ends with .rules and not
prefixed with group.

This was broken while fixing up other issues in group name
parsing to make it more predictable.

Initial import of Suricata-Update.

Suricata-Update is a tool for updating Suricata rules. Based
on idstools-rulecat, but relicensed under the GPL and contributed
to the OISF.