changelog: update

update min-version required

github: update links in the PR template

Links were still pointing to Redmine and suricata-ids.

misc: fix (more) escape warnings in re patterns

github-ci: cancel on push, read only permissions

github-ci: add fedora 39, remove fedora 37

doc: add a readthedocs configuration file

misc: fix escape warnings in re patterns

tox: test on python 3.9 -> python 3.11

datasets: fix parsing "load" when preceded by a space.

Ticket: #6777

version: 1.3.1dev0

version, changelog: 1.3.0

config: prefer configuration specified files

Suricata-Update was preferring the existence of "disable.conf" in
$sysconfdir over it be specified in the update.yaml.

Refactor the auto-conf to only search and apply the default
$sysconfdir files if they don't already exist in the config.

Additonally, now that the default, if not set or found will be none,
log a warning if a specific configuration file is not found instead of
silently ignoring.

Ticket: #6172

github-ci: update debian tests

- Add Debian 11 and 12
- Remove Debian 9

github-ci: remove ubuntu 16.04 test

Ubuntu 16.04 is now longer supported.

github-ci: update fedora tests

Use Fedora 38 and 37 instead of 36 and 35.

version: 1.3.0rc1

index: update embedded index

Now pretty.

index: embed pretty printed version of index

This will allow for easier reviewing of diffs.

changelog: sync with 1.2.x branch

doc: now bundled with all versions of Suricata

Also recommend its best installed as bundled with Suricata.

index: update embedded index

matching: match on rule metadata

Allow metadata matching for enable and disable. For example:

    metadata: deployment perimeter

will match rules with "metadata: deployment Perimeter".

Match is case insensitive.

Ticket: #5561

update: allow index "checksum" value to be a url

If the checksum field in the index is a string, use it as the checksum
URL. This allows a source to specify a custom checksum URL instead of
the derived ".md5" URL.

Ticket: #5684

source: better error if source spec missing "source" keyword

Related ticket: #5141

changelog: sync with master-1.2.x

As no 1.3.0 releases have been made up, cleanup the changelog.

github-ci: fix pytest on MacOS

github-ci: add Ubuntu 22.04 test

github-ci: replace Fedora 34 test with Fedora 36

Fedora 34 is EOL.

github-ci: add almalinux 9 build

At this time, tox and pytest don't install cleanly from packages on
the RHEL spinoffs, so just do the integration tests for now.

index: update embedded index

tests/docker: remove ubuntu 16.04 build, EOL

entry point: update sys.path for non-distutils install

When bundled with Suricata, Suricata-Update will not be installed with
distutils/setuptools and will be installed in a custom location. Update
the search path for these changes.

This will still work correctly if installed from pip, or running from a
custom directory not bundled with Suricata.

Issue: #5313

Remove line of debug output.

changelog: update

Better URL fail message on with --fail.

If --fail, we wil not use the cached version.

main: add fail option and handle it

Ticket 4579

main: use format for error strings

Don't fail when source removed from index.

Instead of failing when an enabled source is no longer in the index, log
an error and continue onto the next source.

Ticket 5269

modify: metadata-add filter

A new addition to `modify.conf` that allows for adding a new metadata.

Example configuration lines:
  metadata-add re:"SURICATA STREAM" "evebox-action" "archive"
  metadata-add 2010646 "evebox-action" "archive"

Matching rules will have a new `metadata` section added onto the end of
the rule.

Ticket #5221

datasets: dataset handling for --local files

Look for datasets on the filesystem when referenced from rules loaded
with "--local".

datasets: disable rule if file not found

If a dataset file is not found for load, print a warning and disable the
rule. This will allow Suricata to pass the -T test so the working rules
are updated instead of rolling back.

datasets: rewrite dataset filenames to a hash of the filename

Prevents dataset filenames from different rulesets that share the same
name from overwriting each other.

datasets: fix path handling issues

handle dataset files properly

- Cover edge cases for invalid dataset rules
- Handle "state" attribute
- Make checks more robust

Ticket 5010

Respect Suricata's install location when loading config.

During startup change the default locations of S-U configuration files
(enable.conf, disable.conf, etc) to be relative to the installed
Suricata's --sysconfdir, but only if they exist.  This keeps the
fallback behaviour to /etc/suricata for now.

Ticket #4374

changelog: add fix for issue 4373

checkversions: fix wrong version checks

Ticket 4373

github-ci: update fedora tests to f34 and f35

github-ci: convert centos 8 build to almalinux 8

changelog: update

Add warning to update sources if no index found

Don't automatically update the sources on list-sources
if it does not exist. Instead just use the bundled version.

Ticket #3249.

help output: hide advanced options behind a flag

Cleaning up the suricata help output and hiding the extra options
behind a "--show-advanced" option.

Hidden options are:

* --user-agent <user-agent>
* --no-check-certificate
* --yaml-fragment <filename>
* --url <url>
* --local <path>
* --sid-msg-map <filename>
* --sid-msg-map-2 <filename>
* --ignore <pattern>
* --no-ignore
* --threshold-in <filename>
* --threshold-out <filename>
* --dump-sample-configs
* --etopen
* --reload-command <command>
* --test-command <command>
* --no-merge

Ticket #3974.

doc: add --show-advanced to common options

Ticket #3974.

logging: Improve flowbit logs

Add and update debug logs for flowbit requirements to display pass

Ticket #3205.

trivial typo in comment

changelog: update

Fix counter accuracy.

Instead of counting how many modifications took place, just
count the number of rules that were modified.

Fix multiple modifications not having an affect.

In the case where multiple modifications changed a rule (drop included),
only the last modification took affect.

This is due to the modifications each being done on a clean version of
the rule, rather than the previously modified version of the rule.

Ticket #4259

tests: add integration tests for multiple modifications

integration tests: format

index: allow custom url for embedded index update

Doc: Improve documentation of Suricata reload.

Redmine issue: https://redmine.openinfosecfoundation.org/issues/4564

doc: fix formatting error

changelog: update

Allow more characters in the custom headers

Allow more characters in the custom header regular expression to
allow for Oauth2 tokens.

Feature #4701.

[Commit message rewritten by jish@oisf.net with permission]

tests: fix checksum test for new argument type

Use HTTP-Headers for checksum request

changelog: update

testing: remove python 3.5, add python 3.8

Python 3.5 has been end of lifed.

conf: allow no-test in configuration file

If no-test was set in the configuration file, it was always
being overridden by the command, even if not set on the command
line. This change allow no-test to be set in the configuration file
like:

no-test: true

Redmine issue:
https://redmine.openinfosecfoundation.org/versions/168

changelog: update

github-ci: add Ubuntu 20.04

github-ci: add fedora 33, remove fedora 31 (eol)

travis-ci: remove, appears they haven't been building

And GitHub CI has all these tests covered.

tests: add integration test for --http-header

HTTP BasicAuth support.

Allow whitespaces in entire HTTP header value.

This enables HTTP Basic Authentication.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4362

version: 1.3.0dev0

version: 1.2.1

doc: remove --merged option

This option was never implemented and is an artifact of the tools
suricata-update was based on.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4215

changelog: update

fix: fix --no-merge option

The no-merge handling was not updated when the file storage
was converted to a list causing it to fail.

Also add a --no-merge test to our integration test.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/4324

github-ci: fix MacOS test

Make sure Python 3 is used.

github-ci: remove CentOS 6 build

CentOS 6 has been end of lifed.

1.2.0: update version and changelog

doc: update quick start to be current

doc: disable default code formatting for code blocks

Code blocks were by default being highlighted as Python, but
for Suricata-Update most code blocks are command lines, so
disable language highlighting by default.

1.2.0rc2

Handle obsolete sources.

An obsolete source is a source that remains in the index but
is otherwise non-functional.

Much like deprecated sources it won't be displayed in list-sources
without the --all flag.

Obsolete sources will never be fetched. Instead a warning will be
printed with the obsolete reason.

Handle deprecated sources in index.

Handle sources that have been deprecated in the index.

Deprecated sources will not be display with "list-sources" unless
the (new) --all flag is provided.

Also, warn the user if they are using a deprecated source with
the reason.

fix message containing tuple

allow re-enabling disabled sources

Closes redmine ticket 3843.

list-sources: keep list-enabled-sources as an alias

Keep list-enabled-sources for backwards compatibility.

dataset parsing: handle spaces between ","

Fix dataset parsing so the filename can be parsed from:

  dataset:isset, sslbl, type md5, load sslbl-fingerprints.md5;

Load files into list, not dict to keep duplicate filenames

By loading all downloaded rule files into the same dict, filenames
that are the same cause other files to be lost, and the content
may be different.

Instead use of list objects that tracks the filename and the content
to avoid losing the contents of a filename that already exists.

If the contents is duplicated, the rule deduplication process
will catch that.

Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/3174

Make list-enabled-sources command as an option for list-sources

Removed `list-enabled-sources` command  and made use of single
command `suricata-update list-sources --enabled` to list all
the enabled sources.

Redmine issue:
        https://redmine.openinfosecfoundation.org/issues/3248

Shorten the state of being written for rule files

In an attempt to have shorter window for rule files of being written,
write the rules at first to `<filename>.tmp` and then rename the file.

Closes Redmine ticket #2327

Use tempdir to log output with tests

Closes redmine ticket 3262.

doc: Add order of application of config files

Closes redmine ticket 3535.

modify.conf: add more examples of usage

Closes redmine ticket 3550.