RAdv: Fix flags for deprecated prefixes

When a prefix is deprecated (valid_lifetime == 0), it should be
announced with the same flags as before. The old code announced it
without any flags, which leads to being ignored by recipients.

Note that a prefix could be depreacted for two reason - it is removed
from the interface, or it is deconfigured in BIRD configuration.

Thanks to Michael Saxl for the bugreport.

Tools: Release initialization script

There is a bunch of things one needs to do in gitlab when releasing and
this script simply checks whether there is everything needed and fixes
what is missing,

BMP: Fix crash when exporting a route with non-bgp attributes

Reported-By: Annika Hannig

CI: fix broken debian-11-i386 packaging

The error occured when trying to install 'markupsafe' v3.0.3 python package (dependency of 'apkg') on debian-11-i386 arch.
Fixed by preinstalling older version of 'markupsafe' package before the installation of 'apkg'.

Since the behavior is added to 'pkg-deb-legacy' it also effects packaging of ubuntu-18.04-amd64.
Also debian-11-amd64 is moved to 'pkg-deb-legacy' together with effected debian-11-i386 just for code clarity.

BGP: Fix interface pattern behavior with free bind

In case of free bind, it makes no sense to check for addresses
on the interfaces.

Also added quite some documentation on how this all behaves
in different combinations of options.

BGP: Fix dynamic instance reconfiguration

Every dynamic BGP was torn down on reconfig because the inherited
configuration is a little bit different than the parent one. Fixed this
by applying the same changes before the reconfiguration's memcmp().

This bug was introduced in 56af56a5ab8929bf211bdbe8fef28cb37c2cb7fa.

Also fixed interface pattern reconfiguration which always restarted.
Added not only comparison but also actual reconfiguration of the pattern
itself so that one can update the pattern without restarting a running
BGP session.

Finally, extended documentation a bit to cover dynamic BGP scenarios a
little bit better. Yet, it probably deserves a separate section on
dynamic BGP.

BGP: Fix TCP-AO single key rejection

When one key fails but others are working OK, do not shut down the BGP,
just disable that one key. We intended to do it this way but it somehow
slipped through.

Also added key cleanup in cases where the key addition fails for just
some sockets but not for all.

BGP: Refactoring incoming socket matching

BGP: Rewind MD5 setup on listening sockets on setup failure

BGP: Fixed link-local connections with wildcard local iface

When BGP was configured to accept link-local connections
in combination with interface range, it failed to recognize
that the incoming connection is indeed for that protocol.

BGP: Fixed unnumbered connections with wildcard local IP.

When the BGP was configured onlink with a neighbor range, interface
range and wildcard local IP, the connections failed to establish
because the inferred local IP wasn't properly propagated.

BGP: Interface range bind

For dynamic onlink connections, we need to find out which interface
the connection came in, and we need to pin that connection to
that interface. To achieve that, we create a listening socket
bound to each interface separately, and match the incoming connection
by the socket. Otherwise, the kernel would not give us any information
on where the connection came from.

BGP: Listening socket refactoring

We sometimes need to have multiple listening sockets for one passive
BGP. This refactoring commit updates the appropriate data structures.

Socket: Warnings for link-local addresses without interfaces

In certain corner cases (e.g. mixed global and link-local IPv6 address)
the kernel fails to give us the interface ID. We log a warning for such
a case before a possibly misleading error message is spit out by BGP.

Also pass TCP interface information from parent to child on accept,
if the interface is bound to that interface.

BGP: Show onlink information in CLI

RAdv: Add P-flag to prefer prefix delegation in DHCPv6

Conf: Add warning for symbol overriding keyword

In BIRD configuration, used-defined symbols can override keywords, which
could lead to an unexpected behavior when one tries to use such keyword
in its original meaning.

Filter: Allow merging of intervals in build_tree()

Fixes a bug that overlapping intervals in sets are not processed properly.

L3VPN: Add support for import/export target none and import target all

The patch adds support for 'import/export target none' (or '[]' to
specify an empty set). It can be used when we do not want to import/export
any route from/to the VRF, or if we prefer to set the RT it in filters
(e.g., adding a different RT for different IP prefixes).

The patch also adds support for 'import target all', i.e. all VPN routes
are imported in the VRF IP table regardless of the RTs. Useful when more
complexx policy implemented in filters.

Based on patches from Sébastien Parisot <sparisot@iliad-free.fr>, thanks!

Nest: Function aspa_check() should return ASPA_INVALID for paths containing AS_SET

The aspa_check() uses as_path_getlen() to estimate the size of a buffer,
which does not work for AS_SET segments, because as_path_getlen() returns
length 1 for them regardless of their length. This may cause buffer
overflow and crash.

As AS_SET segments are not valid for ASPA verification, we can just
handle them explicitly. See https://datatracker.ietf.org/doc/html/draft-ietf-sidrops-aspa-verification#section-6

Co-Authored-By: Alarig <alarig@swordarmor.fr>
Minor changes by committer.

CI: Add test of user and groups before and after package installation

Also fix typo and add more descriptive logging to installation test

CI: Add debian trixie to pipeline

CI: Fix installation on newer debian-based distros

Package 'adduser' needs to be installed explicitly

BGP: Do not restart when next hop keep/self is changed

The change in dade7147eb6b62b2d58d478a370baef513d96975 forces BGP to restart
even if next hop self and next hop keep changes, which can be updated just by
reloading export, while explicit next hop address can not.

Related to #280.

CI: Autotests for BGP setting changes

There are actually 144 test variants. Choosing 12 of them, such that:

- m2 may request no RR, basic RR or enhanced RR
- m2 may have any combination of import and export table
- import and export table settings for m1 are pseudorandomized
- the same for multiple variants how to get basic RR negotiated

This should cover all the code with not too much resource consumption.

Implements #239.

BGP: restart on outgoing next hop setting change

When next hop self / keep / address changed, BGP only reloaded
the exports but it didn't apply the changes. To fix this problem
before actually implementing a proper change detection algorithm,
we restart the protocol if this setting changes.

Fixes #280.

Filter: Add more tests for append operator

Filter: Add 'append' operator

We need append() operator to concatenate strings / bytestrings.
Can be also written as '++', (e.g. "abcd" ++ "1234").

CI: adding tests cf-bgp-unnumbered and cf-bgp-error-states

The unnumbered test checks the onlink neighbor scenarios,
and the cf-bgp-error-states checks a regression for BIRD 3
where BGP crashed when listening socket failed to bind.

BGP: Allow onlink neighbors

In certain scenarios, the direct neighbor is not inside any prefix
assigned to the appropriate interface. There is a route for that address
pointing to that interface, though.

In such cases, the user may specify the neighbor as onlink, effectively
disabling the prefix check and trying to connect immediately. It is
expected that the operator ensures that the neighbor is indeed there.

CI: Limit log bloating for netlab runners

There is no useful configurable file size limit for netlab, allowing
the job to eat up all the disk. Thus we limit it directly in the script
by setting ulimit -f to 1G.

CI: Pinned apkg version to 0.5.1 until 0.6.0 is fixed

This workarounds packaging/apkg#114.

CI: split make gitlab to local and venv variant

If you prefer to install python3-jinja2 and pyaml yourself,
run gitlab-local. If you prefer the thing to create a venv
and pip3 all the dependencies, run gitlab-venv.

Doc: Fix documentation for "next hop prefer"

BGP: Add option "next hop prefer local" and use it in direct mode of next hop computation

CLI: Add missing semicolon for option RESTRICT

CLI: Fix memory leak in cli_listen (fixes #285)

CI: add cf-pipe-collision test

CLI: fix display of ambiguos command options listing

When fixing display of two-command help messages, we failed to test that
all the CLI functions still do work as expected.

Fixes: #279
Introduced-In: 457c10267054b999b188164dbf6bc5975838dd31
Reported-By: Артём Варакса <varaksaaa@basealt.ru>

CI: Fix tests for merge requests

The branch name check needed to be extended to include merge requests.
Now for merge requests, we generate a fake branch name.

CI: Fix netlab failure artifact collection

When implementing artifact collection for netlab,
I forgot that the coredumps and logs are generated outside the
repository. Moving the artifacts to the right place for collection.

Introduced in 3d88a81f102783bd4af3d99db1e1f14d14050d6c.

BGP: Disallow AS Sets by default (documentation)

The documentation needed to be updated as well to be consistent
with the code.

Related to #248.

BGP: Disallow AS Sets by default

For a long time, AS Sets have been considered obsolete
but they were still valid by the original RFC. Recently,
RFC 9774 flipped this and AS Sets are now formally deprecated.

Therefore, all BGP sessions will now by default reject routes
containing AS Sets in their AS Paths. If you want to keep the
old behavior, you may simply state

    allow as set;

in every BGP protocol configuration where you want to accept AS Sets.

This closes #248.

CI: Add tests rip-vrf, ibgp-bfd-auth, ebgp-bfd-auth

BGP: Restart if route refresh is impossible on attribute change

In previous commit, we force route refresh when some protocol attributes
change. Yet, when the neighbor doesn't support route refresh, we have to
restart the session, not send an unsupported request.

Note: if the neighbor is restarting right now with graceful restart
enabled, we keep the stale routes until the neighbor converges again.

Related to #268

BGP: Do route refresh after preference change

Reconfiguration of preference is handled by nest code by asking for
reload, but in case of BGP with import table, that just reloaded routes
with the old preference. In BGP, we can handle that by triggering full
route refresh.

Although, it would be probably better to set preference in nest, when
a route is propagated from the import table.

Nest: Fix route update after preference change

The route preference was ignored in route comparison, therefore if
a protocol changed it and then reloaded routes, they were ignored
and routes with the old prefernce were kept.

The bug was introduced 5 years ago, when preference was moved from
struct rte to struct rta.

CI: Note on how to trigger image rebuild when adding new dockerfile.

CI: Added Docker for Rocky Linux 8 and 9.

Updated both to supported versions 8.10, 9.5.

CI: Add package install tests.

We are checking that generated BIRD packages can be installed and run.
Communication between bird and birdc is also tested.

This fixes #202

CI: Add systemd installation to Fedora Dockerfiles and make exception in bird.spec for CentOS and OpenSUSE distros.

CI: added new ASPA tests.

Gitlab: fix cleanup after failed netlab

I forgot to add cd command to move to the right directory.

CI: Stayrtr binary has moved elsewhere

Installed our local version supporting RTRv2 and ASPA

Gitlab: properly cleanup after failed netlab jobs

Also keeps artifacts from failed netlab jobs to allow for
easier debugging

BGP: Improve log messages in reconfiguration

Use separate messages for import / export reload triggered by
reconfiguration.

Conf: Silence grammar conflict warning

There is one harmless grammar ambiquity that is hard to avoid, so let
just document it and silence it.

BGP: Minor refactoring of capability write

Nest: Improve grammar rule for interface patterns

Interface options should allow constants/expressions for name patterns.

Thanks to Arnaud Gomes-do-Vale for the bugreport.

Static: Improve grammar rule for static route next hops

Static routes should allow constants/expressions for interface names in
next hops.

Conf: Fix cases where lexer tokens are used instead of parser rules

Conf: Switch options should use boolean values

Fix switch options to use boolean constants and expressions intead of
integer ones. Still allow integer values with deprecation warning.

Also, allow true/false in addition to on/off and yes/no.

Conf: Improve parsing of config datatypes

Parser rules for configuration datatypes were inconsistent about whether
they accept literals, constants, or expressions. We should accept each
of these three everywhere.

The patch also simplifies the grammar, makes it more uniform, and adds
some documentation about that.

Conf: Fix invalid check in text_or_ipa grammar

Can cause crash when a bad expression is used.

Version script: fix detached mode

Build: call tools/version with sh

As tools/version has a shebang line, it should be
fine to just call it without specifying bash.

Calling bash explicitly may lead to inconsistency,
as the first line of tools/version indicates /usr/bin/sh
but the script is always executed with bash.
And, it adds bash as a new build dependency.

Signed-off-by: xtex <xtexchooser@duck.com>

NEWS and version update

Tag checking

Adding a script to gather all information about the current release and
confirm that it is indeed ready for departure.

CI: Checking that the reported version is actually the built one

CI: Packages are built from the single release tgz package

CI: Tasks generated from a data file and template

Instead of directly editing .gitlab-ci.yml, the pipeline definition is
generated by a script from a much shorter file defining the required
tests, and templated.

Version and release scripting

Version number moved to a separate file as a primary source of truth.

Added tools/release-commit to make the release process a little bit faster.

Fixes #218

CI: Immediately fail if WIP commits pushed to a stable branch

CI: no pipeline for WIP commits

We'd like to encourage team members to push WIP work to Gitlab. Such
work often fails to build and therefore we run no tests for these
branches.

BGP: Update obsolete RFC 8203 to newer RFC 9003

BSD: Silence some warnings

BSD: Fix build on NetBSD

Newer NetBSD versions removed RTF_LLINFO and added RTF_LLDATA.
In FreeBSD, RTF_LLINFO is obsolete, but still defined.

CI: Add builds on new NetBSD workers

BGP: Fix crash when incoming connection for disabled protocol arrives

The function bgp_find_proto() may return a protocol in DOWN state, but
ao.keys (as most protocol data) are only valid in non-DOWN state.

Silence some warnings

CI: Add builds on new OpenBSD workers

CI: Add FreeBSD 14 and netlink builds for FreeBSD 13 and 14.

CI: Do not rebuild Docker images for test builds for new branches

New branch considers all files changed. We don't want to rebuild all
docker images for new branches; that's just a waste of time and energy.

There is a better way for future -- a much better fine-grained control
may be obtained by running secondary pipelines.

fixes #212

cli/commands: Help for multiple word command did not show properly.

Possible commands are stored as keywords, each keyword has its own structure.
The last acceptable keyword structure contains string with hint. But when the hint was printed only direct child
of the base keyword was considered. If it was multi keyword command, the first child did not carry any hint to print,
so it was ignored.

Now, if we don't find a hint in a child, we recursively search in grandchildren.

CI: enable Fedora 42: image, build, package.

Docker: added lost docker file for Fedora 42.

Docker: lost files for OpenSuse 15.4, 15.5

Doc: Minor corrections in README and INSTALL

- Licence to License - also in code comments.
- copyright date until now.
- updated license text from gnu.org
- added command to build bird documentation.

CI: Fix missing srcdir in path to tools/version

CI: fix test collisions between branches (again)

The build-netlab job was side-effecting the test-* jobs,
and if for some reason Gitlab scheduled build-netlab before
other pipeline's test-* jobs finished, these jobs got a wrong
binary, possibly failing. Solved by using explicit artifacts, which is
not the fastest way to do this (we could keep the binaries named there)
but it's the gitlab-right way to do this.

(Re-committed, was accidentally removed by one of previous commits)

NEWS and version update

Release tools: fix several bugs in version number detection

Forgetting to do proper checks, I merged a buggy release tools update
not detecting the right version (mostly if tagged).

Doc singlepage: add bold handler

Docker build machinery: a little bit of documentation

CI: Massive update of build and test runners

Fixed and added current distros, deleted certain EOL distros,
sorted things in the CI file.

With some heavy lifting and comments by Maria.

Signed-Off-By: Maria Matejka <mq@jmq.cz>

Fix dependecy issue with bs4 on legacy distros

Fix getting the version tag. Now it should also support older versions of git

Readd CentOS 7 to CI build and package process

Add archived repositories for CentOS 8

Remove links to czech repos in EOL debians and add archived repos for debian 9