BMP: Build by default, it is no longer experimental.

Release: Tag script with all checks

This commit also allows running from a different repository, so that we
can test the release process without mingling with the public one.

CI: Build packages on release commits always

We need to check whether everything works correctly before actually
pushing to stable branches.

CI: Disable unstable OpenBSD 7.5 build

For whatever reason, the builder is unstable. We'll investigate this later.

Issue: #388

Log: Set a reasonable lower bound for the log file size limit

The log rotation needs a minimal file size. The 16 kB limit imposed
by this commit effectively allows about 150 lines to fit into one file,
and by that all the accompanying log messages (e.g. with debug latency)
fit into there and don't cause another rotation.

Issue: #370

CI: Fix corefile download from Netlab

CI: Ignore THP disable warning for crossbuilds

Crossbuilds are run in qemu-user which doesn't support
disabling transparent huge pages.

CI: Build both userdoc and progdoc in the release

Doc: Programmer documentation formatting for new website

Doc: Ignore date and documentid

Introduced by reproducible builds.

CI: Crossbuilds for Debian and Ubuntu inside our docker machinery

Several architecture variants are failing for obscure reasons.
Disabled for now, will check later.

CI: Templated gitlab dockerfiles

This allows to add new distributions and mass-modify build environments
at a single place if any such need occurs. Also there is less risk that
some file is omitted if modifying multiple places in the same way.

There is also a check re-generating the templates in the CI and failing
immediately if they are not up-to-date.

CI: Refactored gitlab files to one directory

Now the gitlab dockerfiles are inside the gitlab directory and it's
outside misc/ as it never actually belonged to misc.

CI: Pipeline consistency checker

Tries to re-generate the pipeline specification and fails if it would
have done any changes.

CI: Display pipeline name based on its source

CI: Refactoring of pipeline job rules

Implemented:

- manual and scheduled pipeline run support
- inputs to explicitly choose which job categories to run
- docker rebuild only manually
- no packaging for development branches

CI: Split the makefile out, add documentation

DEB: Enable local crossbuild

Running everything inside the pbuilder is slower than needed
and the packages build well even without the fully contained
environment.

ASPA: Document our aspa_check() implementation.

There are certain design choices behind the implementation,
and as the ASPA algorithm is quite complex even in the specification,
we should add some explanation here.

Our approach is not directly following the specification, as checking
the authorized() function specified in the draft is performance-heavy.

Also, there are some more future plans with this, and they deserve
documenting as well.

CI: Disabling simple ASPA tests in Netlab

These tests are better done in filter/test.conf as a unit test.

ASPA: Fix downstream check for two-point apex

The ASPA algorithm is quite complex if one wants to execute it fast.
Most notably, the performance-critical part is looking up the ASPA
records, and we are trying to reduce that to minimum.

Yet, in that effort, we missed the fact that in the downstream
algorithm, the down-ramp and up-ramp may touch, i.e. their top ends
have a lateral peering.

The original idea was to find the point where the down-ramp is
impossible to be extended, and from there on, the algorithm is basically
just the upstream algorithm. But it isn't, most notably with the lateral
peering scenario it is much more complex than this.

This issue was discovered by several people, and got a fix submitted by
Evann DREUMONT. That fix was correct but replaced the algorithm too
deeply. We don't want to do such large changes (including semantics)
inside the stable versions, and we have some more plans with all of this
considering performance, as soon as more ASPA records emerge.

This patch therefore simply removes the force_upstream shortcut from
where the down ramp is terminated, fixes the downstream code so that
it works without that shortcut, and explicitly allows the two-apex
downstream scenario.

Original-By: Evann DREUMONT <evann@grifon.fr>

ASPA: Finish official test case coverage

This commit implements missing test cases based on the official ASPA
path verification examples to expand coverage.

Also, one of the custom test was incorrect, because while there is no valid
ASPA this could be seen, from a downstream perspective, as peering.

This commit was originally a complete fix of the ASPA verification.
Reduced significantly by committer.

Filter: Document and extend ASPA verification tests

These extensions minimalistically replicate the downstream bug reported
by Evann DREUMONT. (See next commit.)

Issue: #355

CI: Always checkout master of bird-tools for netlab

BGP: Automatic peering based on discovered neighbors

Extend existing dynamic BGP code to support spawning of active BGP
instances for discovered neighbors.

The existence of such dynamic BGP instances is controlled by exporting
information from a table containing neighbor entries through a newly
introduced neighbor channel. This means that the feature will only work
if there is another protocol responsible for discovering and announcing
neighbor entries (e.g. RAdv with 'router discovery' enabled).

Based on the patch from Matteo Perin <matteo.perin@canonical.com>, thanks!

RAdv: Router discovery based on incoming Router Advertisments

Up until this point no much use has been make of incoming RAs, this commit
tries to amend that by announcing peer-based routes to a new peer channel.
This will allow to use the information discovered about remote routers
by other protocols.

RA staleness has also been taken into consideration and the routes are
withdrawn whenever the advertised router lifetime expires.

The feature is meant to be enabled via a new configuration option in
the RAdv protocol called router discovery [yes/no].

Minor changes by committer.

Nest: Add net_addr_nbr route type to track discovered neighbors

The definition and helper functions for a new route-like object to track
peer discovery data has been added. It only contains the (v4 or v6)
neighbor address and the ingress iface index, for now.

The main intent of this is, currently, to enable BGP unnumbered auto
peer discovery via RAdv incoming advertisments, but in the future the
same data structure could be used to allow discovery coming from
different protocols.

Minor changes by committer.

Nest: Improve reconfiguration of dynamic BGP

During reconfiguration, first add all existing dynamic protocols to the
new BGP config to ensure that there is already full set of protocols
when reconfiguration hooks for individual protocols are called.

Also, bgp_spawn() should not be called when parent BGP is not yet
configured, otherwise we would end with an old proto_config linked
from the new configuration.

BGP: Refactor bgp_spawn()

Filter: Fix definition after label

Filter: Fix string ordering

Function strcmp() returns negative / 0 / positive, but val_compare()
is expected to return -1 / 0 / 1.

Lib: Fix mem_hash_mix_str() infinite loop/OOB read

Netlink: Fix handling of RTAX_CC_ALGO netlink attribute

The kernel-provided congestion control algorithm (RTAX_CC_ALGO) is stored in
an EAF_TYPE_STRING adata blob without the terminating NULL. When exporting
metrics back to netlink, the value is treated as a C string and passed to
nl_add_attr_str(), which uses strlen(str)+1. This may read past the allocated
adata and leak adjacent memory or crash.

Minor change by committer.

NEWS and version update

CI: Packaging cleanup

With the removal of APKG, we don't need to split out "-legacy" DEB with
old python, and "-wa" RPM with an obscure sed applied to specfile which
never actually did anything since added in 2021.

CI: No more APKG in packaging

We have had minor and subtle but repeating problems with the APKG
dependency chain and its overall usability. It has become apparent
that we actually don't need that kind of abstraction layer because
all our problems are actually solvable by just a bunch of short scripts.

With that, we are now using the (standard) dpkg-buildpackage and
rpmbuild tools directly from bash script.

From now on, with just several exceptions, all our distribution builds
should be fully reproducible.

Source package and documentation builds are now reproducible

We now explicitly set the PDF build datetime to commit datetime, and we
also clean all the file metadata in the TGZ archives, so that the
generated archives are now bit-identical.

Lib: Fix comments so that progdoc is deterministic

For some weird reason, the old Perl code behaves non-deterministically on
@foo() and there is no clear explanation why. The snails should not be there
anyway so removing them.

CI: Update supported distributions

+ OpenSUSE 16.0 (by David Petera)
+ Oracle Linux 8, 9 and 10 (fork of RHEL)
+ Fedora 43
+ Ubuntu 25.04 and 25.10.

- Debian 10 is too oldstable.
- Ubuntu 24.10 is EOL.

Doc: Unfix the stable release version in singlepage doc build

Doc: Readme update, website is bird.nic.cz

Updating links to the old website to point to the new website, where
relevant.

Also updated other links in README and some clearly outdated texts.

Doc: Building singlepage version with the appropriate template

Minor typos in error messages

Reported-By: Marco d'Itri <md@linux.it>

Conf: Check for enabled pthreads when using BFD

BFD protocol strictly depends on pthreads being enabled,
but the compilation configuration checks do not reflect it now.

Add a check for pthreads when BFD is included in the
configured protocols.

Thank you Alexander Zubkov <green@qrator.net> for the report and patch!

Closes: #306

RAdv: Fix flags for deprecated prefixes

When a prefix is deprecated (valid_lifetime == 0), it should be
announced with the same flags as before. The old code announced it
without any flags, which leads to being ignored by recipients.

Note that a prefix could be depreacted for two reason - it is removed
from the interface, or it is deconfigured in BIRD configuration.

Thanks to Michael Saxl for the bugreport.

Tools: Release initialization script

There is a bunch of things one needs to do in gitlab when releasing and
this script simply checks whether there is everything needed and fixes
what is missing,

BMP: Fix crash when exporting a route with non-bgp attributes

Reported-By: Annika Hannig

CI: fix broken debian-11-i386 packaging

The error occured when trying to install 'markupsafe' v3.0.3 python package (dependency of 'apkg') on debian-11-i386 arch.
Fixed by preinstalling older version of 'markupsafe' package before the installation of 'apkg'.

Since the behavior is added to 'pkg-deb-legacy' it also effects packaging of ubuntu-18.04-amd64.
Also debian-11-amd64 is moved to 'pkg-deb-legacy' together with effected debian-11-i386 just for code clarity.

BGP: Fix interface pattern behavior with free bind

In case of free bind, it makes no sense to check for addresses
on the interfaces.

Also added quite some documentation on how this all behaves
in different combinations of options.

BGP: Fix dynamic instance reconfiguration

Every dynamic BGP was torn down on reconfig because the inherited
configuration is a little bit different than the parent one. Fixed this
by applying the same changes before the reconfiguration's memcmp().

This bug was introduced in 56af56a5ab8929bf211bdbe8fef28cb37c2cb7fa.

Also fixed interface pattern reconfiguration which always restarted.
Added not only comparison but also actual reconfiguration of the pattern
itself so that one can update the pattern without restarting a running
BGP session.

Finally, extended documentation a bit to cover dynamic BGP scenarios a
little bit better. Yet, it probably deserves a separate section on
dynamic BGP.

BGP: Fix TCP-AO single key rejection

When one key fails but others are working OK, do not shut down the BGP,
just disable that one key. We intended to do it this way but it somehow
slipped through.

Also added key cleanup in cases where the key addition fails for just
some sockets but not for all.

BGP: Refactoring incoming socket matching

BGP: Rewind MD5 setup on listening sockets on setup failure

BGP: Fixed link-local connections with wildcard local iface

When BGP was configured to accept link-local connections
in combination with interface range, it failed to recognize
that the incoming connection is indeed for that protocol.

BGP: Fixed unnumbered connections with wildcard local IP.

When the BGP was configured onlink with a neighbor range, interface
range and wildcard local IP, the connections failed to establish
because the inferred local IP wasn't properly propagated.

BGP: Interface range bind

For dynamic onlink connections, we need to find out which interface
the connection came in, and we need to pin that connection to
that interface. To achieve that, we create a listening socket
bound to each interface separately, and match the incoming connection
by the socket. Otherwise, the kernel would not give us any information
on where the connection came from.

BGP: Listening socket refactoring

We sometimes need to have multiple listening sockets for one passive
BGP. This refactoring commit updates the appropriate data structures.

Socket: Warnings for link-local addresses without interfaces

In certain corner cases (e.g. mixed global and link-local IPv6 address)
the kernel fails to give us the interface ID. We log a warning for such
a case before a possibly misleading error message is spit out by BGP.

Also pass TCP interface information from parent to child on accept,
if the interface is bound to that interface.

BGP: Show onlink information in CLI

RAdv: Add P-flag to prefer prefix delegation in DHCPv6

Conf: Add warning for symbol overriding keyword

In BIRD configuration, used-defined symbols can override keywords, which
could lead to an unexpected behavior when one tries to use such keyword
in its original meaning.

Filter: Allow merging of intervals in build_tree()

Fixes a bug that overlapping intervals in sets are not processed properly.

L3VPN: Add support for import/export target none and import target all

The patch adds support for 'import/export target none' (or '[]' to
specify an empty set). It can be used when we do not want to import/export
any route from/to the VRF, or if we prefer to set the RT it in filters
(e.g., adding a different RT for different IP prefixes).

The patch also adds support for 'import target all', i.e. all VPN routes
are imported in the VRF IP table regardless of the RTs. Useful when more
complexx policy implemented in filters.

Based on patches from Sébastien Parisot <sparisot@iliad-free.fr>, thanks!

Nest: Function aspa_check() should return ASPA_INVALID for paths containing AS_SET

The aspa_check() uses as_path_getlen() to estimate the size of a buffer,
which does not work for AS_SET segments, because as_path_getlen() returns
length 1 for them regardless of their length. This may cause buffer
overflow and crash.

As AS_SET segments are not valid for ASPA verification, we can just
handle them explicitly. See https://datatracker.ietf.org/doc/html/draft-ietf-sidrops-aspa-verification#section-6

Co-Authored-By: Alarig <alarig@swordarmor.fr>
Minor changes by committer.

CI: Add test of user and groups before and after package installation

Also fix typo and add more descriptive logging to installation test

CI: Add debian trixie to pipeline

CI: Fix installation on newer debian-based distros

Package 'adduser' needs to be installed explicitly

BGP: Do not restart when next hop keep/self is changed

The change in dade7147eb6b62b2d58d478a370baef513d96975 forces BGP to restart
even if next hop self and next hop keep changes, which can be updated just by
reloading export, while explicit next hop address can not.

Related to #280.

CI: Autotests for BGP setting changes

There are actually 144 test variants. Choosing 12 of them, such that:

- m2 may request no RR, basic RR or enhanced RR
- m2 may have any combination of import and export table
- import and export table settings for m1 are pseudorandomized
- the same for multiple variants how to get basic RR negotiated

This should cover all the code with not too much resource consumption.

Implements #239.

BGP: restart on outgoing next hop setting change

When next hop self / keep / address changed, BGP only reloaded
the exports but it didn't apply the changes. To fix this problem
before actually implementing a proper change detection algorithm,
we restart the protocol if this setting changes.

Fixes #280.

Filter: Add more tests for append operator

Filter: Add 'append' operator

We need append() operator to concatenate strings / bytestrings.
Can be also written as '++', (e.g. "abcd" ++ "1234").

CI: adding tests cf-bgp-unnumbered and cf-bgp-error-states

The unnumbered test checks the onlink neighbor scenarios,
and the cf-bgp-error-states checks a regression for BIRD 3
where BGP crashed when listening socket failed to bind.

BGP: Allow onlink neighbors

In certain scenarios, the direct neighbor is not inside any prefix
assigned to the appropriate interface. There is a route for that address
pointing to that interface, though.

In such cases, the user may specify the neighbor as onlink, effectively
disabling the prefix check and trying to connect immediately. It is
expected that the operator ensures that the neighbor is indeed there.

CI: Limit log bloating for netlab runners

There is no useful configurable file size limit for netlab, allowing
the job to eat up all the disk. Thus we limit it directly in the script
by setting ulimit -f to 1G.

CI: Pinned apkg version to 0.5.1 until 0.6.0 is fixed

This workarounds packaging/apkg#114.

CI: split make gitlab to local and venv variant

If you prefer to install python3-jinja2 and pyaml yourself,
run gitlab-local. If you prefer the thing to create a venv
and pip3 all the dependencies, run gitlab-venv.

Doc: Fix documentation for "next hop prefer"

BGP: Add option "next hop prefer local" and use it in direct mode of next hop computation

CLI: Add missing semicolon for option RESTRICT

CLI: Fix memory leak in cli_listen (fixes #285)

CI: add cf-pipe-collision test

CLI: fix display of ambiguos command options listing

When fixing display of two-command help messages, we failed to test that
all the CLI functions still do work as expected.

Fixes: #279
Introduced-In: 457c10267054b999b188164dbf6bc5975838dd31
Reported-By: Артём Варакса <varaksaaa@basealt.ru>

CI: Fix tests for merge requests

The branch name check needed to be extended to include merge requests.
Now for merge requests, we generate a fake branch name.

CI: Fix netlab failure artifact collection

When implementing artifact collection for netlab,
I forgot that the coredumps and logs are generated outside the
repository. Moving the artifacts to the right place for collection.

Introduced in 3d88a81f102783bd4af3d99db1e1f14d14050d6c.

BGP: Disallow AS Sets by default (documentation)

The documentation needed to be updated as well to be consistent
with the code.

Related to #248.

BGP: Disallow AS Sets by default

For a long time, AS Sets have been considered obsolete
but they were still valid by the original RFC. Recently,
RFC 9774 flipped this and AS Sets are now formally deprecated.

Therefore, all BGP sessions will now by default reject routes
containing AS Sets in their AS Paths. If you want to keep the
old behavior, you may simply state

    allow as set;

in every BGP protocol configuration where you want to accept AS Sets.

This closes #248.

CI: Add tests rip-vrf, ibgp-bfd-auth, ebgp-bfd-auth

BGP: Restart if route refresh is impossible on attribute change

In previous commit, we force route refresh when some protocol attributes
change. Yet, when the neighbor doesn't support route refresh, we have to
restart the session, not send an unsupported request.

Note: if the neighbor is restarting right now with graceful restart
enabled, we keep the stale routes until the neighbor converges again.

Related to #268

BGP: Do route refresh after preference change

Reconfiguration of preference is handled by nest code by asking for
reload, but in case of BGP with import table, that just reloaded routes
with the old preference. In BGP, we can handle that by triggering full
route refresh.

Although, it would be probably better to set preference in nest, when
a route is propagated from the import table.

Nest: Fix route update after preference change

The route preference was ignored in route comparison, therefore if
a protocol changed it and then reloaded routes, they were ignored
and routes with the old prefernce were kept.

The bug was introduced 5 years ago, when preference was moved from
struct rte to struct rta.

CI: Note on how to trigger image rebuild when adding new dockerfile.

CI: Added Docker for Rocky Linux 8 and 9.

Updated both to supported versions 8.10, 9.5.

CI: Add package install tests.

We are checking that generated BIRD packages can be installed and run.
Communication between bird and birdc is also tested.

This fixes #202

CI: Add systemd installation to Fedora Dockerfiles and make exception in bird.spec for CentOS and OpenSUSE distros.

CI: added new ASPA tests.

Gitlab: fix cleanup after failed netlab

I forgot to add cd command to move to the right directory.

CI: Stayrtr binary has moved elsewhere

Installed our local version supporting RTRv2 and ASPA

Gitlab: properly cleanup after failed netlab jobs

Also keeps artifacts from failed netlab jobs to allow for
easier debugging

BGP: Improve log messages in reconfiguration

Use separate messages for import / export reload triggered by
reconfiguration.