Filter: Add more tests for append operator

Filter: Add 'append' operator

We need append() operator to concatenate strings / bytestrings.
Can be also written as '++', (e.g. "abcd" ++ "1234").

CI: adding tests cf-bgp-unnumbered and cf-bgp-error-states

The unnumbered test checks the onlink neighbor scenarios,
and the cf-bgp-error-states checks a regression for BIRD 3
where BGP crashed when listening socket failed to bind.

BGP: Allow onlink neighbors

In certain scenarios, the direct neighbor is not inside any prefix
assigned to the appropriate interface. There is a route for that address
pointing to that interface, though.

In such cases, the user may specify the neighbor as onlink, effectively
disabling the prefix check and trying to connect immediately. It is
expected that the operator ensures that the neighbor is indeed there.

CI: Limit log bloating for netlab runners

There is no useful configurable file size limit for netlab, allowing
the job to eat up all the disk. Thus we limit it directly in the script
by setting ulimit -f to 1G.

CI: Pinned apkg version to 0.5.1 until 0.6.0 is fixed

This workarounds packaging/apkg#114.

CI: split make gitlab to local and venv variant

If you prefer to install python3-jinja2 and pyaml yourself,
run gitlab-local. If you prefer the thing to create a venv
and pip3 all the dependencies, run gitlab-venv.

Doc: Fix documentation for "next hop prefer"

BGP: Add option "next hop prefer local" and use it in direct mode of next hop computation

CLI: Add missing semicolon for option RESTRICT

CLI: Fix memory leak in cli_listen (fixes #285)

CI: add cf-pipe-collision test

CLI: fix display of ambiguos command options listing

When fixing display of two-command help messages, we failed to test that
all the CLI functions still do work as expected.

Fixes: #279
Introduced-In: 457c10267054b999b188164dbf6bc5975838dd31
Reported-By: Артём Варакса <varaksaaa@basealt.ru>

CI: Fix tests for merge requests

The branch name check needed to be extended to include merge requests.
Now for merge requests, we generate a fake branch name.

CI: Fix netlab failure artifact collection

When implementing artifact collection for netlab,
I forgot that the coredumps and logs are generated outside the
repository. Moving the artifacts to the right place for collection.

Introduced in 3d88a81f102783bd4af3d99db1e1f14d14050d6c.

BGP: Disallow AS Sets by default (documentation)

The documentation needed to be updated as well to be consistent
with the code.

Related to #248.

BGP: Disallow AS Sets by default

For a long time, AS Sets have been considered obsolete
but they were still valid by the original RFC. Recently,
RFC 9774 flipped this and AS Sets are now formally deprecated.

Therefore, all BGP sessions will now by default reject routes
containing AS Sets in their AS Paths. If you want to keep the
old behavior, you may simply state

    allow as set;

in every BGP protocol configuration where you want to accept AS Sets.

This closes #248.

CI: Add tests rip-vrf, ibgp-bfd-auth, ebgp-bfd-auth

BGP: Restart if route refresh is impossible on attribute change

In previous commit, we force route refresh when some protocol attributes
change. Yet, when the neighbor doesn't support route refresh, we have to
restart the session, not send an unsupported request.

Note: if the neighbor is restarting right now with graceful restart
enabled, we keep the stale routes until the neighbor converges again.

Related to #268

BGP: Do route refresh after preference change

Reconfiguration of preference is handled by nest code by asking for
reload, but in case of BGP with import table, that just reloaded routes
with the old preference. In BGP, we can handle that by triggering full
route refresh.

Although, it would be probably better to set preference in nest, when
a route is propagated from the import table.

Nest: Fix route update after preference change

The route preference was ignored in route comparison, therefore if
a protocol changed it and then reloaded routes, they were ignored
and routes with the old prefernce were kept.

The bug was introduced 5 years ago, when preference was moved from
struct rte to struct rta.

CI: Note on how to trigger image rebuild when adding new dockerfile.

CI: Added Docker for Rocky Linux 8 and 9.

Updated both to supported versions 8.10, 9.5.

CI: Add package install tests.

We are checking that generated BIRD packages can be installed and run.
Communication between bird and birdc is also tested.

This fixes #202

CI: Add systemd installation to Fedora Dockerfiles and make exception in bird.spec for CentOS and OpenSUSE distros.

CI: added new ASPA tests.

Gitlab: fix cleanup after failed netlab

I forgot to add cd command to move to the right directory.

CI: Stayrtr binary has moved elsewhere

Installed our local version supporting RTRv2 and ASPA

Gitlab: properly cleanup after failed netlab jobs

Also keeps artifacts from failed netlab jobs to allow for
easier debugging

BGP: Improve log messages in reconfiguration

Use separate messages for import / export reload triggered by
reconfiguration.

Conf: Silence grammar conflict warning

There is one harmless grammar ambiquity that is hard to avoid, so let
just document it and silence it.

BGP: Minor refactoring of capability write

Nest: Improve grammar rule for interface patterns

Interface options should allow constants/expressions for name patterns.

Thanks to Arnaud Gomes-do-Vale for the bugreport.

Static: Improve grammar rule for static route next hops

Static routes should allow constants/expressions for interface names in
next hops.

Conf: Fix cases where lexer tokens are used instead of parser rules

Conf: Switch options should use boolean values

Fix switch options to use boolean constants and expressions intead of
integer ones. Still allow integer values with deprecation warning.

Also, allow true/false in addition to on/off and yes/no.

Conf: Improve parsing of config datatypes

Parser rules for configuration datatypes were inconsistent about whether
they accept literals, constants, or expressions. We should accept each
of these three everywhere.

The patch also simplifies the grammar, makes it more uniform, and adds
some documentation about that.

Conf: Fix invalid check in text_or_ipa grammar

Can cause crash when a bad expression is used.

Version script: fix detached mode

Build: call tools/version with sh

As tools/version has a shebang line, it should be
fine to just call it without specifying bash.

Calling bash explicitly may lead to inconsistency,
as the first line of tools/version indicates /usr/bin/sh
but the script is always executed with bash.
And, it adds bash as a new build dependency.

Signed-off-by: xtex <xtexchooser@duck.com>

NEWS and version update

Tag checking

Adding a script to gather all information about the current release and
confirm that it is indeed ready for departure.

CI: Checking that the reported version is actually the built one

CI: Packages are built from the single release tgz package

CI: Tasks generated from a data file and template

Instead of directly editing .gitlab-ci.yml, the pipeline definition is
generated by a script from a much shorter file defining the required
tests, and templated.

Version and release scripting

Version number moved to a separate file as a primary source of truth.

Added tools/release-commit to make the release process a little bit faster.

Fixes #218

CI: Immediately fail if WIP commits pushed to a stable branch

CI: no pipeline for WIP commits

We'd like to encourage team members to push WIP work to Gitlab. Such
work often fails to build and therefore we run no tests for these
branches.

BGP: Update obsolete RFC 8203 to newer RFC 9003

BSD: Silence some warnings

BSD: Fix build on NetBSD

Newer NetBSD versions removed RTF_LLINFO and added RTF_LLDATA.
In FreeBSD, RTF_LLINFO is obsolete, but still defined.

CI: Add builds on new NetBSD workers

BGP: Fix crash when incoming connection for disabled protocol arrives

The function bgp_find_proto() may return a protocol in DOWN state, but
ao.keys (as most protocol data) are only valid in non-DOWN state.

Silence some warnings

CI: Add builds on new OpenBSD workers

CI: Add FreeBSD 14 and netlink builds for FreeBSD 13 and 14.

CI: Do not rebuild Docker images for test builds for new branches

New branch considers all files changed. We don't want to rebuild all
docker images for new branches; that's just a waste of time and energy.

There is a better way for future -- a much better fine-grained control
may be obtained by running secondary pipelines.

fixes #212

cli/commands: Help for multiple word command did not show properly.

Possible commands are stored as keywords, each keyword has its own structure.
The last acceptable keyword structure contains string with hint. But when the hint was printed only direct child
of the base keyword was considered. If it was multi keyword command, the first child did not carry any hint to print,
so it was ignored.

Now, if we don't find a hint in a child, we recursively search in grandchildren.

CI: enable Fedora 42: image, build, package.

Docker: added lost docker file for Fedora 42.

Docker: lost files for OpenSuse 15.4, 15.5

Doc: Minor corrections in README and INSTALL

- Licence to License - also in code comments.
- copyright date until now.
- updated license text from gnu.org
- added command to build bird documentation.

CI: Fix missing srcdir in path to tools/version

CI: fix test collisions between branches (again)

The build-netlab job was side-effecting the test-* jobs,
and if for some reason Gitlab scheduled build-netlab before
other pipeline's test-* jobs finished, these jobs got a wrong
binary, possibly failing. Solved by using explicit artifacts, which is
not the fastest way to do this (we could keep the binaries named there)
but it's the gitlab-right way to do this.

(Re-committed, was accidentally removed by one of previous commits)

NEWS and version update

Release tools: fix several bugs in version number detection

Forgetting to do proper checks, I merged a buggy release tools update
not detecting the right version (mostly if tagged).

Doc singlepage: add bold handler

Docker build machinery: a little bit of documentation

CI: Massive update of build and test runners

Fixed and added current distros, deleted certain EOL distros,
sorted things in the CI file.

With some heavy lifting and comments by Maria.

Signed-Off-By: Maria Matejka <mq@jmq.cz>

Fix dependecy issue with bs4 on legacy distros

Fix getting the version tag. Now it should also support older versions of git

Readd CentOS 7 to CI build and package process

Add archived repositories for CentOS 8

Remove links to czech repos in EOL debians and add archived repos for debian 9

use python venv for debian

Update build and package targets

Fedora builds for 32-41, Debian up to 12, Ubuntu up to 24.10.

Includes autorebuilder if a Dockerfile changes.

The CI file is obnoxiously boilerplaty. TODO: generate it from a list?

Releasing: a new tgz generator script

Also version detection is done by a separate script, not a magic line in
the Makefile.

CI: Added the release confirm metajob

Separate documentation autobuild

This is expected to hit a webhook inside our CI to trigger
automatic deployment to testweb.

Doc: autoconvertor of our SGML to Markdown

Some minor changes were done in the original documentation to allow for
easier conversion, and also to make the documentation a little bit more
strictly valid.

CI: fix test collisions between branches

The build-netlab job was side-effecting the test-* jobs,
and if for some reason Gitlab scheduled build-netlab before
other pipeline's test-* jobs finished, these jobs got a wrong
binary, possibly failing. Solved by using explicit artifacts, which is
not the fastest way to do this (we could keep the binaries named there)
but it's the gitlab-right way to do this.

BGP: Forbid TCP-AO on dynamic BGP sessions

Reconfiguration does not work properly for this case, disable it for now.

TCP-AO revised version

Reworked and finalized version of TCP-AO.

TCP-AO implementation based on RFC 5925

Uses Linux TCP-AO. Tested against JUNIPER.

BFD: Fix crash related to reconfiguration and passwords

Any change in BFD iface configuration should trigger session
reconfiguration, as config is copied into the bfd_session structure
and not just accessed through the bfd_iface structure.

As bfd_session now contains a pointer to the password list allocated
from the configuration, forgetting to update the bfd_session causes
use-after-free.

Thanks to Lexi Winter for the bugreport.

CI: Re-add bgp-rs-singletab

(was accidentally removed by the previous commit)

Babel: Add option 'next hop prefer' to control next hops of IPv4 routes

By default, the Babel protocol will advertise IPv4 routes with an IPv6
next hop address only on interfaces which do not have an IPv4 address.

Add option 'next hop prefer' to control whether IPv4 routes should use
IPv4 or IPv6 next hop when both are available.

Based on the patch from Chris Webb, thanks!

Filter: Add tests for 'case' expressions

CI: Add bgp-rs-singletab

(For some reason, it is not enabled in CI)

Docs: new link local format added to BGP outline.

BGP: Add option to specify format of link-local next hop

When a BGP session is established using link-local next hop addresses,
there is no global IPv6 address for next hop. Implementations differ on
how to encode such next hop. This leads to interoperability problems.

Add the option 'link local next hop format' to specify which format to
use when encoding such next hops.

Based on a patch from Andrey V. Elsukov and Georgy Kirichenko, submitted
by Aleksandr Stepanov, thanks!

BGP: Fix missing case for decoding link-local next hops in VPN SAFI

CI: Remove broken package builds

Some package build tests were broken due to apkg changes,
disable them temporarily.

Docs: Changed "&lt;", "&gt;" to "<",">" in <code>.

Docs: Replaced "M>" with "m>" (maintainability).

Docs: Replaced "<M>num</M>" with "<M>number</M>".

Docs: Replaced "&lt;num&gt;" with &lt;number&gt;.

l3vpn.c: set proper flag when setting EA_BGP_EXT_COMMUNITY

ASPA: added official tests

from Sriram Kotikalapudi's presentation for IETF 122.

Log: Fix handling of L_BUG messages

Due to an off-by-one error, L_BUG messages (e.g. from ASSERT()) were
handled as L_DBG messages and therefore ignored by our CI.