fixup! WIP checker

WIP checker

Merge branch '280-mq-nexthop' into HEAD

BGP: Reintroduce channel reload message on forced route refresh

When reconfiguration needs a forced route refresh because of
changed protocol/channel parameters, log the same message
as v2 does.

Merge remote-tracking branch 'origin/master' into thread-next

CI: Autotests for BGP setting changes

There are actually 144 test variants. Choosing 12 of them, such that:

- m2 may request no RR, basic RR or enhanced RR
- m2 may have any combination of import and export table
- import and export table settings for m1 are pseudorandomized
- the same for multiple variants how to get basic RR negotiated

This should cover all the code with not too much resource consumption.

Implements #239.

BGP: restart on outgoing next hop setting change

When next hop self / keep / address changed, BGP only reloaded
the exports but it didn't apply the changes. To fix this problem
before actually implementing a proper change detection algorithm,
we restart the protocol if this setting changes.

Fixes #280.

Filter: Add more tests for append operator

Filter: Add 'append' operator

We need append() operator to concatenate strings / bytestrings.
Can be also written as '++', (e.g. "abcd" ++ "1234").

Merge remote-tracking branch 'origin/master' into HEAD

CI: adding tests cf-bgp-unnumbered and cf-bgp-error-states

The unnumbered test checks the onlink neighbor scenarios,
and the cf-bgp-error-states checks a regression for BIRD 3
where BGP crashed when listening socket failed to bind.

BGP: Fix crash on listening socket failure

In that specific case, bgp_stop() runs from the main loop, effectively
causing the deferred state announcement to run from a bad context.
Fixed by forcibly announcing the state immediately.

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit '249ea3c' into thread-next

Merge commit '0178afda' into thread-next

Merge commit 'f11f15e82' into thread-next

BGP: Allow onlink neighbors

In certain scenarios, the direct neighbor is not inside any prefix
assigned to the appropriate interface. There is a route for that address
pointing to that interface, though.

In such cases, the user may specify the neighbor as onlink, effectively
disabling the prefix check and trying to connect immediately. It is
expected that the operator ensures that the neighbor is indeed there.

CI: Limit log bloating for netlab runners

There is no useful configurable file size limit for netlab, allowing
the job to eat up all the disk. Thus we limit it directly in the script
by setting ulimit -f to 1G.

CI: Pinned apkg version to 0.5.1 until 0.6.0 is fixed

This workarounds packaging/apkg#114.

CI: split make gitlab to local and venv variant

If you prefer to install python3-jinja2 and pyaml yourself,
run gitlab-local. If you prefer the thing to create a venv
and pip3 all the dependencies, run gitlab-venv.

Doc: Fix documentation for "next hop prefer"

BGP: Add option "next hop prefer local" and use it in direct mode of next hop computation

RIP: fix split horizon instability

When split horizon is active (by default), RIP withdraws routes from
these neighbors which have sent the best route to us. This helps with
reducing routing loops. When ECMP is on (by default), RIP behaves this
way only to the first neighbor in the list.

In BIRD 2, the neighbors were first sorted and then the first one was
chosen. This was lost in BIRD 3 and the first neighbor in the unsorted
list was considered instead.

The overall result in routing does not change so this is not technically
a bug and should not result in misrouting. The final result is unstable
and time-sensitive though, making debugging harder and automatic tests
fail.

We are rectifying this to be stable again so that our tests may get
green again.

Fixes: #284
Reproduced-By: David Petera while checking RIP in VRFs
Identified-By: Ondrej Zajicek

CLI: Add missing semicolon for option RESTRICT

CLI: Fix memory leak in cli_listen (fixes #285)

Pipe: Fix inconsistency caused by rare pipe collision

When two different pipes modify the same route in two different ways
and both results are attempted to be imported into the same table,
the table complains and should ignore the whole update. Yet it did so
only if the routes were identical (which was also tested previously).

Instead of ignoring, this routine replaced the original route with the
new one from another sender which caused a discrepancy in counters in
the original sender and later crash on failed consistency check.

Discovered randomly when trying to reproduce another bug and
accidentally doing exactly this sequence of pipe collision and
then reconfiguration to rectify the collision by removing the pipe
altogether.

Fixes: #282

Merge remote-tracking branch 'origin/master' into thread-next

Doc: Adding info on backported options to 2->3 migration guide

Merge remote-tracking branch 'origin/master' into thread-next

CI: add cf-pipe-collision test

CLI: fix display of ambiguos command options listing

When fixing display of two-command help messages, we failed to test that
all the CLI functions still do work as expected.

Fixes: #279
Introduced-In: 457c10267054b999b188164dbf6bc5975838dd31
Reported-By: Артём Варакса <varaksaaa@basealt.ru>

CI: Fix tests for merge requests

The branch name check needed to be extended to include merge requests.
Now for merge requests, we generate a fake branch name.

CI: Fix netlab failure artifact collection

When implementing artifact collection for netlab,
I forgot that the coredumps and logs are generated outside the
repository. Moving the artifacts to the right place for collection.

Introduced in 3d88a81f102783bd4af3d99db1e1f14d14050d6c.

BGP: Disallow AS Sets by default (documentation)

The documentation needed to be updated as well to be consistent
with the code.

Related to #248.

BGP: Disallow AS Sets by default

For a long time, AS Sets have been considered obsolete
but they were still valid by the original RFC. Recently,
RFC 9774 flipped this and AS Sets are now formally deprecated.

Therefore, all BGP sessions will now by default reject routes
containing AS Sets in their AS Paths. If you want to keep the
old behavior, you may simply state

    allow as set;

in every BGP protocol configuration where you want to accept AS Sets.

This closes #248.

Doc: Migration guide updated about onlink and from route attributes

The onlink route attribute has been fixed.

The from route attribute changed behavior slightly
between BIRD 2 and 3 so it is now described in the
migration guide.

Related to #258 and #262.

Merge remote-tracking branch 'origin/master' into thread-next

CI: Add tests rip-vrf, ibgp-bfd-auth, ebgp-bfd-auth

BGP: Restart if route refresh is impossible on attribute change

In previous commit, we force route refresh when some protocol attributes
change. Yet, when the neighbor doesn't support route refresh, we have to
restart the session, not send an unsupported request.

Note: if the neighbor is restarting right now with graceful restart
enabled, we keep the stale routes until the neighbor converges again.

Related to #268

BGP: Do route refresh after preference change

Reconfiguration of preference is handled by nest code by asking for
reload, but in case of BGP with import table, that just reloaded routes
with the old preference. In BGP, we can handle that by triggering full
route refresh.

Although, it would be probably better to set preference in nest, when
a route is propagated from the import table.

Nest: Fix route update after preference change

The route preference was ignored in route comparison, therefore if
a protocol changed it and then reloaded routes, they were ignored
and routes with the old prefernce were kept.

The bug was introduced 5 years ago, when preference was moved from
struct rte to struct rta.

Merge remote-tracking branch 'origin/master' into thread-next

CI: Note on how to trigger image rebuild when adding new dockerfile.

CI: Added Docker for Rocky Linux 8 and 9.

Updated both to supported versions 8.10, 9.5.

Filters: Re-enabling onlink nexthop attribute

There are still some semantic problems wrt. VRF settings,
effectively allowing botched nexthops to slip through filters,
but it makes more sense to re-enable onlink setting, than
to wait until we find out how to do that all properly.

This resolves #258.

Filters: Fix crash on setting link-local gateway with no interface

When refactoring nexthop data structures to eattrs,
we missed that we are dereferencing an interface pointer
from a possibly invalid memory.

This fixes #257.

Babel: move into its own loop

This closes #149.

RIP: move to its own loop

This closes #147.

OSPF: move to its own loop

This closes #146.

Table: Do not attempt to prune an empty table

Table pruning is requested from multiple places, including
a timer. Sometimes this may happen in a race condition with
table shutdown, and therefore we explicitly refuse to schedule
pruning if the table is empty.

Also added a full-blown check that a shutting-down table
is indeed empty, and several more asserts to catch imminent crashes
before they happen in hard-to-debug places.

This fixes #254.

Shutdown: Do not export routes

When shutting down, the tables start flushing routes before all protocols
are even officially aware of the shutdown. This fix allows for a fast check
whether the shutdown is already running or not, and if so, all exports are
ignored instead of processing them.

One notable exception is the kernel protocol which needs to process all
the exports normally to actually withdraw the routes.

This is a hotfix for #251 and #252. Proper fix will require protocol
state machine refactoring.

Table: fix a race condition in export

The race condition happens as follows:

- channel A starts feeding
- channel B imports a route ahead of the feeding pointer
- channel A exports this route and continues feeding from the pointer
- no other import hits this specific prefix
- there is at least one channel C which has not cleared this export
- channel A computes ecnt=0 for this prefix because all exports
  have been already cleared
- the condition e >= ecnt mistakenly triggers retry

If the birdloops involved get assigned to the same thread, this race
condition then can't recover and the thread is stuck in an infinite
loop.

Fixed the race condition by moving the consistency check after actually
checking eligibility of the export, not before.

Found by randomly observing performance tests.

Merge remote-tracking branch 'origin/master' into thread-next

ASPA: fix the table subscription

With the partial reloads of ROA, the ASPA reload must be different.
When merging ASPA from 2.16, we forgot about that, and the ROA digesting
procedures simply do not work with ASPA, so we instead re-add the settle
timer back.

This fixes #237.

ASPA: fix aspa_check_upstream and aspa_check_downstream parse crash

Due to internal differences between BIRD 2 and 3, there is
FI_CURRENT_ROUTE in BIRD 3 and `val.rte == NULL` is not supported
as a shortcut for fetching the route object.

When merging, we forgot to fix this difference in the BGP config parser,
thus the constant folder failed to recognize that this is not a constant
expression, leading to accidentally dereference the NULL route pointer
in config parse time.

This fixes #247.

BGP: fix warnings for roa_check() with no import table and route refresh on

When roa_check() appears in import filters, the autoreload is switched
on but prohibited for BGP if no import table is available. By fixing the
route refresh feature in 9edc421148fe9c5e7d6038b667ba8fafb587a1eb, we
inadvertently exposed another bug where Nest wasn't distinguishing
between locally and remotely available reload.

Whereas on manual reconfiguration, the route refresh is expected to be
invoked, the autoreload should not trigger any remote actions. Therefore
now the channels actualy indicate whether their reload hook triggers
remote actions or not. This information can be then used to decide
whether to allow autoreload or not.

All events are required to have their hook

This is quite an obvious requirement but it wasn't enforced properly,
leading to unnecessarily tedious debugging when an uninitialized event
is improperly enqueued.

Now BIRD is going to crash as soon as somebody tries to enqueue such
an event, not when trying to execute nothing from a clean context.

Would have helped with #238.

CI: Add package install tests.

We are checking that generated BIRD packages can be installed and run.
Communication between bird and birdc is also tested.

This fixes #202

CI: Add systemd installation to Fedora Dockerfiles and make exception in bird.spec for CentOS and OpenSUSE distros.

Merge remote-tracking branch 'origin/master' into mq-merge-master

CI: added new ASPA tests.

Gitlab: fix cleanup after failed netlab

I forgot to add cd command to move to the right directory.

Merge branch 'master' into thread-next

Merge branch 'master' (early part) into thread-next

Merge commit '14cf8454' into thread-next

CI: Stayrtr binary has moved elsewhere

Installed our local version supporting RTRv2 and ASPA

Gitlab: properly cleanup after failed netlab jobs

Also keeps artifacts from failed netlab jobs to allow for
easier debugging

BGP: Improve log messages in reconfiguration

Use separate messages for import / export reload triggered by
reconfiguration.

MRT: Fix typo in assert

In mrt_cli_dump_done, BIRD 3 always crashed because the assert could
never be true by a typo.

Logs: Reset found_old flags in struct log_config

When recycling an existing configuration (configure undo), the found_old
flags were already set. Due to this oversight, log files failed to
reopen on configure undo.

This fixes #188.

Conf: Silence grammar conflict warning

There is one harmless grammar ambiquity that is hard to avoid, so let
just document it and silence it.

BGP: Minor refactoring of capability write

Makefile: Fix accidentally added dry-run markers

BGP: end of feeding MPLS channel must not try to schedule a packet

This caused a invalid memory use when reloading MPLS channels,
occasionally forcing BIRD to an endless loop due to invalid flag
in channel map.

Merge branch 'master' into thread-next

Nest: Improve grammar rule for interface patterns

Interface options should allow constants/expressions for name patterns.

Thanks to Arnaud Gomes-do-Vale for the bugreport.

Static: Improve grammar rule for static route next hops

Static routes should allow constants/expressions for interface names in
next hops.

Conf: Fix cases where lexer tokens are used instead of parser rules

Conf: Switch options should use boolean values

Fix switch options to use boolean constants and expressions intead of
integer ones. Still allow integer values with deprecation warning.

Also, allow true/false in addition to on/off and yes/no.

Conf: Improve parsing of config datatypes

Parser rules for configuration datatypes were inconsistent about whether
they accept literals, constants, or expressions. We should accept each
of these three everywhere.

The patch also simplifies the grammar, makes it more uniform, and adds
some documentation about that.

Conf: Fix invalid check in text_or_ipa grammar

Can cause crash when a bad expression is used.

Gitlab: add NetBSD LTO disablement to the generator

This fixes 9bb8c0945e39b43dcef02934fe9cf6baa816f5b0

Merge branch 'master' into thread-next

Version script: fix detached mode

Build: call tools/version with sh

As tools/version has a shebang line, it should be
fine to just call it without specifying bash.

Calling bash explicitly may lead to inconsistency,
as the first line of tools/version indicates /usr/bin/sh
but the script is always executed with bash.
And, it adds bash as a new build dependency.

Signed-off-by: xtex <xtexchooser@duck.com>

Docs: added information about difference in export table usage on v2/3.

BGP: Fix repeated route refresh request

The previous approach was crashing on rapid successions of route refreshs
without even completing the previous ones. Now the newly requested refreshs
just queue and don't start multiple refreshs over and over again.

BGP: Fix route refresh behavior

On import filter reconfiguration, the route refresh capability is now
honored and used instead of restarting the session.

On export filter reconfiguration, the enhanced route refresh capability
is used to indicate BoRR and EoRR, unless the export table is on. In
such cases, only relevant changes are sent as proper updates.

When route refresh request is received, the enhanced route refresh
capability is now honored.

Co-Authored-By: Maria Matejka <mq@ucw.cz>

BGP: Fix reconfiguration of import behavior modifiers

In case of aigp, gw mode and cost change, we need to reload routes
from the peer, and do that forcibly even if import table is on.

Fix use-after-free in thread group reconfiguration

If a thread group with no running threads is deconfigured,
it was freed before fetching the next node in the linked list.

This rare bug caused a crash in unit tests in OpenBSD.

Disable LTO for NetBSD. It crashes the compiler for whatever reason.

Add configure option to independently enable/disable link-time optimization

Fix TCP AO keys dump to dump sockets from all loops

The AO keys dump changes frequently and we don't always get
a notification when the relevant data changes. With that, we have to
send an event to each single birdloop to request the dump, and wait for
it all to complete.

This may take a long time but it is accurate.

Sockets: Make dump sockets dump all sockets again

Only sockets in main birdloop were dumped. Now, all sockets are dumped.
Because of serialization problems, socket dump is cached for each birdloop
and it is continuously updated. These cached dumps are then just
collected and written out without actually looking at the live data.

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit '823281066' into thread-next

Merge commit '1acc79b75' into thread-next

Merge commit '9784c76c9' into thread-next

Doc: building singlepage version with the appropriate template

This change caters for the new website automation and allows for
future online display of documentation even for development versions.

BGP: Fix crash on too long export

When BGP route is short enough to be accepted but too long after local
changes, it is converted to withdraw. In these cases though, there was
a dangling pointer left from the prefix structure to the attribute
bucket.

That pointer is now pointing at the right place after the bucket gets
converted to withdraw.

Thanks to ix.br for catching and reporting this issue.