Merge commit '928a1cb034e6f9e8edcdd1dc07264cd703e00827' into thread-next

Merge commit '7fb23041a52d01754c53ba963e2282e524813364' into thread-next

Merge commit 'd1cd5e5a63b2256eb71661f7438537e4ded7b01a' into thread-next

Merge commit 'b28431e557c4f63923476094a919a0630001275e' into thread-next

Merge commit 'd3f50ede127df338f575e188566035b2a46cf6c6' into thread-next

Merge commit '6d1ae197d189d50e60279796441c6e74272ddc54' into thread-next

Merge commit '8b06a4d8af46511f0f8dbb8905afa88590a831b6' into thread-next

Merge commit '2b7643e1f8ecb0bd4cf9af4183b4fd53b655d19c' into thread-next

Merge commit '1e47b9f203aaaad0fb658d40a1670f1d0437f1f8' into thread-next

Merge commit 'e48f898fdaf06b61754ae520410729a9984ab65b' into thread-next

Merge commit 'a80cd4707464cedb526eb72e7704b097af20beb7' into thread-next

Merge commit '3859e4efc1597368df647323c5a3cc1771cb64ca' into thread-next

Merge commit 'e80156d9363a594ff23524f56d59f0eee160859d' into thread-next

Adding forgotten pthread.h #include in io-loop.h (breaks at openbsd 7.1)

Merge commit 'a50d2fa65f3350ee55f5106b87a884d1b98e7761' into thread-next

Merge commit '543c8ba0971e91da3fe507dbfc1e1f9b556642b1' into thread-next

Fixed various build problems on FreeBSD and/or CLang

Merge commit '140c534fb81d0e165b7d674e869c646455ed19d1' into thread-next

Decoupling loops from threads to allow fixed thread count

On large configurations, too many threads would spawn with one thread
per loop. Therefore, threads may now run multiple loops at once. The
thread count is configurable and may be changed during run. All threads
are spawned on startup.

This change helps with memory bloating. BIRD filters need large
temporary memory blocks to store their stack and also memory management
keeps its hot page storage per-thread.

Known bugs:
* Thread autobalancing is not yet implemented.
* Low latency loops are executed together with standard loops.

Table prune routine doesn't walk over lists unless needed.

If no channel is flushing, table prune doesn't walk over routes in nets
and also doesn't walk over importing channel lists. This helps to
alleviate the memory caching burdens a lot.

CLI closing fix when its action is run asynchronously.

Some CLI actions, notably "show route", are run by queuing an event
somewhere else. If the user closes the socket, in case such an action is
being executed, the CLI must free the socket immediately from the error
hook but the pool must remain until the asynchronous event finishes and
cleans everything up.

Removed config reparsing from unrelated tests

Alloc: Disable transparent huge pages

The usage pattern implemented in allocator seems to be incompatible with
transparent huge pages, as memory released using madvise(MADV_DONTNEED)
with regular page size and alignment does not seem to trigger demotion
of huge pages back to regular pages, even when significant number of
pages is released. Even if demotion is triggered when system memory
is low, it still breaks memory accounting.

Build: Fix cleanup of nest/proto-build.c

Minor cleanups

BSD: Add support for kernel route metric

Add support for kernel route metric/priority, exported as krt_metric
attribute, like in Linux. This should also fix issues with overwriting
or removing system routes.

Log message before aborting

Log message before aborting due to watchdog timeout. We have to use
async-safe write to debug log, as it is done in signal handler.

Minor changes from committer.

Filter: Change linearization of branches in switch instruction

Most branching instructions (FI_CONDITION, FI_AND, FI_OR) linearize its
branches in a recursive way, while FI_SWITCH branches are linearized
from parser even before the switch instruction is allocated.

Change linearization of FI_SWITCH branches to make it similar to other
branching instructions. This also fixes an issue with constant
switch evaluation, where linearized branch is mistaken for
non-linearized during switch construction.

Thanks to Jiten Kumar Pathy for the bugreport.

BGP: Allow role specific keywords to be used as symbols

Some of these new BGP role keywords use generic names that collides with
user-defined symbols. Allow them to be redefined. Also remove duplicit
keyword definition for 'prefer'.

Configure: Expensive check option was broken, never worked

Nest: Fix leaking internal attributes in RIP and Babel

During backporting attribute changes from 3.0-branch, some internal
attributes (RIP iface and Babel seqno) leaked to 'show route all' output.
Allow protocols to hide specific attributes with GA_HIDDEN value.

Thanks to Nigel Kukard for the bugreport.

Add compile-time option to enable 4-way tries instead of 16-way ones

In some cases 16-way tries are too memory-heavy, while 4-way are
almost as efficient as the original 2-way ones.

Nest: Fix several issues with pflags

There were some confusion about validity and usage of pflags, which
caused incorrect usage after some flags from (now removed) protocol-
specific area were moved to pflags.

We state that pflags:

 - Are secondary data used by protocol-specific hooks
 - Can be changed on an existing route (in contrast to copy-on-write
   for primary data)
 - Are irrelevant for propagation (not propagated when changed)
 - Are specific to a routing table (not propagated by pipe)

The patch did these fixes:

 - Do not compare pflags in rte_same(), as they may keep cached values
   like BGP_REF_STALE, causing spurious propagation.

 - Initialize pflags to zero in rte_get_temp(), avoid initialization in
   protocol code, fixing at least two forgotten initializations (krt
   and one case in babel).

 - Improve documentation about pflags

Babel: Rework seqno request handling

The seqno request retransmission handling was tracking the destination
that a forwarded request was being sent to and always retransmitting to
that same destination. This is unnecessary because we only need to
retransmit requests we originate ourselves, not those we forward on
behalf of others; in fact retransmitting on behalf of others can lead to
exponential multiplication of requests, which would be bad.

So rework the seqno request tracking so that instead of storing the
destination of a request, we just track whether it was a request that we
forwarded on behalf of another node, or if it was a request we originated
ourselves. Forwarded requests are not retransmitted, they are only used
for duplicate suppression, and for triggering an update when satisfied.
If we end up originating a request that we previously forwarded, we
"upgrade" the old request and restart the retransmit counter.

One complication with this is that requests sent in response to unfeasible
updates (section 3.8.2.2 of the RFC) have to be sent as unicast to a
particular peer. However, we don't really need to retransmit those as
there's no starvation when sending such a request; so we just change
such requests to be one-off unicast requests that are not subject to
retransmission or duplicate suppression. This is the same behaviour as
babeld has for such requests.

Minor changes from committer.

BSD: Use ip_mreqn on FreeBSD 12.1+ and OpenBSD 6.9+

FreeBSD: use interface index instead of IP address when specifying multicast interface

Minor changes from committer.

Netlink: move OS-specific headers and defines to sysdep

Minor changes from committer.

BSD: Add missing makefile for bsd-netlink target

Use symlinks to linux/netlink* to avoid limitations of our buildsystem.

NEWS and version update

BSD: Workaround for direct routes on FreeBSD 13.0

FreeBSD 13.0 added some safechecks for syscalls, rejecting sockaddrs that
are too small, later versions loosen up the check.

BGP: Log unacceptable hold time as decimal number

Thanks Johannes Moos for the suggestion.

CLI: Fix for long-lived sessions during high loads

When there is a continuos stream of CLI commands, cli_get_command()
always returns 1 (there is a new command). Anyway, the socket receive
buffer was reset only when there was no command at all, leading to a
strange behavior: after a while, the CLI receive buffer came to its end,
then read() was called with zero size buffer, it returned 0 which was
interpreted as EOF.

The patch fixes that by resetting the buffer position after each command
and moving remaining data at the beginning of buffer.

Thanks to Maria Matejka for examining the bug and for the original bugfix.

Client: Unknown command should return nonzero errorcode

Doc: Document issue with import tables

The import table does not work reliably together with re-evaluation of
routes due to recursive next hops or flowspec validation. We will at
least document that here, as import tables are completely redesigned and
this issue is fixed in BIRD 3.x branch.

Netlink on FreeBSD support

Netlink support was added to FreeBSD recently. It is not as full-featured
as its Linux counterpart yet, however the added subset is enough to make
a routing daemon work. Specifically, it supports multiple tables,
multipath, nexthops and nexthops groups. No MPLS support yet.

The attached change adds 'bsd-netlink’ sysconf target, allowing to build
both netlink & rtsock versions on FreeBSD.

BGP: Improve handling of hold and keepalive timers

The effective keepalive time now scales relative to the negotiated
hold time, to maintain proportion between the keepalive time and the
hold time. This avoids issues when both keepalive and hold times
were configured, the hold time was negotiated to a smaller value,
but the keepalive time stayed the same.

Add new options 'min hold time' and 'min keepalive time', which reject
session attempts with too small hold time.

Improve validation of config options an their documentation.

Thanks to Alexander Zubkov and Sergei Goriunov for suggestions.

Nest: Avoid spurious announcements triggered by filtered routes

When filtered routes (enabled by 'import keep filtered' option) are
updated, they trigger announcements by rte_announce(). For regular
channels (e.g. type RA_OPTIMAL or RA_ANY) such announcement is just
ignored, but in case of RA_ACCEPTED (BGP peer with 'secondary' option)
it just reannounces the old (and still valid) best route.

The patch ensures that such no-change is ignored even for these channels.

CI: Remove docker rebuild phase

It is unnnecessary and takes too much time

CI: Try new workers

BSD: Fix krt socket code w.r.t. rte/rta changes

Fix build variables for OpenBSD

Conf: Make 'configure check' command restricted

While it does not directly change BIRD state, it can trigger reading
arbitrary files and eating significant memory.

Conf: Free stored old config before parsing new one

BIRD keeps a previous (old) configuration for the purpose of undo. The
existing code frees it after a new configuration is successfully parsed
during reconfiguration. That causes memory usage spikes as there are
temporarily three configurations (old, current, and new). The patch
changes it to free the old one before parsing the new one (as user
already requested a new config). The disadvantage is that undo is
not available after failed reconfiguration.

Added more netlab tests for automatic run.

This commit uses bird-tools in version
f35e8bce829f4bff61ec7eb07ec9c67aa867bc9a

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit '37b64441' into thread-next

Merge commit '32425297' into thread-next

Merge commit '8f79e6b9' into thread-next

Merge commit '8478de88' into thread-next

Merge commit '54430df9' into thread-next

Merge commit '0f2be469' into thread-next

Page allocator: Fixed minor bugs and added commentary

Memory pages are not munmapped, instead we just madvise()

Memory unmapping causes slow address space fragmentation, leading in
extreme cases to failing to allocate pages at all. Removing this problem
by keeping all the pages allocated to us, yet calling madvise() to let
kernel dispose of them.

This adds a little complexity and overhead as we have to keep the
pointers to the free pages, therefore to hold e.g. 1 GB of 4K pages with
8B pointers, we have to store 2 MB of data.

Moved config-related allocations to config_pool and showing its size in memory usage

Doc: Add documentation for "show route (import|export) table"

Filter: Fix handling of variables in anonymous filters

Define scope for anonymous filters, and also explicitly distinguish block
scopes and function/filter scopes instead of using anonymous / named
distinction.

Anonymous filters forgot to push scope, so variables for them were in
fact defined in the top scope and therefore they shared a frame. This got
broken after rework of variables, which assumed that there is a named
scope for every function/filter.

Attribute blocks are now allocated from slabs instead of malloc()

Removed an accidentally merged debug call introduced in 5395880908fdb264b5b78ccc455dced49eb29915

Netlink: Parse onlink flag even on direct routes

While onlink flag is meaningful only with explicit next hops, it can be
defined also on direct routes. Parse it also in this case to avoid
periodic updates of the same route.

Thanks to Marcin Saklak for the bugreport.

GDB connection: resource pools don't keep free pages

Merge commit 'ab0994a1' into thread-next

Merge commit '57d0ecb9' into thread-next

Merge commit '53958809' into thread-next

Merge commit '821344c7' into thread-next

Merge commit '4ba991f1' into thread-next

Merge commit '44dbedbe' into thread-next

Fixed SSH known hosts checking with older versions of libssh

Tamed slab signedness warning on 32-bit architectures

BGP refeed and reload with Adj-RIB-In/Out is done without route refresh

TES_HUNGRY doesn't inhibit export cleanup any more

More thorough logging of route update corner cases

Fixed BGP reload limits

Limited value must never go under zero

CLI fix to break busy-loop waiting for corked show-route exports

Fixed export hook stopping in some corner cases.

Notably, it's in a corked state and also when refeed is pending.

BGP: End route refresh before another starts

BGP: Add option 'next hop prefer global'

Add BGP channel option 'next hop prefer global' that modifies BGP
recursive next hop resolution to use global next hop IPv6 address instead
of link-local next hop IPv6 address for immediate next hop of received
routes.

Poll errors must also drop a corefile. And we shouldn't run sockets when sockets have changed

Fixed previously untested paths in RPKI

Merge commit 'dc9351d3' into HEAD

Fixed pipe reload/refeed to properly propagate as route refresh to the other table

Merge commit '67256d50' into HEAD

Merge commit '3ace3a42' into HEAD

Merge commit 'fb7fb674' into HEAD

Merge commit 'e9e6baae' into HEAD

Merge commit 'a32cee78' into HEAD

Merge commit '71b434a9' into HEAD

Merge commit '0072d11f' into tmp-learn

Nest: Add channel config flag to distinguish new or copy

It is useful to distinguish whehter channel config returned from
channel_config_get() was allocated new, or existing from template.
Caller may want to initialize new ones.

BGP: Do not assume that all channels are struct bgp_channel

In principle, the channel list is a list of parent struct proto and can
contain general structures of type struct channel, That is useful e.g.
for adding MPLS channels to BGP.