Merge commit 'e48f898fdaf06b61754ae520410729a9984ab65b' into thread-next

Merge commit 'a80cd4707464cedb526eb72e7704b097af20beb7' into thread-next

Merge commit '3859e4efc1597368df647323c5a3cc1771cb64ca' into thread-next

Merge commit 'e80156d9363a594ff23524f56d59f0eee160859d' into thread-next

Adding forgotten pthread.h #include in io-loop.h (breaks at openbsd 7.1)

Merge commit 'a50d2fa65f3350ee55f5106b87a884d1b98e7761' into thread-next

Merge commit '543c8ba0971e91da3fe507dbfc1e1f9b556642b1' into thread-next

Fixed various build problems on FreeBSD and/or CLang

Merge commit '140c534fb81d0e165b7d674e869c646455ed19d1' into thread-next

Decoupling loops from threads to allow fixed thread count

On large configurations, too many threads would spawn with one thread
per loop. Therefore, threads may now run multiple loops at once. The
thread count is configurable and may be changed during run. All threads
are spawned on startup.

This change helps with memory bloating. BIRD filters need large
temporary memory blocks to store their stack and also memory management
keeps its hot page storage per-thread.

Known bugs:
* Thread autobalancing is not yet implemented.
* Low latency loops are executed together with standard loops.

Table prune routine doesn't walk over lists unless needed.

If no channel is flushing, table prune doesn't walk over routes in nets
and also doesn't walk over importing channel lists. This helps to
alleviate the memory caching burdens a lot.

CLI closing fix when its action is run asynchronously.

Some CLI actions, notably "show route", are run by queuing an event
somewhere else. If the user closes the socket, in case such an action is
being executed, the CLI must free the socket immediately from the error
hook but the pool must remain until the asynchronous event finishes and
cleans everything up.

Removed config reparsing from unrelated tests

Doc: Document issue with import tables

The import table does not work reliably together with re-evaluation of
routes due to recursive next hops or flowspec validation. We will at
least document that here, as import tables are completely redesigned and
this issue is fixed in BIRD 3.x branch.

Netlink on FreeBSD support

Netlink support was added to FreeBSD recently. It is not as full-featured
as its Linux counterpart yet, however the added subset is enough to make
a routing daemon work. Specifically, it supports multiple tables,
multipath, nexthops and nexthops groups. No MPLS support yet.

The attached change adds 'bsd-netlink’ sysconf target, allowing to build
both netlink & rtsock versions on FreeBSD.

BGP: Improve handling of hold and keepalive timers

The effective keepalive time now scales relative to the negotiated
hold time, to maintain proportion between the keepalive time and the
hold time. This avoids issues when both keepalive and hold times
were configured, the hold time was negotiated to a smaller value,
but the keepalive time stayed the same.

Add new options 'min hold time' and 'min keepalive time', which reject
session attempts with too small hold time.

Improve validation of config options an their documentation.

Thanks to Alexander Zubkov and Sergei Goriunov for suggestions.

Nest: Avoid spurious announcements triggered by filtered routes

When filtered routes (enabled by 'import keep filtered' option) are
updated, they trigger announcements by rte_announce(). For regular
channels (e.g. type RA_OPTIMAL or RA_ANY) such announcement is just
ignored, but in case of RA_ACCEPTED (BGP peer with 'secondary' option)
it just reannounces the old (and still valid) best route.

The patch ensures that such no-change is ignored even for these channels.

CI: Remove docker rebuild phase

It is unnnecessary and takes too much time

CI: Try new workers

BSD: Fix krt socket code w.r.t. rte/rta changes

Fix build variables for OpenBSD

Conf: Make 'configure check' command restricted

While it does not directly change BIRD state, it can trigger reading
arbitrary files and eating significant memory.

Conf: Free stored old config before parsing new one

BIRD keeps a previous (old) configuration for the purpose of undo. The
existing code frees it after a new configuration is successfully parsed
during reconfiguration. That causes memory usage spikes as there are
temporarily three configurations (old, current, and new). The patch
changes it to free the old one before parsing the new one (as user
already requested a new config). The disadvantage is that undo is
not available after failed reconfiguration.

Added more netlab tests for automatic run.

This commit uses bird-tools in version
f35e8bce829f4bff61ec7eb07ec9c67aa867bc9a

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit '37b64441' into thread-next

Merge commit '32425297' into thread-next

Merge commit '8f79e6b9' into thread-next

Merge commit '8478de88' into thread-next

Merge commit '54430df9' into thread-next

Merge commit '0f2be469' into thread-next

Page allocator: Fixed minor bugs and added commentary

Memory pages are not munmapped, instead we just madvise()

Memory unmapping causes slow address space fragmentation, leading in
extreme cases to failing to allocate pages at all. Removing this problem
by keeping all the pages allocated to us, yet calling madvise() to let
kernel dispose of them.

This adds a little complexity and overhead as we have to keep the
pointers to the free pages, therefore to hold e.g. 1 GB of 4K pages with
8B pointers, we have to store 2 MB of data.

Moved config-related allocations to config_pool and showing its size in memory usage

Doc: Add documentation for "show route (import|export) table"

Filter: Fix handling of variables in anonymous filters

Define scope for anonymous filters, and also explicitly distinguish block
scopes and function/filter scopes instead of using anonymous / named
distinction.

Anonymous filters forgot to push scope, so variables for them were in
fact defined in the top scope and therefore they shared a frame. This got
broken after rework of variables, which assumed that there is a named
scope for every function/filter.

Attribute blocks are now allocated from slabs instead of malloc()

Removed an accidentally merged debug call introduced in 5395880908fdb264b5b78ccc455dced49eb29915

Netlink: Parse onlink flag even on direct routes

While onlink flag is meaningful only with explicit next hops, it can be
defined also on direct routes. Parse it also in this case to avoid
periodic updates of the same route.

Thanks to Marcin Saklak for the bugreport.

GDB connection: resource pools don't keep free pages

Merge commit 'ab0994a1' into thread-next

Merge commit '57d0ecb9' into thread-next

Merge commit '53958809' into thread-next

Merge commit '821344c7' into thread-next

Merge commit '4ba991f1' into thread-next

Merge commit '44dbedbe' into thread-next

Fixed SSH known hosts checking with older versions of libssh

Tamed slab signedness warning on 32-bit architectures

BGP refeed and reload with Adj-RIB-In/Out is done without route refresh

TES_HUNGRY doesn't inhibit export cleanup any more

More thorough logging of route update corner cases

Fixed BGP reload limits

Limited value must never go under zero

CLI fix to break busy-loop waiting for corked show-route exports

Fixed export hook stopping in some corner cases.

Notably, it's in a corked state and also when refeed is pending.

BGP: End route refresh before another starts

BGP: Add option 'next hop prefer global'

Add BGP channel option 'next hop prefer global' that modifies BGP
recursive next hop resolution to use global next hop IPv6 address instead
of link-local next hop IPv6 address for immediate next hop of received
routes.

Poll errors must also drop a corefile. And we shouldn't run sockets when sockets have changed

Fixed previously untested paths in RPKI

Merge commit 'dc9351d3' into HEAD

Fixed pipe reload/refeed to properly propagate as route refresh to the other table

Merge commit '67256d50' into HEAD

Merge commit '3ace3a42' into HEAD

Merge commit 'fb7fb674' into HEAD

Merge commit 'e9e6baae' into HEAD

Merge commit 'a32cee78' into HEAD

Merge commit '71b434a9' into HEAD

Merge commit '0072d11f' into tmp-learn

Nest: Add channel config flag to distinguish new or copy

It is useful to distinguish whehter channel config returned from
channel_config_get() was allocated new, or existing from template.
Caller may want to initialize new ones.

BGP: Do not assume that all channels are struct bgp_channel

In principle, the channel list is a list of parent struct proto and can
contain general structures of type struct channel, That is useful e.g.
for adding MPLS channels to BGP.

Filter: Add some minor functions for f_tree and EC

Add some supportive functions for f_tree and EC. These functions are used
by L3VPN code.

BGP: Some fixes related to VRF and MPLS interactions

 - When next hop is reset to local IP, we should remove BGP label stack,
   as it is related to original next hop

 - BGP next hop or immediate next hop from one VRF should not be passed
   to another VRF, as they are different IP namespaces

RPKI: wait for retry_time if we get error immediately after connected

Merge branch 'tmp-bad-learn' into thread-next

Merge commit '9efaf6ba' into tmp-bad-learn

Also fixed forgotten best route selection among alien routes.

Merge commit '4364ee' into tmp-bad-learn

Merge commit 'cae5979871ee7aa341334f8b1af6bafc60ee9692' into tmp-bad-learn

KRT: Fix route learning

This is a reimplementation of commit 0f2be469f897b6d9f925563bbf522438c83522ea
by Alexander Zubkov. In the master branch, changes in commit eb937358
broke setting of channel preference for alien routes learned during
scan. The preference was set only for async routes.

The original solution is extended here to accomodate for v3 specifics.

KRT: Fix setting default preference

Changes in commit eb937358 broke setting of channel preference for alien
routes learned during scan. The preference was set only for async routes.
Move common attribute processing part of functions krt_learn_async() and
krt_learn_async() to a separate function to have only one place for such
changes.

Merge commit '3fd1f461' into thread-next

closes #16
closes #17
closes #18

Merge commit 'aadf690b' into thread-next

Merging the old version of route refresh export settle times with -s
ours as the new version is more contained.

Higher export settle times when route refresh is running.

This helps the route refresh procedures to finish or at least
do more work before the exporters jump in and steal all the CPU time
for themselves.

More verbose logging of table auxiliary export states

Fixed possible race condition in hostcache trie matching code not triggering HCU

Fixed the export settle timer to be actually a settle timer

Caching eattrs in filters is not needed anymore.

After flattening the route attribute structure, the ea_list ** is derivable
from rte * by arithmetics. Caching the derived value doesn't help performance
and therefore is removed as unnecessary.

Flushing tmp_linpool in tree test and in static protocol

Trie test uses direct tmp_allocz() instead of lp_allocz(tmp_linpool)

Local page allocation

Pipe kick-and-drain packed into a neat structure and functions.

BFD: The old pipe notification mechanism replaced by events

Fixed display of standby memory

Merge commit 'df476c2e' into thread-next

Implemented the corking by our own commit, merging with "ours" strategy.

Route export may get corked on refeed startup

Merge commit '0fd1c1d0' into thread-next

Using the "ours" strategy as the changes introduced in merged commits
are already implemented in thread-next in a different way.

Merge commit 'adf37d8e' into thread-next

Merge commit 'dc160e11' into thread-next

Merge remote-tracking branch 'origin/master' into thread-next

Ignoring that revert as the thread stack needs a completely different
allocation strategy. Not the current one either, yet it has to be done
yet.

Switched off forking for filter test.

You don't want to fork with threads running.

Merge commit '4f3fa162' into HEAD