Fixed export hook stopping in some corner cases.

Notably, it's in a corked state and also when refeed is pending.

BGP: End route refresh before another starts

Poll errors must also drop a corefile. And we shouldn't run sockets when sockets have changed

Fixed previously untested paths in RPKI

Merge commit 'dc9351d3' into HEAD

Fixed pipe reload/refeed to properly propagate as route refresh to the other table

Merge commit '67256d50' into HEAD

Merge commit '3ace3a42' into HEAD

Merge commit 'fb7fb674' into HEAD

Merge commit 'e9e6baae' into HEAD

Merge commit 'a32cee78' into HEAD

Merge commit '71b434a9' into HEAD

Merge commit '0072d11f' into tmp-learn

Merge branch 'tmp-bad-learn' into thread-next

Merge commit '9efaf6ba' into tmp-bad-learn

Also fixed forgotten best route selection among alien routes.

Merge commit '4364ee' into tmp-bad-learn

Merge commit 'cae5979871ee7aa341334f8b1af6bafc60ee9692' into tmp-bad-learn

KRT: Fix route learning

This is a reimplementation of commit 0f2be469f897b6d9f925563bbf522438c83522ea
by Alexander Zubkov. In the master branch, changes in commit eb937358
broke setting of channel preference for alien routes learned during
scan. The preference was set only for async routes.

The original solution is extended here to accomodate for v3 specifics.

Merge commit '3fd1f461' into thread-next

closes #16
closes #17
closes #18

Merge commit 'aadf690b' into thread-next

Merging the old version of route refresh export settle times with -s
ours as the new version is more contained.

Higher export settle times when route refresh is running.

This helps the route refresh procedures to finish or at least
do more work before the exporters jump in and steal all the CPU time
for themselves.

More verbose logging of table auxiliary export states

Fixed possible race condition in hostcache trie matching code not triggering HCU

Fixed the export settle timer to be actually a settle timer

Caching eattrs in filters is not needed anymore.

After flattening the route attribute structure, the ea_list ** is derivable
from rte * by arithmetics. Caching the derived value doesn't help performance
and therefore is removed as unnecessary.

Flushing tmp_linpool in tree test and in static protocol

Trie test uses direct tmp_allocz() instead of lp_allocz(tmp_linpool)

Local page allocation

Pipe kick-and-drain packed into a neat structure and functions.

BFD: The old pipe notification mechanism replaced by events

Fixed display of standby memory

Merge commit 'df476c2e' into thread-next

Implemented the corking by our own commit, merging with "ours" strategy.

Route export may get corked on refeed startup

Merge commit '0fd1c1d0' into thread-next

Using the "ours" strategy as the changes introduced in merged commits
are already implemented in thread-next in a different way.

Merge commit 'adf37d8e' into thread-next

Merge commit 'dc160e11' into thread-next

Merge remote-tracking branch 'origin/master' into thread-next

Ignoring that revert as the thread stack needs a completely different
allocation strategy. Not the current one either, yet it has to be done
yet.

Switched off forking for filter test.

You don't want to fork with threads running.

Merge commit '4f3fa162' into HEAD

Fix for table hostcache corking and shutdown race conditions

Merge commit '1518970c' into HEAD

Fixing several race-conditions in event code.

After a suggestion by Santiago, I added the direct list pointer into
events and the events are now using this value to check whether the
route is active or not. Also the whole trick with sentinel node unioned
with event list is now gone.

For debugging, there is also an internal circular buffer to store what
has been recently happening in event code before e.g. a crash happened.
By default, this debug is off and must be manually enabled in
lib/event.c as it eats quite some time and space.

Longer unit test default timeout to prevent spurious build failures on slow virtuals

Table: Re-scheduling prune event when another prune loop is pending

Export event doesn't have to be postponed before requeuing as an export-stop event

Converted simple table events to loop flags

Loop flags: a simple idempotent event announcement mechanism

Cancelling all timers when loop stops

Routing tables have their own service loops.

Memory pages allocator is now a global simple lockless structure

Revert "Reducing filter stack size to allow for lesser thread stack size"

This reverts commit 2c13759136951ef0e70a3e3c2b2d3c9a387f7ed9.

Revert "Routing tables now have their own loops."

This reverts commit 878eeec12bf020c9e7460040d225a929bbbd2bd2.

These changes have been done in a different way in the other branch of
the future merge.

Table export announcer needs both an event and a timer to do export bundling the right way

Created a dedicated settle timer structure

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit 'd2c1036a42881d413ec97203ede92a69f8cd218f' into thread-next

Merge branch 'mq-fix-eattr-setting' into thread-next

Table access is now locked.

Table feed refactoring to allow for locking and unlocking

Table long-locking debug code

Next hop updater has its own event

Next hop refactoring to allow for table locking

Better profylaction recursive route loops

In some specific configurations, it was possible to send BIRD into an
infinite loop of recursive next hop resolution. This was caused by route
priority inversion.

To prevent priority inversions affecting other next hops, we simply
refuse to resolve any next hop if the best route for the matching prefix
is recursive or any other route with the same preference is recursive.

Next hop resolution doesn't change route priority, therefore it is
perfectly OK to resolve BGP next hops e.g. by an OSPF route, yet if the
same (or covering) prefix is also announced by iBGP, by retraction of
the OSPF route we would get a possible priority inversion.

Next hop update triggered at the very end of hostcache update

Exporter routine refactoring to allow for nicer table locking

Added an indirection to the export announcement routine

There are performance reasons for this, mostly that we don't want to
ping the table service routine with every import.

ROA subscriptions are also converted to export requests.

By this, the requesting channels do the timers in their own loops,
avoiding unnecessary synchronization when the central timer went off.

This is of course less effective for now, yet it allows to easily
implement selective reloads in future.

Flowspec revalidate notification converted to an export hook

Instead of synchronous notifications, we use the asynchronous export
framework to notify flowspec src route updates. This allows us to
invoke flowspec revalidation without locking collisions.

Hostcache update notification converted to an export hook

Instead of synchronous notifications, we use the asynchronous export
framework to notify also hostcache updates. This allows us to do the
hostcache update and the subsequent next hop update notification without
locking collisions.

Miscellaneous refactoring

Table debug is now a per-table setting and has categories.

Default tables are not created unless actually used.

This allows for setting default table values at the beginning of config
file before "master4" and "master6" tables are initialized.

Tables: Requesting prune only after export cleanup

We can't free the network structures before the export has been cleaned
up, therefore it makes more sense to request prune only after export
cleanup. This change also reduces prune calls on table shutdown.

Merge branch 'mq-fix-eattr-setting' into backport

Simplified the protocol hookup code in Makefiles

Fixed initialization of Linux kernel route attributes

Merge branch 'backport' into thread-next

Merge commit '082905a8' into thread-next

Merge commit '534d0a4b' into thread-next

Merge commit '2e484f8d' into thread-next

Merge commit '971721c9' into thread-next

Merge commit '4d48ede5' into thread-next

Merge commit 'c7d0c5b2' into thread-next

Merge commit '18f66055' into thread-next

Merge commit '038fcf1c' into thread-next

It was necessary to update the code to match removal of rta, as well as
existence of cached nested attribute lists.

Merge commit '082905a8' into HEAD

rip_rte_better() uses the IGP_METRIC_UNKNOWN instead of protocol-specific infinity

Merge commit '97476e00' into thread-next

Had to fix route source locking inside BGP export table as we need to
keep the route sources properly allocated until even last BGP pending
update is sent out, therefore the export table printout is accurate.

BGP: The bucket/prefix hashes are now a resource to allow for proper cleanup

Merge commit 'f0507f05ce57398e135651896dace4cb68eeed54' into thread-next

Merge branch 'ballygarvan' into HEAD

Replacing the old 3.0-alpha0 cork mechanism with another one inside the
routing table. This version should be simpler and also quite clear what
it does, why and when.

Revert "Split route table event into separate events"

This reverts commit 445eeaf3df126af2c7b61e71c4f08a583eb4fa60.

Revert "Table cork: Stop creating updates when there are too many pending."

This reverts commit 3b20722a1fc777c27ab2e0451d0ea3fee7fa81a2.

Also next hop update routines are corking themselves when congestion is detected

BGP: respecting table cork

Route table cork: Indicate whether the export queues are congested.

These routines detect the export congestion (as defined by configurable
thresholds) and propagate the state to readers. There are no readers for
now, they will be added in following commits.

Introducing basic RCU primitives for lock-less shared data structures

Fixed main birdloop init in unit tests

Some unit tests weren't initializing the birdloop, trying to write the
birdloop ping into stdin. Fixed this and also forced stdin close on
startup of every test just to be sure that CI and local build behave the
same in this. (CI was failing on this while local build not.)

Sending an event must also ping the target IO loop

Moved the thread starting code to IO loop code