Merge remote-tracking branch 'origin/mq-test-submodule' into HEAD

Netlab tests can be called from this repository.

To allow this, I added bird-tools as a submodule (aux-tools). To run
netlab tests, call

make aux-test-prepare
make netlab-tests

and wait patiently until all the tests finish.

You may also request single netlab tests:

make netlab-test-ospf-base

To rerun the tests, run

make netlab-tests-reset

and all the test results are wiped to run a fresh batch.

Added more netlab tests for automatic run.

This commit uses bird-tools in version
f35e8bce829f4bff61ec7eb07ec9c67aa867bc9a

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit '37b64441' into thread-next

Merge commit '32425297' into thread-next

Merge commit '8f79e6b9' into thread-next

Merge commit '8478de88' into thread-next

Merge commit '54430df9' into thread-next

Merge commit '0f2be469' into thread-next

Page allocator: Fixed minor bugs and added commentary

Memory pages are not munmapped, instead we just madvise()

Memory unmapping causes slow address space fragmentation, leading in
extreme cases to failing to allocate pages at all. Removing this problem
by keeping all the pages allocated to us, yet calling madvise() to let
kernel dispose of them.

This adds a little complexity and overhead as we have to keep the
pointers to the free pages, therefore to hold e.g. 1 GB of 4K pages with
8B pointers, we have to store 2 MB of data.

Moved config-related allocations to config_pool and showing its size in memory usage

Doc: Add documentation for "show route (import|export) table"

Filter: Fix handling of variables in anonymous filters

Define scope for anonymous filters, and also explicitly distinguish block
scopes and function/filter scopes instead of using anonymous / named
distinction.

Anonymous filters forgot to push scope, so variables for them were in
fact defined in the top scope and therefore they shared a frame. This got
broken after rework of variables, which assumed that there is a named
scope for every function/filter.

Attribute blocks are now allocated from slabs instead of malloc()

Removed an accidentally merged debug call introduced in 5395880908fdb264b5b78ccc455dced49eb29915

Netlink: Parse onlink flag even on direct routes

While onlink flag is meaningful only with explicit next hops, it can be
defined also on direct routes. Parse it also in this case to avoid
periodic updates of the same route.

Thanks to Marcin Saklak for the bugreport.

GDB connection: resource pools don't keep free pages

Merge commit 'ab0994a1' into thread-next

Merge commit '57d0ecb9' into thread-next

Merge commit '53958809' into thread-next

Merge commit '821344c7' into thread-next

Merge commit '4ba991f1' into thread-next

Merge commit '44dbedbe' into thread-next

Fixed SSH known hosts checking with older versions of libssh

Tamed slab signedness warning on 32-bit architectures

BGP refeed and reload with Adj-RIB-In/Out is done without route refresh

TES_HUNGRY doesn't inhibit export cleanup any more

More thorough logging of route update corner cases

Fixed BGP reload limits

Limited value must never go under zero

CLI fix to break busy-loop waiting for corked show-route exports

Fixed export hook stopping in some corner cases.

Notably, it's in a corked state and also when refeed is pending.

BGP: End route refresh before another starts

BGP: Add option 'next hop prefer global'

Add BGP channel option 'next hop prefer global' that modifies BGP
recursive next hop resolution to use global next hop IPv6 address instead
of link-local next hop IPv6 address for immediate next hop of received
routes.

Poll errors must also drop a corefile. And we shouldn't run sockets when sockets have changed

Fixed previously untested paths in RPKI

Merge commit 'dc9351d3' into HEAD

Fixed pipe reload/refeed to properly propagate as route refresh to the other table

Merge commit '67256d50' into HEAD

Merge commit '3ace3a42' into HEAD

Merge commit 'fb7fb674' into HEAD

Merge commit 'e9e6baae' into HEAD

Merge commit 'a32cee78' into HEAD

Merge commit '71b434a9' into HEAD

Merge commit '0072d11f' into tmp-learn

Nest: Add channel config flag to distinguish new or copy

It is useful to distinguish whehter channel config returned from
channel_config_get() was allocated new, or existing from template.
Caller may want to initialize new ones.

BGP: Do not assume that all channels are struct bgp_channel

In principle, the channel list is a list of parent struct proto and can
contain general structures of type struct channel, That is useful e.g.
for adding MPLS channels to BGP.

Filter: Add some minor functions for f_tree and EC

Add some supportive functions for f_tree and EC. These functions are used
by L3VPN code.

BGP: Some fixes related to VRF and MPLS interactions

 - When next hop is reset to local IP, we should remove BGP label stack,
   as it is related to original next hop

 - BGP next hop or immediate next hop from one VRF should not be passed
   to another VRF, as they are different IP namespaces

RPKI: wait for retry_time if we get error immediately after connected

Merge branch 'tmp-bad-learn' into thread-next

Merge commit '9efaf6ba' into tmp-bad-learn

Also fixed forgotten best route selection among alien routes.

Merge commit '4364ee' into tmp-bad-learn

Merge commit 'cae5979871ee7aa341334f8b1af6bafc60ee9692' into tmp-bad-learn

KRT: Fix route learning

This is a reimplementation of commit 0f2be469f897b6d9f925563bbf522438c83522ea
by Alexander Zubkov. In the master branch, changes in commit eb937358
broke setting of channel preference for alien routes learned during
scan. The preference was set only for async routes.

The original solution is extended here to accomodate for v3 specifics.

KRT: Fix setting default preference

Changes in commit eb937358 broke setting of channel preference for alien
routes learned during scan. The preference was set only for async routes.
Move common attribute processing part of functions krt_learn_async() and
krt_learn_async() to a separate function to have only one place for such
changes.

Merge commit '3fd1f461' into thread-next

closes #16
closes #17
closes #18

Merge commit 'aadf690b' into thread-next

Merging the old version of route refresh export settle times with -s
ours as the new version is more contained.

Higher export settle times when route refresh is running.

This helps the route refresh procedures to finish or at least
do more work before the exporters jump in and steal all the CPU time
for themselves.

More verbose logging of table auxiliary export states

Fixed possible race condition in hostcache trie matching code not triggering HCU

Fixed the export settle timer to be actually a settle timer

Caching eattrs in filters is not needed anymore.

After flattening the route attribute structure, the ea_list ** is derivable
from rte * by arithmetics. Caching the derived value doesn't help performance
and therefore is removed as unnecessary.

Flushing tmp_linpool in tree test and in static protocol

Trie test uses direct tmp_allocz() instead of lp_allocz(tmp_linpool)

Local page allocation

Pipe kick-and-drain packed into a neat structure and functions.

BFD: The old pipe notification mechanism replaced by events

Fixed display of standby memory

Merge commit 'df476c2e' into thread-next

Implemented the corking by our own commit, merging with "ours" strategy.

Route export may get corked on refeed startup

Merge commit '0fd1c1d0' into thread-next

Using the "ours" strategy as the changes introduced in merged commits
are already implemented in thread-next in a different way.

Merge commit 'adf37d8e' into thread-next

Merge commit 'dc160e11' into thread-next

Merge remote-tracking branch 'origin/master' into thread-next

Ignoring that revert as the thread stack needs a completely different
allocation strategy. Not the current one either, yet it has to be done
yet.

Switched off forking for filter test.

You don't want to fork with threads running.

Merge commit '4f3fa162' into HEAD

Fix for table hostcache corking and shutdown race conditions

Merge commit '1518970c' into HEAD

Fixing several race-conditions in event code.

After a suggestion by Santiago, I added the direct list pointer into
events and the events are now using this value to check whether the
route is active or not. Also the whole trick with sentinel node unioned
with event list is now gone.

For debugging, there is also an internal circular buffer to store what
has been recently happening in event code before e.g. a crash happened.
By default, this debug is off and must be manually enabled in
lib/event.c as it eats quite some time and space.

Longer unit test default timeout to prevent spurious build failures on slow virtuals

Table: Re-scheduling prune event when another prune loop is pending

Export event doesn't have to be postponed before requeuing as an export-stop event

Converted simple table events to loop flags

Loop flags: a simple idempotent event announcement mechanism

Cancelling all timers when loop stops

Routing tables have their own service loops.

Memory pages allocator is now a global simple lockless structure

Revert "Reducing filter stack size to allow for lesser thread stack size"

This reverts commit 2c13759136951ef0e70a3e3c2b2d3c9a387f7ed9.

Revert "Routing tables now have their own loops."

This reverts commit 878eeec12bf020c9e7460040d225a929bbbd2bd2.

These changes have been done in a different way in the other branch of
the future merge.

Table export announcer needs both an event and a timer to do export bundling the right way

Created a dedicated settle timer structure

Merge remote-tracking branch 'origin/master' into thread-next

Merge commit 'd2c1036a42881d413ec97203ede92a69f8cd218f' into thread-next

Merge branch 'mq-fix-eattr-setting' into thread-next

Table access is now locked.

Table feed refactoring to allow for locking and unlocking

Table long-locking debug code