BGP: refactored pending TX back into channel

Real almost-lockless feeds and more pull-like exports

Introducing a new omnipotent internal API to just pass route updates
from whatever point wherever we want.

From now on, all the exports should be processed by RT_WALK_EXPORTS
macro, and you can also issue a separate feed-only request to just get a
feed and finish.

The exporters can now also stop and the readers must expect that to
happen and recover. Main tables don't stop, though.

BGP: explicitly sending route refresh from CLI

Protocol filter reload is now done by 'reload filters'

This prepares for the separate 'reload bgp' command triggering BGP Route Refresh

Static: Fixed undefined nexthop padding problems

Netindex: fixed resolving net by index

RIP partial reload never worked properly, running full reload always

Dropping obsolete protocol Perf

We have now better methods how to measure overall performance
and this obsolete protocol has basically rotten away. If anybody
needs its features, feel free to revive it in future.

OSPF partial reload never worked properly, running full reload always

Simplified temporary resources

Also TMP_SAVED now uses the CLEANUP hook to allow for breaks and returns

SKIP_BACK_DECLARE: easier embedded-to-parent typecasting

Lockless feed of a single net

Using ea_lookup_tmp() for temporarily keeping attribute references

To avoid needs for keeping local temporary references for attributes,
now one can use ea_lookup_tmp() to ensure that the attributes are
valid and stored until the task ends. After that, the attributes are
automatically unref'd and also deallocated if needed.

Refactored the deferring framework into a separate structure

Avoiding RCU synchronization deadlock when locking in critical section

Explicitly marking domains eligible for RCU synchronization. It's then
forbidden to lock these domains in RCU critical section to avoid
possible deadlock.

RCU Unwinder refactored from route table to a separate structure

Table feeds are now lockless

This commit makes the route chains in the tables atomic. This allows not
only standard exports but also feeds and bulk exports to be processed
without ever locking the table.

Design note: the overall data structures are quite brittle. We're using
RCU read-locks to keep track about readers, and we're indicating ongoing
work on the data structures by prepending a REF_OBSOLETE sentinel node
to make every reader go waiting.

All the operations are intended to stay inside nest/rt-table.c and it
may be even best to further refactor the code to hide the routing table
internal structure inside there. Nobody shall definitely write any
routines manipulating live routes in tables from outside.

Fixed flush condition when stale cycle valid/set indicators wrap around

Kernel: replaced synchronous prune by a refeed

Lockless hostentry resolution

Now the hostentry doesn't need to lock table, instead it tracks the
hostentry version and retries if the hostentry changed while updating.

Cached route attributes now have explicitly marked layers

Also the rta_* functions renamed to ea_* functions

Netindex: Dropping tmp handle mechanism in favor of deferred lfuc_unlock

Fixed all implicit seq_cst warnings caused by the previous commit

Enabling warnings for implicit seq_cst in atomic access

Doc: short migration info for BIRD 2 -> 3

Fixed announcement inconsistency between feeds and regular exports

Fixed best route announcements after NHU

When more routes in one net changed at once, the best route
announcements were inconsistent which confused exporters.

Route flag REF_OBSOLETE

Marking routes obsolete when being removed from table, just to be sure.

Removed the obsolete birdloop flagger

This was useful when events were locking. As now sending events is lockless,
we can drop this obsolete routine for good.

Simplified table deletion (one less step)

Hostentry usecount converted to lfuc

Lockfree usecount: deferring unlocks to the metaloop

This allows us for easy temporary locks without additional burden of explicit cleanup.

Route table export journal converted to the generic structure

Lock free journal refactored into a separate data structure

Replacing the NHU table loop flag with a proper event

Flowspec links don't peruse the all-hooks list for lookup

Refactoring: back-merged export data structures

Table-specific structures inheriting commons are too crazy.

Export table dump temporarily switched off

Added and explicit target table to the ROA subscription object

Refactoring of struct rt_pending_export

Now it stores const rte * instead of struct rte_storage * to allow for
different storage backends.

Missing definition of RTAX_FASTOPEN_NO_COOKIE shouldn't kill the whole build

Merge a branch of fixes and updates needed for stabilization of v3.

    Merge commit 'c06ce709' into HEAD

L3VPN: Setting the bgp_ext_community flags properly

Static: Unlock IGP tables on cleanup to avoid problems with hostentry unlocking

Loop run waits until pingers finish

This ensures that if somebody passes an event to a loop which
has just started executing, then the event gets picked up. Otherwise
there is a race condition causing stray events pending in queue
but without the ping (because the run actually finishes too fast
to pickup the later events).

IO Loop: provide information about current loop and task time limit

Allowing to send events to the metaloop's priority list

Net: explicit generic-to-specific typecast with checking

Bitops: bitflip function

to flip order of bits in 32b numbers

Locking: forcefully unwinding locks to a previously stored state

Typed list: macro for list length

Typed lists: enabled defining the list structure independently on the node

Event: fixed race condition between ev_send and ev_postpone

IO loop: fixed local hot page cache flushing condition

lib/printf_test.c: test on strcmp fixed

we mistakenly required the return value to be only -1, 0 or 1

BGP: Fixed corking of RX

If cork occurred after some incoming data had been already processed,
BGP incorrectly processed them again after uncorking because it forgot
to store the actual socket state.

Now storing the socket state (done at the end of bgp_rx()) and
therefore the bug is fixed.

Fixed in-table route refresh counter to not randomly add 256

Fixed hostcache notifier pool

This pool has to be the service pool to allow the seq bitmaps to grow
from the exporter and feeder routines

Fixed reporting about exported routes

Fixed annoying undefined values with nexthops

Undefined behavior fix

CLang compilation fix

Merge commit '0b684a43bd7ce4a32c9cd7754b88286bcd1815bb' into thread-next

Merge commit '66d6ac70856bdb29840983454373bb10a532e4f7' into thread-next

Merge commit '1b064355f752b9bfe4644f775697bbd9b711f762' into thread-next

Merge commit '114be2af28e5c124bd479a487f89244ba99c272d' into thread-next

Merge commit '26dd61ee7f91c15157601b2404de5b6500a6061c' into thread-next

Merge commit '2d0652dd1088395c50df8fe1a99f1111b44688c6' into thread-next

Filter: Initialize route attribute flags properly

Move 'flags' field back to ea_class, so filtering code can use it to
initialize route attribute flags when set by filters.

Merge commit '44a16bff6cbf3f5ae8db21ffcec602bc51295d0a' into thread-next

Merge commit '5c04f0e2354ff0cca9b1479e68882b72755f3aab' into thread-next

(No need for deprecated names in BIRD 3.)

Nest: Fix bitfield attributes

Fix missing route lookup, causing crash when accessing route attribute.

Also fix additional space in bitfield formatting.

Merge commit 'e68363909cb9733c1bf55fff80a8b034e4111849' into thread-next

Fix merge commit c195c7a0d50cd80656fc3cabc692a0464dd0cb2d

Merge commit '225943eaea3cdd634dce8fd84547baf1bc363640' into thread-next

Merge commit '224a152c53f304881f8616a1c9255b467062a069' into thread-next

Merge commit '574d7eb241a60622b0573ab1460cb23d968ba1cc' into thread-next

Merge commit 'f40e2bc270d3635be518ae80251ce0b5c519c6f4' into thread-next

(empty merge, no fix needed in thread-next)

Revert "Temporarily disabling L3VPN netlab test, has no data for v3"

This reverts commit 000dbf737c6821501f3909cb656be9a73e367186.

L3VPN: Fix missing rte_owner_class registration

Nest: Improve printing of hostentries with MPLS labels

MPLS labels in hostentry should be printed with 'mpls' keyword instead of
'labels' to be consistent with the rest of the 'show route' output.

Nest: Fix printing of hostentry table

When hostentry is printed, it should show the table in which the nexthop
is resolved, not the dependend one.

NEWS and version update

Static: Fix invalid combination of nexthop options

BFD requires defined local IP, but for nexthop with onlink there might
not be such address. So we reject this combination of nexthop options.
This prevent crash where such combination of options is used.

Revert "OSPF: On physical PtP links, skip next-hop resolving"

This reverts commit 31aa62ae6d2e111e87c08b4b27a16ead968f0689.

Merge commit '44e351d1522f0099687aac9fd65dcea73a04af43'

Babel: Fix build with limited set of protocols

Aggregator: Fix build with limited set of protocols

Static: Fix build with limited set of protocols

NEWS and version update

Client: Add support for completion of command options

We can easily extend command completion to handle also keywords for
command options. Help for command options is not yet supported.

Filter: Add route attribute gw_mpls_stack

Add route attribute gw_mpls_stack to make MPLS stack of route nexthop
accessible from filters. Its type is T_CLIST, which is really not correct
(as it is a list, while T_CLIST is a set). Therefore, we keep this
attribute *undocumented* and it will be *changed* without further notice.

Based on a patch from Trisha Biswas <tbiswas@fastly.com>, thanks!

BFD: Add arguments to 'show bfd sessions' command

Add several arguments to 'show bfd sessions' command to filter
the list of sessions.

BFD: Improve 'show bfd sessions all' command

BFD: Show session for ip / ip prefix

BFD: show bfd sessions all

RPKI: Add 'local address' configuration option

Allow to explicitly configure the source IP address for RPKI-To-Router
sessions. Predictable source addresses are useful for minimizing the
holes to be poked in ACLs.

Changed from 'source address' to 'local address' by committer.

BGP: Maintain valid route attribute flags even in local tables

BGP route attributes have flags (Optional, Transitive) that are validated
on decode and set to valid value on export. But if such attribute is
modified by filter or set internally by BGP during import, then its flags
would be zero in local tables. That usually does not matter, as they are
not used locally and they were fixed on export, but invalid flags leaked
in BMP and MRT dumps.

Keep route attribute flags set to valid values even when set by filters
or modified by BGP.

BGP: Update SendHoldTimer BGP Error code

IANA registered an "Early Allocation" BGP Error code for 'Send Hold
Timer Expired' event. Update BIRD to use that error code.

Static: Allow to define both nexthop and interface

Allow to define both nexthop and interface using iproute2-like syntax,
e.g.: route 10.0.0.0/16 via 10.1.0.1 dev "eth0";

Now we can avoid to use link-local scope hack (e.g. 10.1.0.1%eth0)
for cases where both nexthop and interface have to be defined.

Thanks to Marcin Saklak for the suggestion.