Table: Freeing routes deferred to save rcu synchronization

Route attributes now use the common lockfree usecount

Also route attributes are not freed immediately anymore.

Hash: dropped relics of hash iterators

Route attribute hash replaced with the generic one

Softened warning about too much time spent in loop

Now the warning needs at least 10 ms after the scheduled end time
to ever complain.

TODO: make this configurable

BGP: Freeing prefixes deferred to save rcu synchronization

Common parts of the ROA updater moved into the table

Channel is now just subscribing to yet another journal announcing
digested tries from the ROA table.

Creating tries in every channel on-the-fly was too slow to handle
and it ate obnoxious amounts of memory. Instead, the tries are
constructed directly in the table and the channels are notified
with the completed tries.

The delayed export-release mechanism is used to keep the tries allocated
until routes get reloaded.

Task deferrer: kinda more dumb-resistant macro

Originally, this mechanism required to check whether there's enough time to work
and then to send an event. This macro combines all the logic and goes more straightforwardly
to the _end_ of the export processing loop.

One should note that there were two cases where the export processing loop
was deferred at the _beginning_, which led to ignoring some routes on
reimports. This wasn't easily noticeable in the tests until the one-task
limit got a ceiling on 300 ms to keep reasonable latency.

Never allow more than 300 ms per loop

BGP: export table stores routes, reloads and shows in CLI.

In future, this and rtable's data structures should be probably merged
but it isn't a good idea to do now. The used data structure is similar
to rtable -- an array of pointers to linked lists.

Feed is lockless, as with all tables.

Full export (receiving updates) is not supported yet but we don't have
any method how to use it anyway. Gonna implement it later.

BGP: Prefix table uses a pointer array instead of hash

RCU: Rewritten to be more straightforward

Unit test for RCU

Netindex: consistency checks and deletion of whole hash

If debugging, store a malloc circular log for easier debugging

Hostentry: made src ea_list atomic to help with consistency

Slab: can be deleted as a single object

Export: Next feed step-up is now internal

There is no much reason to do anything else than the netindex technique.

BGP: Simpler hashing in export table

We need a hashing simple enough to allow for feeding by netindex.

BGP: Export uses common attribute cache

There is no real need for storing bucket attributes locally and we may
save some memory by caching the attributes in one central place.

If this becomes a contention problem, we should reduce the lock load
of the central attribute cache.

BGP: pending TX prefixes link netindex instead of copying net_addr

This helps with memory consumption, allows for removal of multiple
slab/mblock ifs and prepares for easier feeds.

BGP: refactored pending TX back into channel

Real almost-lockless feeds and more pull-like exports

Introducing a new omnipotent internal API to just pass route updates
from whatever point wherever we want.

From now on, all the exports should be processed by RT_WALK_EXPORTS
macro, and you can also issue a separate feed-only request to just get a
feed and finish.

The exporters can now also stop and the readers must expect that to
happen and recover. Main tables don't stop, though.

BGP: explicitly sending route refresh from CLI

Protocol filter reload is now done by 'reload filters'

This prepares for the separate 'reload bgp' command triggering BGP Route Refresh

Static: Fixed undefined nexthop padding problems

Netindex: fixed resolving net by index

RIP partial reload never worked properly, running full reload always

Dropping obsolete protocol Perf

We have now better methods how to measure overall performance
and this obsolete protocol has basically rotten away. If anybody
needs its features, feel free to revive it in future.

OSPF partial reload never worked properly, running full reload always

Simplified temporary resources

Also TMP_SAVED now uses the CLEANUP hook to allow for breaks and returns

SKIP_BACK_DECLARE: easier embedded-to-parent typecasting

Lockless feed of a single net

Using ea_lookup_tmp() for temporarily keeping attribute references

To avoid needs for keeping local temporary references for attributes,
now one can use ea_lookup_tmp() to ensure that the attributes are
valid and stored until the task ends. After that, the attributes are
automatically unref'd and also deallocated if needed.

Refactored the deferring framework into a separate structure

Avoiding RCU synchronization deadlock when locking in critical section

Explicitly marking domains eligible for RCU synchronization. It's then
forbidden to lock these domains in RCU critical section to avoid
possible deadlock.

RCU Unwinder refactored from route table to a separate structure

Table feeds are now lockless

This commit makes the route chains in the tables atomic. This allows not
only standard exports but also feeds and bulk exports to be processed
without ever locking the table.

Design note: the overall data structures are quite brittle. We're using
RCU read-locks to keep track about readers, and we're indicating ongoing
work on the data structures by prepending a REF_OBSOLETE sentinel node
to make every reader go waiting.

All the operations are intended to stay inside nest/rt-table.c and it
may be even best to further refactor the code to hide the routing table
internal structure inside there. Nobody shall definitely write any
routines manipulating live routes in tables from outside.

Fixed flush condition when stale cycle valid/set indicators wrap around

Kernel: replaced synchronous prune by a refeed

Lockless hostentry resolution

Now the hostentry doesn't need to lock table, instead it tracks the
hostentry version and retries if the hostentry changed while updating.

Cached route attributes now have explicitly marked layers

Also the rta_* functions renamed to ea_* functions

Netindex: Dropping tmp handle mechanism in favor of deferred lfuc_unlock

Fixed all implicit seq_cst warnings caused by the previous commit

Enabling warnings for implicit seq_cst in atomic access

Doc: short migration info for BIRD 2 -> 3

Fixed announcement inconsistency between feeds and regular exports

Fixed best route announcements after NHU

When more routes in one net changed at once, the best route
announcements were inconsistent which confused exporters.

Route flag REF_OBSOLETE

Marking routes obsolete when being removed from table, just to be sure.

Removed the obsolete birdloop flagger

This was useful when events were locking. As now sending events is lockless,
we can drop this obsolete routine for good.

Simplified table deletion (one less step)

Hostentry usecount converted to lfuc

Lockfree usecount: deferring unlocks to the metaloop

This allows us for easy temporary locks without additional burden of explicit cleanup.

Route table export journal converted to the generic structure

Lock free journal refactored into a separate data structure

Replacing the NHU table loop flag with a proper event

Flowspec links don't peruse the all-hooks list for lookup

Refactoring: back-merged export data structures

Table-specific structures inheriting commons are too crazy.

Export table dump temporarily switched off

Added and explicit target table to the ROA subscription object

Refactoring of struct rt_pending_export

Now it stores const rte * instead of struct rte_storage * to allow for
different storage backends.

Missing definition of RTAX_FASTOPEN_NO_COOKIE shouldn't kill the whole build

Merge a branch of fixes and updates needed for stabilization of v3.

    Merge commit 'c06ce709' into HEAD

L3VPN: Setting the bgp_ext_community flags properly

Static: Unlock IGP tables on cleanup to avoid problems with hostentry unlocking

Loop run waits until pingers finish

This ensures that if somebody passes an event to a loop which
has just started executing, then the event gets picked up. Otherwise
there is a race condition causing stray events pending in queue
but without the ping (because the run actually finishes too fast
to pickup the later events).

IO Loop: provide information about current loop and task time limit

Allowing to send events to the metaloop's priority list

Net: explicit generic-to-specific typecast with checking

Bitops: bitflip function

to flip order of bits in 32b numbers

Locking: forcefully unwinding locks to a previously stored state

Typed list: macro for list length

Typed lists: enabled defining the list structure independently on the node

Event: fixed race condition between ev_send and ev_postpone

IO loop: fixed local hot page cache flushing condition

lib/printf_test.c: test on strcmp fixed

we mistakenly required the return value to be only -1, 0 or 1

BGP: Fixed corking of RX

If cork occurred after some incoming data had been already processed,
BGP incorrectly processed them again after uncorking because it forgot
to store the actual socket state.

Now storing the socket state (done at the end of bgp_rx()) and
therefore the bug is fixed.

Fixed in-table route refresh counter to not randomly add 256

Fixed hostcache notifier pool

This pool has to be the service pool to allow the seq bitmaps to grow
from the exporter and feeder routines

Fixed reporting about exported routes

Fixed annoying undefined values with nexthops

Undefined behavior fix

CLang compilation fix

Merge commit '0b684a43bd7ce4a32c9cd7754b88286bcd1815bb' into thread-next

Merge commit '66d6ac70856bdb29840983454373bb10a532e4f7' into thread-next

Merge commit '1b064355f752b9bfe4644f775697bbd9b711f762' into thread-next

Merge commit '114be2af28e5c124bd479a487f89244ba99c272d' into thread-next

Merge commit '26dd61ee7f91c15157601b2404de5b6500a6061c' into thread-next

Merge commit '2d0652dd1088395c50df8fe1a99f1111b44688c6' into thread-next

Filter: Initialize route attribute flags properly

Move 'flags' field back to ea_class, so filtering code can use it to
initialize route attribute flags when set by filters.

Merge commit '44a16bff6cbf3f5ae8db21ffcec602bc51295d0a' into thread-next

Merge commit '5c04f0e2354ff0cca9b1479e68882b72755f3aab' into thread-next

(No need for deprecated names in BIRD 3.)

Nest: Fix bitfield attributes

Fix missing route lookup, causing crash when accessing route attribute.

Also fix additional space in bitfield formatting.

Merge commit 'e68363909cb9733c1bf55fff80a8b034e4111849' into thread-next

Fix merge commit c195c7a0d50cd80656fc3cabc692a0464dd0cb2d

Merge commit '225943eaea3cdd634dce8fd84547baf1bc363640' into thread-next

Merge commit '224a152c53f304881f8616a1c9255b467062a069' into thread-next

Merge commit '574d7eb241a60622b0573ab1460cb23d968ba1cc' into thread-next

Merge commit 'f40e2bc270d3635be518ae80251ce0b5c519c6f4' into thread-next

(empty merge, no fix needed in thread-next)

Revert "Temporarily disabling L3VPN netlab test, has no data for v3"

This reverts commit 000dbf737c6821501f3909cb656be9a73e367186.