filter/test.conf: testing roa subprefixes

Merge branch 'thread-next' of gitlab.nic.cz:labs/bird into thread-next

Fix alignment requirements to include atomic u64.

Not having this led to bus errors on unaligned atomic u64 access
on architectures with 4B pointers.

Proto show: show creation and last autorestart time

Merge branch 'thread-next' of gitlab.nic.cz:labs/bird into thread-next

Merge commit '4dd5b3d9' into thread-next

Merge commit '145830bd' into thread-next

Merge commit '946386f2' into thread-next

Merge commit '7ee27418' into thread-next

BMP: Fixing corner cases

Protocol state propagation collision, shutdown collision.

BMP: Never touching the BGP directly

Dropped hopefully last remnants of BMP directly accessing BGP structures.

Nest: proto/channel state table naming convention cleanup

Lockfree journal: Cleanup hook runs only when needed.

The function lfjour_cleanup_hook() was scheduled each time any of the
journal recipients reached end of a block of journal items or read all
of journal items. Because lfjour_cleanup_hook() can clean only journal
items every recipient has processed, it was often called uselessly.

This commit restricts most of the unuseful scheduling. Only some
recipients are given a token alowing them to try to schedule the
cleanup hook. When a recipient wants to schedule the cleanup hook, it
checks whether it has a token. If yes, it decrements number of tokens
the journal has given (issued_tokens) and discards its own token. If
issued_tokens reaches zero, the recipient is allowed to schedule the
cleanup hook.

There is a maximum number of tokens a journal can give to its recipients
(max_tokens). A new recipient is given a token in its init, unless the
maximum number of tokens is reached. The rest of tokens is given to
customers in lfjour_cleanup_hook().

In the cleanup hook, the issued_tokens number is increased in order to
avoid calling the hook before it finishes. Then, tokens are given to the
slowest recipients (but never to more than max_token recipients). Before
leaving lfjour_cleanup_hook(), the issued_tokens number is decreased back.
If no other tokens are given, we have to make sure the
lfjour_cleanup_hook will be called again. If every item in journal was
read by every recipient, tokens are given to random recipients. If all
recipients with tokens managed to finish until now, we give the token to
the first unfinished customer we find, or we just call the hook again.

Nest: fixed a race-condition between import and export

There was a leaking stack pointer to the global memory.
Fixed by making that temporary structure thread local static.

BMP: Dropped remnants of unused channels

BMP: refactored lists and table locks to tlists

BMP: protocol state ingestion refactoring

BMP: Tamed a TX buffer warning

Merge commit 'a47704a53db4f088e52e43f8b24785e5777ce147' into thread-next

Merge commit '73e7d3f5cede2e72eb9e77d61424a8c443672c09' into thread-next

Merge commit '5205ff97448cc34cf7334e90172c28eb48f227f2' into thread-next

Merge commit 'e6a100b31a7637ee739338e4b933367707ec931f' into thread-next

Merge branch 'thread-next' of gitlab.nic.cz:labs/bird into thread-next

Merge commit '460321cfe979459e3b78ba87694f29865d321612' into thread-next

Logging: exposing vlog() to log va_lists

CLI: adding cli_vprintf()

MRT: instead of crashing, ignore non-BGP attributes

Printf: impossible buffer overflow fix

When printing near the end of the buffer, there was an overflow in two cases:

(1) %c and size is zero
(2) %1N, %1I, %1I4, %1I6 (auto-fill field_width for Net or IP), size is
    more than actual length of the net/ip but less than the auto-filled
    field width.

Manual code examination showed that nothing could have ever triggered
this behavior. All older versions of BIRD, including BIRD 3 development
versions, are totally safe. This exact overflow has been found while
implementing a new feature in later commits.

BMP: Refactor route monitor message serialization

Instead of several levels of functions, just have two functions
(one for routes, the other for end-of-rib), this allows to create
messages in a simple linear fashion.

Also reduce three duplicite functions to construct BGP header for
BMP messages to just one.

BMP: Refactor computation of message length

Fill message length after the message is created instead of computing
it beforehand. Also rename some functions to fit common pattern.

BMP: Refactor per-peer header arguments

Put all arguments for per-peer header into one structure instead of
passing them around as a lump of arguments. Also simplify code for
peer flags.

BMP: simplified update queuing and better memory performance

This commit is quite a substantial rework of the underlying layers in
BMP TX:

- several unnecessary layers of indirection dropped, including most of
  the original BMP's buffer machinery
- all messages are now written directly into one protocol's buffer
  allocated for the whole time big enough to fit every possible message
- output blocks are allocated by pages and immediately returned when
  used, improving the overall memory footprint
- no intermediary allocation is done from the heap altogether
- there is a documented and configurable limit on the TX queue size

Formatting numbers with order prefixes

Unit tests by Ondrej Zajicek.

BMP: drop an unused mempool

Merge commit '3ca6e03d' into thread-merge-2.16

Merge commit 'fc2b4b26' into thread-merge-2.16

Actually, completely rewritten the original patch as in v3, the logging
initialization is much more complex and requires allocation.

This way, to bootstrap properly, the logger has a pre-defined log target
to stderr.

Merge commit '997d2f57' into thread-merge-2.16

Merge commit '49be4a03' into thread-merge-2.16

Conf: build fix for older bisons

Typed blocks are probably a too new extension to rely on.

Merge commit '82d57fb7' into thread-merge-2.16

Merge commit '38195ac6' into thread-merge-2.16

Merge commit 'c7e843c1' into thread-merge-2.16

Merge commit '294d363d' into thread-merge-2.16

Merge commit '1002c35b' into thread-merge-2.16

Merge commit '80ca0ed2' into thread-merge-2.16

Fixed a nasty merge conflict with bgp_origin serving double duty
as both an attribute and enum name.

RPKI: refactored pdu to host byte order conversion

We shouldn't convert bytes 2 and 3 of the PDU blindly, there are several
cases where these are used by bytes. Instead, the conversion is done
only where needed.

This fixes misinterpretation bug of ASPA PDU flags on little endian
architectures.

Merge commit '072821e5' into thread-merge-2.16

Merge commit 'a70ecade' into thread-merge-2.16

Merge commit '39e75b87' into thread-merge-2.16

Merge commit '163ab313' into thread-merge-2.16

Merge commit '8dc2a36a' into thread-merge-2.16

Merge commit '5daec239' into thread-merge-2.16

Merge commit 'acbdc29d' into thread-merge-2.16

Merge commit 'c9836207' into thread-merge-2.16

Merge commit 'df22b314' into thread-merge-2.16

Merge commit '08ff0af8' into thread-merge-2.16

Merge commit 'f3b6661d' into thread-merge-2.16

Merge commit 'a95fff37' into thread-merge-2.16

Merge commit '09f50f37' into thread-merge-2.16

Merge commit '8a40bccf' into thread-merge-2.16

Merge commit '00b139bd' into thread-merge-2.16

Merge commit 'a5b4c21d' into thread-merge-2.16

Merge commit '2d6fb31c' into thread-merge-2.16

Merge commit 'e29f134a' into thread-merge-2.16

Merge commit '280daed5' into thread-merge-2.16

Merge commit 'bc10975a' into thread-merge-2.16

Merge commit '08571b20' into thread-merge-2.16

String tests: fixed too strict strcmp checks

The strcmp function is not guaranteed to return -1 or +1
but any negative or positive value if the input strings
are different. Fixed the false assumption which triggered
a build bug on emulated arm64.

Fixed crash if logging happened in unit tests

The patch initializes logging in unit tests. Previously, unit tests did
not initialize logging and other subsystems, just resources. But
resource_init() could under certain circumstances trigger logging and
cause crash.

The bug was Found by Jakub Ruzicka, dissected by David Petera and Maria
Matejka, disguised as failing build for Debian arm64 in pbuilder
emulation which did not like disabling THP.

Fixes #42.

ASPA: Unified the ASPA_INVALID into one result

The _EMPTY and _CONFED variants are easy to spot bare-eyed from the AS path.

RPKI: Polishing of ASPA syntax and documentation

RPKI: Fix PDU length check

The END_OF_DATA PDU was extended in version 1, so it has different length
in different versions. We should do the PDU length check according to its
version.

RPKI: added documentation and RTR version config options

RPKI: protocol version 2, loading ASPA

Implemented draft-ietf-sidrops-8210bis-16, interoperable with StayRTR
development branches.

Netlink: Fixed handling of undefined bitfields in filters

The default value is obviously false everywhere so we just return zero
if nothing is found, instead of undef.

Filter: multi-command case branches now need braces.

Removing an exception from the otherwise quite systematic syntax.
Closes #111.

rt-show.c: fixed OBSREF_SET after cf_error(), changed message when 'show route export' called on static protocol

Protocol restart timer reworked.

The restart timer was racy and didn't allow for immediate restarts
from limits. Now the protocols stores the last restart time and in case
of too frequent autorestarts caused by exceeded limits, the protocol
gets disabled with an error message.

Also now there is a configuration knob for this.

rt-show.c: fixed OBSREF_SET after cf_error(), changed message when 'show route export' called on static protocol

Protocol restart timer reworked.

The restart timer was racy and didn't allow for immediate restarts
from limits. Now the protocols stores the last restart time and in case
of too frequent autorestarts caused by exceeded limits, the protocol
gets disabled with an error message.

Also now there is a configuration knob for this.

Hash test spurious fail fixed

There was a race condition in the test itself,
causing the test reader access data after free.

Protocol and BGP state information cleanup and fixes

There were some nasty problems with deferred protocol state updates and
race conditions on BGP startup, shutdown, and also with referencing the
cached states.

Now it looks fixed.

Debug option for ea_free

Deferred call may need to be returned for future cleanups

BMP: updated to v3 API

BGP: protocol specific state information cleanup

Proto: The active flag converted to actual fifth protocol state

What was PS_DOWN before, is now PS_DOWN and PS_FLUSH.

Neighbor locking: forgotten neighbors to unlink are actually a bug.

These may cause runaway pointers.

nest/cli: fixup - empty printing in birdc does not freeze

MRT: buildable and running again for BIRD 3

Tests for MRT are scarce and not automated for now, so it may behave
weirdly in corner cases.

Neighbor cache: fixed neighbor referencing

Defer: fixup missing include guards

BGP: exporting protocol-specific state information

BGP: Start state is now using extended state

Proto: adding lockless state table and journal

To allow reading of protocol states from other protocols or completely
different routines, we have to export these states to data structures
not requiring to lock the protocol loops.

On one hand, this doesn't give the reader the actual state "right now",
on the other hand, getting that is impossible in a properly
multithreaded environment and you will always get the information with
some (little but noteworthy) delay.

This implementation handles only the basic state information of the
protocols, common for all the protocols. Adding protocol-specific state
information should be done by implementing the protocol hook init_state().

Channel information is stored but not announced, as we don't need the
announcements for now.

ASPA: Automatic channel reload

More attribute types: pointers, strings, btime

For the upcoming rework of protocol state information propagation,
we need some more eattr types to be defined.

These types are probably not defined completely and before using
them for route attributes, you should check that they don't lack
some crucial methods.

Lib: Optimized printing of numbers

One simple trick makes printing of numbers ~4x faster.

Lib: Optimized printing of IP addresses

Makes printing network prefixes ~15x faster.

CLI: Add timeformat command

Adds ability to override time format of show commands for current CLI session
so that it does not depend on configuration and may ease parsing when CLI is
called from tools.

Minor changes by committer.