lockfree.c: Solution for lfjour_cleanup_hook() too often scheduling. This function was scheduled each time any of the journal recipients
reached end of a block of journal items or read all of journal items. lfjour_cleanup_hook() can clean only journal items every recipient has processed,
so it was often called uselessly.

This commit restricts most of the unusefull scheduling. Only some consumers are given a token alowing them to try to schedule the lfjour_cleanup_hook().
When a consumer wants to schedule the lfjour_cleanup_hook(), it checks whether it has a token. If yes, it decrements number of tokens the journal has given (issued_tokens)
and discards its own token. If issued_tokens reaches zero, the consumer is allowed do schedule the lfjour_cleanup_hook().

There is a maximum number of tokens a journal can give to its customers (max_tokens). A new customer is given a token in its init, if the maximum number of tokens was not reached.
The rest of tokens is given to customers in lfjour_cleanup_hook(). In lf_jour_cleanup_hook(), it is increased the issued_tokens number in order not to call the hook
before it finishes. Then, tokens are given to the slowest recipients (but never to more than max_token recipients). Before leaving lfjour_cleanup_hook(),
the issued_tokens number is decreased. If no other tokens are given, we have to make sure the lfjour_cleanup_hook will be called again. If every item in journal
was read by every recipient, tokens are given to random recipients. If all recipients with tokens managed to finish until now, we give the token to first
unfinished customer we find or we call the hook again.

Nest: fixed a race-condition between import and export

There was a leaking stack pointer to the global memory.
Fixed by making that temporary structure thread local static.

BMP: Dropped remnants of unused channels

BMP: refactored lists and table locks to tlists

BMP: protocol state ingestion refactoring

BMP: Tamed a TX buffer warning

Merge commit 'a47704a53db4f088e52e43f8b24785e5777ce147' into thread-next

Merge commit '73e7d3f5cede2e72eb9e77d61424a8c443672c09' into thread-next

Merge commit '5205ff97448cc34cf7334e90172c28eb48f227f2' into thread-next

Merge commit 'e6a100b31a7637ee739338e4b933367707ec931f' into thread-next

Merge commit '460321cfe979459e3b78ba87694f29865d321612' into thread-next

BMP: Refactor route monitor message serialization

Instead of several levels of functions, just have two functions
(one for routes, the other for end-of-rib), this allows to create
messages in a simple linear fashion.

Also reduce three duplicite functions to construct BGP header for
BMP messages to just one.

BMP: Refactor computation of message length

Fill message length after the message is created instead of computing
it beforehand. Also rename some functions to fit common pattern.

BMP: Refactor per-peer header arguments

Put all arguments for per-peer header into one structure instead of
passing them around as a lump of arguments. Also simplify code for
peer flags.

BMP: simplified update queuing and better memory performance

This commit is quite a substantial rework of the underlying layers in
BMP TX:

- several unnecessary layers of indirection dropped, including most of
  the original BMP's buffer machinery
- all messages are now written directly into one protocol's buffer
  allocated for the whole time big enough to fit every possible message
- output blocks are allocated by pages and immediately returned when
  used, improving the overall memory footprint
- no intermediary allocation is done from the heap altogether
- there is a documented and configurable limit on the TX queue size

Formatting numbers with order prefixes

Unit tests by Ondrej Zajicek.

BMP: drop an unused mempool

Merge commit '3ca6e03d' into thread-merge-2.16

Merge commit 'fc2b4b26' into thread-merge-2.16

Actually, completely rewritten the original patch as in v3, the logging
initialization is much more complex and requires allocation.

This way, to bootstrap properly, the logger has a pre-defined log target
to stderr.

Merge commit '997d2f57' into thread-merge-2.16

Merge commit '49be4a03' into thread-merge-2.16

Conf: build fix for older bisons

Typed blocks are probably a too new extension to rely on.

Merge commit '82d57fb7' into thread-merge-2.16

Merge commit '38195ac6' into thread-merge-2.16

Merge commit 'c7e843c1' into thread-merge-2.16

Merge commit '294d363d' into thread-merge-2.16

Merge commit '1002c35b' into thread-merge-2.16

Merge commit '80ca0ed2' into thread-merge-2.16

Fixed a nasty merge conflict with bgp_origin serving double duty
as both an attribute and enum name.

RPKI: refactored pdu to host byte order conversion

We shouldn't convert bytes 2 and 3 of the PDU blindly, there are several
cases where these are used by bytes. Instead, the conversion is done
only where needed.

This fixes misinterpretation bug of ASPA PDU flags on little endian
architectures.

Merge commit '072821e5' into thread-merge-2.16

Merge commit 'a70ecade' into thread-merge-2.16

Merge commit '39e75b87' into thread-merge-2.16

Merge commit '163ab313' into thread-merge-2.16

Merge commit '8dc2a36a' into thread-merge-2.16

Merge commit '5daec239' into thread-merge-2.16

Merge commit 'acbdc29d' into thread-merge-2.16

Merge commit 'c9836207' into thread-merge-2.16

Merge commit 'df22b314' into thread-merge-2.16

Merge commit '08ff0af8' into thread-merge-2.16

Merge commit 'f3b6661d' into thread-merge-2.16

Merge commit 'a95fff37' into thread-merge-2.16

Merge commit '09f50f37' into thread-merge-2.16

Merge commit '8a40bccf' into thread-merge-2.16

Merge commit '00b139bd' into thread-merge-2.16

Merge commit 'a5b4c21d' into thread-merge-2.16

Merge commit '2d6fb31c' into thread-merge-2.16

Merge commit 'e29f134a' into thread-merge-2.16

Merge commit '280daed5' into thread-merge-2.16

Merge commit 'bc10975a' into thread-merge-2.16

Merge commit '08571b20' into thread-merge-2.16

String tests: fixed too strict strcmp checks

The strcmp function is not guaranteed to return -1 or +1
but any negative or positive value if the input strings
are different. Fixed the false assumption which triggered
a build bug on emulated arm64.

Fixed crash if logging happened in unit tests

The patch initializes logging in unit tests. Previously, unit tests did
not initialize logging and other subsystems, just resources. But
resource_init() could under certain circumstances trigger logging and
cause crash.

The bug was Found by Jakub Ruzicka, dissected by David Petera and Maria
Matejka, disguised as failing build for Debian arm64 in pbuilder
emulation which did not like disabling THP.

Fixes #42.

ASPA: Unified the ASPA_INVALID into one result

The _EMPTY and _CONFED variants are easy to spot bare-eyed from the AS path.

RPKI: Polishing of ASPA syntax and documentation

RPKI: Fix PDU length check

The END_OF_DATA PDU was extended in version 1, so it has different length
in different versions. We should do the PDU length check according to its
version.

RPKI: added documentation and RTR version config options

RPKI: protocol version 2, loading ASPA

Implemented draft-ietf-sidrops-8210bis-16, interoperable with StayRTR
development branches.

Netlink: Fixed handling of undefined bitfields in filters

The default value is obviously false everywhere so we just return zero
if nothing is found, instead of undef.

Filter: multi-command case branches now need braces.

Removing an exception from the otherwise quite systematic syntax.
Closes #111.

rt-show.c: fixed OBSREF_SET after cf_error(), changed message when 'show route export' called on static protocol

Protocol restart timer reworked.

The restart timer was racy and didn't allow for immediate restarts
from limits. Now the protocols stores the last restart time and in case
of too frequent autorestarts caused by exceeded limits, the protocol
gets disabled with an error message.

Also now there is a configuration knob for this.

Hash test spurious fail fixed

There was a race condition in the test itself,
causing the test reader access data after free.

Protocol and BGP state information cleanup and fixes

There were some nasty problems with deferred protocol state updates and
race conditions on BGP startup, shutdown, and also with referencing the
cached states.

Now it looks fixed.

Debug option for ea_free

Deferred call may need to be returned for future cleanups

BMP: updated to v3 API

BGP: protocol specific state information cleanup

Proto: The active flag converted to actual fifth protocol state

What was PS_DOWN before, is now PS_DOWN and PS_FLUSH.

Neighbor locking: forgotten neighbors to unlink are actually a bug.

These may cause runaway pointers.

nest/cli: fixup - empty printing in birdc does not freeze

MRT: buildable and running again for BIRD 3

Tests for MRT are scarce and not automated for now, so it may behave
weirdly in corner cases.

Neighbor cache: fixed neighbor referencing

Defer: fixup missing include guards

BGP: exporting protocol-specific state information

BGP: Start state is now using extended state

Proto: adding lockless state table and journal

To allow reading of protocol states from other protocols or completely
different routines, we have to export these states to data structures
not requiring to lock the protocol loops.

On one hand, this doesn't give the reader the actual state "right now",
on the other hand, getting that is impossible in a properly
multithreaded environment and you will always get the information with
some (little but noteworthy) delay.

This implementation handles only the basic state information of the
protocols, common for all the protocols. Adding protocol-specific state
information should be done by implementing the protocol hook init_state().

Channel information is stored but not announced, as we don't need the
announcements for now.

ASPA: Automatic channel reload

More attribute types: pointers, strings, btime

For the upcoming rework of protocol state information propagation,
we need some more eattr types to be defined.

These types are probably not defined completely and before using
them for route attributes, you should check that they don't lack
some crucial methods.

Lib: Optimized printing of numbers

One simple trick makes printing of numbers ~4x faster.

Lib: Optimized printing of IP addresses

Makes printing network prefixes ~15x faster.

CLI: Add timeformat command

Adds ability to override time format of show commands for current CLI session
so that it does not depend on configuration and may ease parsing when CLI is
called from tools.

Minor changes by committer.

Nest: Cleanup timeformat grammar

ASPA: fixed the check algorithm to actually do what is in the RFC

The original algorithm assumed principles not consistent with the RFC
and could have lead to false invalids.

Also added filter tests showing also how the ASPA literals are used in
the static protocol.

BGP: Add RFC 9687 to list of supported RFCs

BGP: SendHoldTimer became an RFC, updating docs

Filter: Remove T_ENUM_RTC

It is not used for a long time.

Filter: Replace T_ENUM_NETTYPE with T_ENUM_NET_TYPE

To be consistent with other enum type names.

Filter: Add enum types to filter grammar

Enum types existed on semantic level, but not on syntactic level,
so they could not be used in filter code.

Generate filter grammar for enum types based on CF_ENUM() declarations.

Thanks to lbz for the bugreport.

Flowspec: Fix IPv6 prefix when offset is not multiple of 8

Current implementation handles flowspec prefix length and offset only
in bytes, but RFC 8956 (Dissemination of Flow Specification Rules for
IPv6) Section 3.1 [1] and example in Section 3.8.2 [2] states the
pattern should begin right after offset *bits*.

For example, pattern "::1:1234:5678:9800:0/60-104" is currently
serialized as "02 68 3c 01 12 34 56 78 98", but it should shift its
pattern 4 more bits to the left: "02 68 3c 11 23 45 67 89 80".

This patch implements shifting left/right for IPv6 type and use it to
correct the behaviour. Test data are replaced with the correct ones.

Minor changes and test vectors done by committer.

[1]: https://www.rfc-editor.org/rfc/rfc8956.html#section-3.1
[2]: https://www.rfc-editor.org/rfc/rfc8956.html#section-3.8.2

Flowspec: Test improvements

Simplify Flowspec initialization macros.

Add examples from RFC 8955 4.3 and RFC 8956 3.8 to format tests.

Doc: Minor fixes

Doc: Fix code blocks

Code blocks should not be indented, as the indendation is passed
to the output,

Doc: Improve readability of the operator documentation

Minor changes by committer.

Table: tame warnings around unused debug messages

Fix typo in documentation

Filter: Fixes and improvements related to case/sets

Unify grammar for set_atom and switch_atom to avoid inconsistencies
between them. Fix errors in documentation related to case statement
and set type. Change 'vpnrd' to 'rd' to be consistent with the filter
language.

Thanks to Mikhail Mayorov for bugreport.

Merge branch 'dpetera-master-patch-71179' into 'master'

Fix typo in user docs

See merge request labs/bird!27

Fix typo in user docs

RPKI: Add TCP-MD5 authentication option

RPKI-To-Router (RTR) sessions seem to be similar security-sensitivity as
IBGP sessions. BIRD already offered a choice of either "plain TCP" (meh)
or "SSH" (secure, albeit a bit more hassle to set up than TCP-MD5).
The patch adds TCP-MD5 as another option. TCP-MD5 for RTR is specified
through RFC 6810 section 7.3 and RFC 8210 section 9.3.

Minor changes by committer.

Kernel: protocol shuts down synchronously

Before this commit, on kernel shutdown, the routes were re-exported by
the regular export but treated as withdraw. This was too hairy and
caused unnecessary complexity of the protocol's state machine.

Instead of that, we found out that it makes more sense to just refeed
the routes synchronously and convert to withdraw. This is done by the
direct export access instead of the channel.

It would (maybe) make more sense to run export filters on this in case
the export filter updates the krt_metric attribute, but as this doesn't
work on regular withdraw anyway, it's better for now to just let it be
and maybe somebody in the future fixes this issue.