Merge commit '39e75b87' into thread-merge-2.16

Merge commit '163ab313' into thread-merge-2.16

Merge commit '8dc2a36a' into thread-merge-2.16

Merge commit '5daec239' into thread-merge-2.16

Merge commit 'acbdc29d' into thread-merge-2.16

Merge commit 'c9836207' into thread-merge-2.16

Merge commit 'df22b314' into thread-merge-2.16

Merge commit '08ff0af8' into thread-merge-2.16

Merge commit 'f3b6661d' into thread-merge-2.16

Merge commit 'a95fff37' into thread-merge-2.16

Merge commit '09f50f37' into thread-merge-2.16

Merge commit '8a40bccf' into thread-merge-2.16

Merge commit '00b139bd' into thread-merge-2.16

Merge commit 'a5b4c21d' into thread-merge-2.16

Merge commit '2d6fb31c' into thread-merge-2.16

Merge commit 'e29f134a' into thread-merge-2.16

Merge commit '280daed5' into thread-merge-2.16

Merge commit 'bc10975a' into thread-merge-2.16

Merge commit '08571b20' into thread-merge-2.16

Netlink: Fixed handling of undefined bitfields in filters

The default value is obviously false everywhere so we just return zero
if nothing is found, instead of undef.

Filter: multi-command case branches now need braces.

Removing an exception from the otherwise quite systematic syntax.
Closes #111.

rt-show.c: fixed OBSREF_SET after cf_error(), changed message when 'show route export' called on static protocol

Protocol restart timer reworked.

The restart timer was racy and didn't allow for immediate restarts
from limits. Now the protocols stores the last restart time and in case
of too frequent autorestarts caused by exceeded limits, the protocol
gets disabled with an error message.

Also now there is a configuration knob for this.

Hash test spurious fail fixed

There was a race condition in the test itself,
causing the test reader access data after free.

Protocol and BGP state information cleanup and fixes

There were some nasty problems with deferred protocol state updates and
race conditions on BGP startup, shutdown, and also with referencing the
cached states.

Now it looks fixed.

Debug option for ea_free

Deferred call may need to be returned for future cleanups

BMP: updated to v3 API

BGP: protocol specific state information cleanup

Proto: The active flag converted to actual fifth protocol state

What was PS_DOWN before, is now PS_DOWN and PS_FLUSH.

Neighbor locking: forgotten neighbors to unlink are actually a bug.

These may cause runaway pointers.

nest/cli: fixup - empty printing in birdc does not freeze

MRT: buildable and running again for BIRD 3

Tests for MRT are scarce and not automated for now, so it may behave
weirdly in corner cases.

Neighbor cache: fixed neighbor referencing

Defer: fixup missing include guards

BGP: exporting protocol-specific state information

BGP: Start state is now using extended state

Proto: adding lockless state table and journal

To allow reading of protocol states from other protocols or completely
different routines, we have to export these states to data structures
not requiring to lock the protocol loops.

On one hand, this doesn't give the reader the actual state "right now",
on the other hand, getting that is impossible in a properly
multithreaded environment and you will always get the information with
some (little but noteworthy) delay.

This implementation handles only the basic state information of the
protocols, common for all the protocols. Adding protocol-specific state
information should be done by implementing the protocol hook init_state().

Channel information is stored but not announced, as we don't need the
announcements for now.

More attribute types: pointers, strings, btime

For the upcoming rework of protocol state information propagation,
we need some more eattr types to be defined.

These types are probably not defined completely and before using
them for route attributes, you should check that they don't lack
some crucial methods.

Table: tame warnings around unused debug messages

Filter: Fixes and improvements related to case/sets

Unify grammar for set_atom and switch_atom to avoid inconsistencies
between them. Fix errors in documentation related to case statement
and set type. Change 'vpnrd' to 'rd' to be consistent with the filter
language.

Thanks to Mikhail Mayorov for bugreport.

Merge branch 'dpetera-master-patch-71179' into 'master'

Fix typo in user docs

See merge request labs/bird!27

Fix typo in user docs

RPKI: Add TCP-MD5 authentication option

RPKI-To-Router (RTR) sessions seem to be similar security-sensitivity as
IBGP sessions. BIRD already offered a choice of either "plain TCP" (meh)
or "SSH" (secure, albeit a bit more hassle to set up than TCP-MD5).
The patch adds TCP-MD5 as another option. TCP-MD5 for RTR is specified
through RFC 6810 section 7.3 and RFC 8210 section 9.3.

Minor changes by committer.

Kernel: protocol shuts down synchronously

Before this commit, on kernel shutdown, the routes were re-exported by
the regular export but treated as withdraw. This was too hairy and
caused unnecessary complexity of the protocol's state machine.

Instead of that, we found out that it makes more sense to just refeed
the routes synchronously and convert to withdraw. This is done by the
direct export access instead of the channel.

It would (maybe) make more sense to run export filters on this in case
the export filter updates the krt_metric attribute, but as this doesn't
work on regular withdraw anyway, it's better for now to just let it be
and maybe somebody in the future fixes this issue.

Renamed my past self in commit authorship and mentioned that in the contributing policy

Fixed a stupid bug in parse-and-exit mode

Introduced in 08ff0af8986099e6fb1d8a94c7ce62c83e4df7f1, the additional CLI
configuration wasn't properly initialized in the parse-and-exit mode
due to an oversight that cli_init_unix() is not called in this mode.

Thanks to Felix Friedlander for the bugreport.

configure.ac: properly evaluate ac_test_CFLAGS

Since autoconf 2.69 and
https://git.savannah.gnu.org/cgit/autoconf.git/commit/?id=76754e04fce5f6a7701bec57b057020585df2ae3
ac_test_CFLAGS is set to ${CFLAGS+y} instead of ${CFLAGS+set}.

Just test that ac_test_CFLAGS is not empty, to support both cases.

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>
Signed-off-by: Arnout Vandecappelle (Essensium/Mind) <arnout@mind.be>

Lib: Expand timer recurrence to 64b

The period of recurent timers was stored in 32b field, despite it was
btime-compatible value in us. Therefore, it was limited to ~72 min,
which mas okay for most purposes, except configurable MRT dump periods.

Thanks to Felix Friedlander for the bugreport.

IO: Ensure that socket rcvbuf is large enough

The socket structure has the field rbsize (receive buffer size), which
controls the size of the userspace receive buffer. There is also kernel
receive buffer, which in some cases may be smaller (e.g. on FreeBSD it
is by default ~8k). The patch ensures that the kernel receive buffer is
as large as the userspace receive buffer.

IO: Fix missing return introduced in one of earlier patches

IO: Avoid re-binding accepted sockets to VRF

When VRFs are used, BIRD correctly binds listening (and connecting)
sockets to their VRFs but also re-binds accepted sockets to the same VRF.
This is not needed as the interface bind is inherited in this case, and
indeed this redundant bind causes an -EPERM if BIRD is running as
non-root making BIRD close the connection and reject the peer.

Thanks to Christian Svensson for the original patch and Alexander Zubkov
for suggestions.

NEWS and version update

Fixed secondary route export

show threads: displaying the same thread id's as in log

Export: Throw a warning instead of crashing on export_accepted_map inconsistency

Config undo queuing bug fixed

BGP runs TX as a deferred routine

This should help flushing the tx buffers as soon as possible.

Forbid locking altogether when RCU reader is active

Flush deferred calls directly after the loop finished its one run

IO: Allow to take new loops if the thread is hot, but only one at time

Even on shutdown we should try to pass the freed memory to others

Additional CLI sockets may now be restricted

This allows to have one main socket for the heavy operations
very restricted just for the appropriate users, whereas the
looking glass socket may be more open.

Implemented an idea originally submitted and requested by Akamai.

Additional CLI sockets can be now configured in the config file

If the user has such a need, they may configure additional sockets
in the config file. This may work for e.g. some advanced access control.

CLI now has a configuration structure

Typed lists: added forgotten #undef

Backported typed list updates from v3

Source: dda37842dcf82dae8e441a6c2bcef4b0ffae3429

Allocator now reports cold pages

Filter unit test uncertainty hack

Tame improper xmalloc warning

Merge commit 'b95dc8f29f18eb177f91fdc4bf0716fac9b15366' into mq-config-ref

Also converted all _Bool's to bool.

Doc: Minor cleanups in BFD documentation

BFD: Add option to accept zero checksum for IPv6 UDP packets

Some vendors do not fill the checksum for IPv6 UDP packets.
For interoperability with such implementations one can set
UDP_NO_CHECK6_RX socket option on Linux.

Thanks to Ville O for the suggestion.

Minor changes by committer.

channel roa reload debug message

IO: allow for faster loop dropping

Revert "BGP: Export uses common attribute cache"

This reverts commit d01a7c2bdaf50aff23cf5e1b4e494328c5294960.

It seems that the performance penalty in global ea cache is actually
very high so returning back to local attribute caches in every BGP.

Fixed fast subsequent reconfigurations bug

Remove spinlock debug structures in production build

BGP: show proto info crash fix if BGP is down

BGP: using closer pointer for netindex hash than all the way to the table

Linpool: allocation split to fast and slow

ROA aggregator uses its own rte source instead of recycling

RCU read lock optimization

ROA: Switching off digestor splitting

Route attribute usecount doesn't need to synchronize on unlock

RPKI socket read is prioritized over other sockets

Refeed done hooks are called in the same order as the requests came in

Conflating multiple partial ROA reload requests together

Spinhash main lock removed

Spinhash now uses RCU instead to guard cur-new exchanges to avoid
excessive synchronization and cache misses on the main spinlock.

Moved the cork thresholds massively up

This allows for more efficient import and export bundling, including
best route export and next hop resolution.

Fixed a race condition in rcu-domain blocking

Safer cleanup of table auxiliary routines

No page flush before polling

The maximum amount of locally kept pages is 128 so we can just
well keep the half-meg of RAM allocated and prepared for future use.

Prefilter runs before generating feeds

Table cork now uses callbacks and direct flush to uncork

Configuration obstacles made a separate, explicit structure

With this, one can walk the obstacle list in a debugger and
easier see which specific object is holding the reference.

Global runtime values separated from config

CLI: Show symbols, route and mpls explicitly passes the actual config to the show function

Filter global values are not used directly from config

Config: Removed obsolete force_restart option when commiting