Merge branch 'master' into mq-filter-stack

Merge branch 'mq-filter-stack' of gitlab.labs.nic.cz:labs/bird into mq-filter-stack

Filter: CLI command to dump all the linearized filters

Filter: Split printing and dying

Removed obsolete comment at as_path_cut()

Dynamic attributes definition split whether it is bitmask or not.

Filter: Dropped some more irrelevant whitespace from generated files

Filter: Nicer whitespaces in generated inst-gen.h

Filter: documentation of the M4 preprocessor

Filter: GCC, don't complain about indentation in generated code.

Filter: Pre-evaluation of constant expressions

Filter: Resolving of defined constants in config time

Filter: Moved singleton member definitions to f-inst.c

Filter: Moved f_inst allocation to separate function

Filter: Getting rid of RESULT_OK. Adding RESULT_VOID.

This is a preparation for filter pre-evaluation.

Filter: The interpreter code now shares its diversion with constructor

This is a preparation for filter pre-evaluation.

BGP: Prefix hash is too small, increase its max size.

This doesn't make any change for you until you have
millions of updates waiting to be sent. Increasing
the max hash size from 2^20 to 2^24.

BGP: split tx explicitly

If BGP has too many data to send and BIRD is slower than the link, TX is
always possible until all data is sent. This patch limits maximum number
of generated BGP messages in one iteration of TX hook.

Add mock-up function for unit tests

They failed without it.

Doc: OSPF graceful restart options

OSPF: Support for graceful restart

Implement OSPFv2 (RFC 3623) and OSPFv3 (RFC 5187) graceful restart,
for both restarting and helper sides. Graceful restart is initiated
by 'graceful down' command.

Nest: Add command to request graceful restart

When 'graceful down' command is entered, protocols are shut down
with regard to graceful restart. Namely Kernel protocol does
not remove routes and BGP protocol does not send notification,
just closes the connection.

Filter: renaming pointers for consistency

The struct f_inst * is now always "what"
and the union member pointer is always "whati".

Filter: A little cleanup of M4 interpreter generator

Merge remote-tracking branch 'refs/remotes/origin/mq-filter-stack' into mq-filter-stack

Conf/Filters: Moved argument count to conf scope

Filter instructions don't confuse now v1 and res.

Revert "Filter: Dropped the setter instructions in favor of direct result storage."

This reverts commit bd91338246c1ba40358243f1bdf5a6dbd3a29f35.

String: bstrtoul macro expanded to bstrtoul10 and 16

Filter: removal of semantically insane consts in filter_commit

Add mock-up function for unit tests

They failed without it.

Add CLI command to test reconfiguration status

Based on patch from Kenth Eriksson <kenth.eriksson@infinera.com>.

BIRD coding conventions

Added Emacs config file describing BIRD coding conventions, as suggested
by Kenth Eriksson based on existing practice.

BGP: Fix bug introduced in one of last patches

Filter: Dropped the setter instructions in favor of direct result storage.

This should help filter performance a bit.

Filter: Just a little comments in filter structure

Filter: Stacks moved to thread-local storage if available.

Filters: If somebody doesn't like _Thread_local, don't fail for now, just be a little slower.

When the parallel execution comes into place, we'll likely enforce this
C11 feature. It's much simpler and also faster than pthread_[sg]etspecific().

Filter: Some people can't pronounce "postfixify" correctly. Let's try "linearize" instead.

This is just a naming change.

Filter: Store variables and function arguments on stack

Filter: Making the filter state thread local.

While having the filter code still reentrant if we really need,
the compiler can now do constant propagation and address the
thread local storage directly to save some computation time.

Lexer now returns known sym / unknown sym / keyword

Doc: Dynamic BGP

BGP: Compliance with RFC8203bis

BGP: Output Local AS number in show protocol

Useful for implementation of agents implementing the SNMP-BGP MIB, which
requires the local AS of a session to be specified.

Thanks to Jan-Philipp Litza for the patch.

BGP: Dynamic BGP

Support for dynamically spawning BGP protocols for incoming connections.
Use 'neighbor range' to specify range of valid neighbor addresses, then
incoming connections from these addresses spawn new BGP instances.

Small type in doc.

OSPFv3: Fix some overlooked cases in IPv4 mode

Prefixes with max length (/32) were not handled properly.

Thanks to bauen1 for the bugreport.

BGP: Handle corner cases in event ordering

When BGP connection is opened, it may happen that rx hook (with remote
OPEN) is called before tx hook (for local OPEN). Therefore, we need to do
internal changes (like setting local_caps) synchronously with OPENSENT
transition and we need to ensure that OPEN is sent before KEEPALIVE.

BGP: Promiscuous ASN mode

Allow to specify just 'internal' or 'external' for remote neighbor
instead of specific ASN. In the second case that means BGP peers with
any non-local ASNs are accepted.

BGP: Separate runtime and config usage of local/remote ip and as fields

Filter: fixed error-checking bug in !~ operator

Fixed one warning and one undefined value.

Fixed an undefined symbol bug in CLI introduced by filter refactoring

Doc: Route attribute cleanups

BGP: Mandatory option for channels

Allow to mark channel to be mandatory, and do not allow BGP sessions if
no common AFI/SAFI is established.

BGP: Handle case where capabilites are not used

If peer does not announce capabilities at all, or when we have
capabilities disabled, handle that as implicit IPv4 unicast.

Merge branch 'master' into HEAD

Build: Automatic dependency tracking for generated files

Perf: fixed stupid allocation bug

Gitlab CI: Drop CentOS 6 test build as unsupported.

If someone wants to maintain BIRD for CentOS 6,
feel free to send patches.

Nest: Update handling of temporary attributes

The temporary atttributes are no longer removed by ea_do_prune(), but
they are undefined by store_tmp_attrs() protocol hooks. This fixes
several bugs where temporary attributes were removed when they should
not or not removed when they should be. The flag EAF_TEMP is no longer
needed and was removed.

Update all protocol make_tmp_attrs() / store_tmp_attrs() hooks to use
helper functions and to handle unset attributes properly.

Also fix some related bugs like improper handling of empty eattr list.

OSPF: Improved handling of tmpattrs

Keep track of whether OSPF tmpattrs are actually defined for given route
(using flags in rte->pflags). That makes them behave more like real
eattrs so a protocol can define just a subset of them or they can be
undefined by filters.

Do not set ospf_metric2 for other than type 2 external OSPF routes and do
not set ospf_tag for non-external OSPF routes. That also fixes a bug
where internal/inter-area route propagated from one OSPF instance to
another is initiated with infinity ospf_metric2.

Thanks to Yaroslav Dronskii for the bugreport.

Faster filters: documentation on what is happening there

Fixed link time optimizer check for FreeBSD

NEWS and version update

Filters: comparison of functions and filters caching

Build: No link time optimization when debug is enabled

Custom number parser to speed up config parsing

The glibc's generic parser is slow due to its versatility. Specialized
parsers for base-10 and base-16 are much faster and we don't use other
bases.

Conf: Lexer parses quoted strings in a more descriptive way

Conf: Switch for faster (and slightly bigger) lexer

Conf: Switch for faster (and slightly bigger) lexer

Nest: Do not compare rte.flags during rte_update()

Route flags are mosty internal state of rtable, they are not significant
to whether a route has changed. With the old code, all routes received as
a part of enhanced route refresh are always re-announced to other peers
due to change in REF_STALE.

Enabled link time optimization.

Filter: Interpreter merged into the common m4 generator.

The config-time partial evaluation of constant expressions in filters is nearby.

Filter: Fixed bugs in FI_CALL and FI_SWITCH

Test: Added -d flag to die directly after first error.

GDB: Added more pretty printers for filters

Filter: More cleanup -- customized structures also in struct f_line_item

Conf: Symbol implementation converted from void pointers to union

... and consted some declarations.

Filter: merged filter compare functions into common M4 file

Filter: Merged postfixify routine

Filter: Merged filter line item dumpers into common generated source

Filter: auto-generating enum-to-string

Filter generator: workaround for M4 claiming all the put-around code be on one line

Filter data manipulation functions separated to their file

Filter: split the constructors to a separate file

Conf: Fixed makefiles

Filter: merged filter instruction constructors, counting line size on instruction construct

Test: Fixed annoying warnings (and possible obscure bugs).

Filters: split the large filter.h file to smaller files.

This should be revised, there are still ugly things in the filter API.

Filter: M4 convertors polished a bit.

Filter + Config: Fix bugs, tests and split symbols by type

GDB pretty printers: f_inst and f_val.

Filter: refactoring of instruction constructors

Filter refactoring: dropped the recursion from the interpreter

This is a major change of how the filters are interpreted. If everything
works how it should, it should not affect you unless you are hacking the
filters themselves.

Anyway, this change should make a huge improvement in the filter performance
as previous benchmarks showed that our major problem lies in the
recursion itself.

There are also some changes in nest and protocols, related mostly to
spreading const declarations throughout the whole BIRD and also to
refactored dynamic attribute definitions. The need of these came up
during the whole work and it is too difficult to split out these
not-so-related changes.

Filter refactoring: The instructions are converted to the switch body by M4

Filter refactoring: Drop the roa check specific f_inst

Filter refactoring: The constant f_val is simply included inside the instruction

With 32 bits, size of the args is 12 bytes, the f_val is 20 bytes.
With 64 bits, size of the args is 24 bytes, the f_val the same.

This is not so nice on 32 bits, anyway the f_inst itself is
24 vs. 32 bytes and the overall size of filters must be 32k of
instructions to get to one megabyte of RAM eaten by f_inst.

Therefore it seems to be improbable for common user to get into
problems with this change.

Filter refactoring: Changed arguments from separate unions to an array