Merge commit 'de70474fed139f9acb4ed3f8e925d12de4edcdd0' into thread-next

Filter: adding explicit route type

This is a split-commit of the neighboring aggregator branch
with a bit improved lvalue handling, to have easier merge into v3.

Renamed nest/rt.h back to nest/route.h

Some [redacted] (yes, myself) had a really bad idea
to rename nest/route.h to nest/rt.h while refactoring
some data structures out of it.

This led to unnecessarily complex problems with
merging updates from v2. Reverting this change
to make my life a bit easier.

At least it needed only one find-sed command:

    find -name '*.[chlY]' -type f -exec sed -i 's#nest/rt.h#nest/route.h#' '{}' +

Merge commit '0a729b50' into thread-next

This merge was particularly difficult. I finally resorted to delete the
symbol scope active flag altogether and replace its usage by other
means.

Also I had to update custom route attribute registration to fit
both the scope updates in v2 and the data model in v3.

Merge commit 'bb8e2824' into thread-next

Merge commit '9ffea830' into thread-next

Merge commit 'a3dc2645' into thread-next

Merge commit 'cc1099a0' into thread-next

Updated f_implicit_roa_check() to use type methods and moved to filter/f-util.c

Merge commit 'c0231b09' into thread-next

Merge commit 'fdd39c81' into thread-next

Merge commit 'fc9d471b' into thread-next

Conflicts:
conf/cf-lex.l
conf/conf.h
filter/config.Y
filter/data.c
filter/data.h

Merge commit '6b95353e' into thread-next

Merge commit '51f2e7af' into thread-next

Conflicts:
conf/cf-lex.l
conf/conf.h
conf/confbase.Y
filter/config.Y
nest/config.Y
nest/proto.c
nest/rt-table.c
proto/bgp/bgp.c
sysdep/unix/main.c

Merge commit '5951dfbd' into thread-next

Merge commit '58efa944' into thread-next

Conflicts:
conf/cf-lex.l
conf/conf.h
conf/confbase.Y
conf/gen_keywords.m4
conf/gen_parser.m4
filter/config.Y
nest/config.Y
proto/bgp/config.Y
proto/static/config.Y

Keywords and attributes are split to separate namespaces, to avoid
collisions between regular keyword use and attribute overlay.

Merge commit 'a5a6de58' into thread-next

Conflicts:
      filter/config.Y
      filter/data.h
      filter/data.c

Merge commit '86598183' into thread-next

Merge commit 'aa70e14c' into thread-next

Merge commit 'f5140d10' into thread-next

Smashed as "ours" as local changes are completely incompatible.
Relevant fixes will be merged from later commits if possible.

Merge commit 'cce48c6c' into thread-next

Merge commit '32427c9c' into thread-next

Merge commit 'f411a19b' into thread-next

CI: Temporarily disabling test-ibgp-loop-big as it tends to hang

Merge commit '0dbcc927' into thread-next

Merge commit 'fc354788' into thread-next

RIP: actually remove the interface structures on shutdown

This avoids a spurious route update fail when protocol shutdown collides
with an incoming RIP packet.

Merge commit 'e3c0eca9' into thread-next

Protocol: better granularity of pool management

There are now 3 different pools with specific lifetime. All of these are
available since protocol start, anyway they get freed in different
moments.

First, pool_up gets freed immediately after announcing PS_STOP, to e.g.
stop all timers and events regularly updating the routing table when the
imports are already flushing.

Then, pool_inloop gets freed just before the protocol loop is finally
stopped, after all channels, imports and exports and other hooks are
cleaned up.

And finally, the pool itself is freed the last. Unless you explicitly
need the early free, use this pool.

Merge commit '5121101136cb80151a9361c63dc4822afeb44eef' into thread-next

Channel: using a separate pool for export data

Merge commit 'e2f08c382a2adbbbd94c5cd7d996ce9175e0fb9c' into HEAD

Merge commit '4972590e' into thread-next

BGP/BMP: fixed build with no bmp at all

BGP: dropped bgp_fix_attr_flags() (useless remnant from previous versions)

Merge commit 'b20b6a9ad204f2648ed3d62720435bb21dfb947c' into thread-next

BGP/BMP: Moved temporary allocation checks to the freeing functions

Merge branch 'mq-bmp-to-merge-to-v3' into thread-next

Merge commit '2d988f71a5c3caf3b56426a45d4d234c4fd4fce7' into thread-next

Merge commit '6e908775' into thread-next

Merge branch 'mq-bmp-to-merge-to-v3' into HEAD

Nest: Use generic rte_announce() also for import tables

Remove special rte_announce_in(), so we can use generic rte_announce()
for bot feed and notifications.

Conf: Improve handling of keywords

For whatever reason, parser allocated a symbol for every parsed keyword
in each scope. That wasted time and memory. The effect is worsened with
recent changes allowing local scopes, so keywords often promote soft
scopes (with no symbols) to real scopes.

Do not allocate a symbol for a keyword. Take care of keywords that could
be promoted to symbols (kw_sym) and do it explicitly.

Conf: Fix symbol lookup

The symbol table used just symbol name as a key, and used a trick with
active flag to find symbols in active scopes with one hash table lookup.

The disadvantage is that it can degenerate to O(n) for negative queries
in situations where are many symbols with the same name in different
scopes.

Thanks to Yanko Kaneti for the bugreport.

Channel: Refeeding by an auxiliary request if needed.

If the protocol supports route refresh on export, we keep the stop-start
method of route refeed. This applies for BGP with ERR or with export
table on, for OSPF, Babel, RIP or Pipe.

For BGP without ERR or for future selective ROA reloads, we're adding an
auxiliary export request, doing the refeed while the main export request
is running, somehow resembling the original method of BIRD 2 refeed.

There is also a refeed request queue to keep track of different refeed
requests.

Babel: Properly handle route refeed

RIP: Properly handle route refeed

Babel: Remove interfaces on shutdown

This avoids calling interface timer between Babel going
PS_DOWN and finally cleaning up the resource pool.

Kernel: refeed routes and delete them from kernel before actual shutdown

Protocols have now assigned startup phases

For now, there are 4 phases: Necessary (device), Connector (kernel, pipe), Generator (static, rpki) and Regular.
Started and reconfigured are from Necessary to Regular, shutdown backwards.

This way, kernel can flush routes before actually being shutdown.

Iface: trace log messages cleanup

Table: Added some journal and export tracing

Table: Fixed feed race condition

The problem happened like this:

1. Single route for the given net in table
2. A feed is started
3. The route is deleted (from another thread)
4. The feed finds an empty net, exports nothing, ignores journal (here is bug)
5. The route is added
6. The export transitions from FEEDING to READY
7. While processing the journal, the route deletion and addition combines into noop.

This way routes mysteriously disappeared in specific cases of link instability.

Problem fixed by explicitly marking the empty-net journal entries as processed in step 4.

Export: More strict export state checking on change

Properly consted routes inside table

Filter iterator accepts lines instead of filter

Renamed channel class pointers

The channel class pointers were strangely named , not .

Logging: fixed size logfiles behaving as mmapped ringbuffers

This variant of logging avoids calling write() for every log line,
allowing for waitless logging. This makes heavy logging less heavy
and more useful for race condition debugging.

Logging limit enforcement moved into the rfile structure

Logging now doesn't lock with each message

The original logging routines were locking a common mutex. This led to
massive underperformance and unwanted serialization when heavily logging
due to lock contention. Now the logging is lockless, though still
serializing on write() syscalls to the same filedescriptor.

This change also brings in a persistent logging channel structures and
thus avoids writing into active configuration data structures during
regular run.

Threads: added a generic method to run in all threads

Logging: Abolished stdio in favor of write() to make the logging faster.

Simple testing of reconfiguration to a slightly different one

BGP: Setting and unsetting unknown attributes

All these must be declared as bytestring. Allows operators to delete
unwanted attributes breaking the Internet:

    https://blog.benjojo.co.uk/post/bgp-path-attributes-grave-error-handling

Attributes declared in config can be bytestrings

Filter: Function unset() accepts attributes declared in config

Structures bytestring and adata merged into adata.

Conf: Move definition of struct keyword to conf.h

CLI: Dropping the mechanism of echoing log messages

This is better done by running tail -f on a logfile.

BGP: When debug { routes } is set, updates considered as loop are logged

Enhanced tracing of route refresh state

Filter: Use common initializer for undefined variables and eattrs.

Undefined paths and clists should use typed f_val with empty adata
instead of just void f_val. Use common initializer to handle both
variables and eattrs.

Filter: Minor updates to methods

Remove warning when function-like syntax is used for calling
add/remove/... methods.

Fix argument offset in error messages for function-like syntax.

Filter: Split clist add/delete operations to multiple methods

Filter: Implement constant promotion for multiple dispatch methods

Filter: Print proper error response in multiple method dispatch

When no matching method is found, print an error response containing
position and type of infringing argument and a set of expected types.

Filter: Move argument list reversal from function_call to var_list

List of arguments for function calls is constructed in reverse and then
reverted. This was done in function_call grammar rule. Do the reverse
directly in var_list grammar rule. This fixes reverse order of arguments
in method calls.

Filter: Implement multiple dispatch for methods

 - Extend method descriptors with type signature
 - Daisy chain method descriptors for the same symbol
 - Dispatch methods for same symbol based on type signature
 - Split add/delete/filter operations to multiple methods
 - Replace ad-hoc dispatch of old-style syntax with scope-based dispatch
 - Also change method->arg_num to count initial arg

It still needs some improvements, like better handling of untyped
expressions and better error reporting when no dispatch can be done.

The multiple dispatch could also be extended to dispatch regular
function-like expressions in a uniform way.

Filter: Better syntax for function return types

The C-style syntax does not really fit into rest of our syntax.

Filter: Make f_method_call_*() usage symmetric

Filter: Convert more methods to use METHOD_R()

Filter: Remove number of args from METHOD_R()

Macro METHOD_R() is used for simplest methods, there is no place to
define argument types, so let's force it to be 0.

Conf: Remove toksym from symbol_known

No need to have toksym in symbol_known, as defined symbols are preferred
(by scope) to keywords anyway. Adding it just creates grammar conflicts.

Filter: Print instructions take only one value (simplification)

Filter: Shortened method declarations

Filter: The for loop uses the method system for type dispatch

Removing unused terminals from filter config

Filter: Methods rework

Methods can now be called as x.m(y), as long as x can have its type
inferred in config time. If used as a command, it modifies the object,
if used as a value, it keeps the original object intact.

Also functions add(x,y), delete(x,y), filter(x,y) and prepend(x,y) now
spit a warning and are considered deprecated.

It's also possible to call a method on a constant, see filter/test.conf
for examples like bgp_path = +empty+.prepend(1).

Inside instruction definitions (filter/f-inst.c), a METHOD_CONSTRUCTOR()
call is added, which registers the instruction as a method for the type
of its first argument. Each type has its own method symbol table and
filter parser switches between them based on the inferred type of the
object calling the method.

Also FI_CLIST_(ADD|DELETE|FILTER) instructions have been split to allow
for this method dispatch. With type inference, it's now possible.

Uninitialized filter variables of path/[el]?clist types are now explicitly empty

Conf: config warnings show the file position

Filter: functions can and should have typed return values

Filter/Conf: Method names have their own keyword hash

To allow for future dynamic method definition, parsing method names is
done via a dedicated keyword hash/scope.

Conf: Allowing conf scope to be explicitly read only

Conf: Symbol manipulation gets its context explicitly

Filter: any lvalue can get its methods called

Filter: split out dot-notation methods to separate targets

This is just a preparationary refactoring to allow type-based method
tables.

Conf: Keywords have their default symbols

This avoids unnecessary collapsed soft scopes caused by keyword symbol multiallocation.

Conf: Symbol hashes for all scopes

This is a backport cherry-pick of commits
  165156beeb2926472bbceca3c103aacc3f81a8cc
  cce974e8ea992d0e6d2f649eca7880b436d91d71

from the v3.0 branch as we need symbol hashes directly inside their
scopes for more general usage than before.

Dropping empty-type const f_vals, they were copied anyway

Conf: Adding dummy thread-number setting for easier sharing of configuration between v2 and v3

BFD: Improve handling of AdminDown

According to RFC 5882, system should not interpret the local or remote
session state transition to AdminDown as failure. We followed that for
the local session state but not for the remote session state (which
just triggered a transition of the local state to Down). The patch
fixes that.

We do not properly generate AdminDown on our side, so the patch is
relevant just for interoperability with other systems.

Thanks to Sunnat Samadov for the bugreport.