Merge branch 'mq-aggregator-for-v3' into thread-next

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit 'fcf22586' into mq-aggregator-for-v3

Merge commit '8e9e013b' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit '3397ca51' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit 'e338c4b6' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit 'bcff3ae7' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit '9ca86ef6' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit '9d456d53' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit '15c86ed0' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge remote-tracking branch 'origin/partial-reload' into thread-next

MPLS: Fix issue with recursive MPLS routes

Recursive MPLS routes used hostentry from the original route, which
triggered different table than MPLS table, and therefore were not
updated.

krt.c: fixup lots of routes learn & unlearn

Merge branch 'thread-next' into HEAD

Automatic ROA reloads on channel import

This includes updating OSPF, Pipe and RIP to enable partial route reload
directly from the protocols' internal tables.

FIB walk macros now allow continue from the loop

Prefiltering routes by net and custom hook for partial reloads

Channel feeding request respects the subnet tries

Channel feeding request has a done-hook

Merge commit '333ddd4f' into mq-aggregator-for-v3

Dumping route sources along with protocols and routes

Debug file fix

It got mistakenly closed while applying the log configuration.

Nexthop dump fix for unreachables

Fixes to root pool and meta loop to allow resource dumps

Merge branch 'mq-aggregator-for-v3' into HEAD

Merge commit 'e55696a4' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit '21213be5' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Merge commit '8ad9c4bb' into mq-aggregator-for-v3

Merge branch 'mq-aggregator-for-v3' into thread-next

Aggregator: fixed route source unlocking on shutdown and withdraw

Merge branch 'mq-aggregator-for-v3' into HEAD

Merge branch 'mq-aggregator-for-v3' into HEAD

Aggregator: Fixed bugs in filter usage

Merge commit 'a4adb09f5a5c3806488fb121eafc0e6c969135e7' into HEAD

Aggregator: Expressed most of the attribute logic in filter language

Merge commit 'ba91f4c831f057b81104d1453f99b012c01f9c9e' into thread-next

Merge commit 'df5a08e7c717ff421a52b4144d741f0a9749159f' into thread-next

Basic route aggregation

Add a new protocol offering route aggregation.

User can specify list of route attributes in the configuration file and
run route aggregation on the export side of the pipe protocol. Routes are
sorted and for every group of equivalent routes new route is created and
exported to the routing table. It is also possible to specify filter
which will run for every route before aggregation.

Furthermore, it will be possible to set attributes of new routes
according to attributes of the aggregated routes.

This is a work in progress.

Original work by Igor Putovny, subsequent cleanups and finalization by
Maria Matejka.

This is a split-commit of the neighboring aggregator branch
with a bit improved lvalue handling, to have easier merge into v3.

Filters: allowing to return any number of values

Filter: value hashing

Added a code for computing hash of filter values.

This is a split-commit of the neighboring aggregator branch
with improved lvalue and attribute handling.

Merge commit '407eb388b7082b52921e93476c8ff1a98fe3b873' into thread-next

Merge commit 'f0187d713c36e841fe8bab350e84f5257a74981a' into thread-next

Merge commit 'de70474fed139f9acb4ed3f8e925d12de4edcdd0' into thread-next

Filter: predefined variables for specific blocks

This is a split-commit of the neighboring aggregator branch
with a bit improved lvalue handling, to have easier merge into v3.

Filter: adding explicit route-block type

This is a split-commit of the neighboring aggregator branch
with a bit improved lvalue handling, to have easier merge into v3.

Filter: adding explicit route type

This is a split-commit of the neighboring aggregator branch
with a bit improved lvalue handling, to have easier merge into v3.

Renamed nest/rt.h back to nest/route.h

Some [redacted] (yes, myself) had a really bad idea
to rename nest/route.h to nest/rt.h while refactoring
some data structures out of it.

This led to unnecessarily complex problems with
merging updates from v2. Reverting this change
to make my life a bit easier.

At least it needed only one find-sed command:

    find -name '*.[chlY]' -type f -exec sed -i 's#nest/rt.h#nest/route.h#' '{}' +

Merge commit '0a729b50' into thread-next

This merge was particularly difficult. I finally resorted to delete the
symbol scope active flag altogether and replace its usage by other
means.

Also I had to update custom route attribute registration to fit
both the scope updates in v2 and the data model in v3.

Merge commit 'bb8e2824' into thread-next

Merge commit '9ffea830' into thread-next

Merge commit 'a3dc2645' into thread-next

Merge commit 'cc1099a0' into thread-next

Updated f_implicit_roa_check() to use type methods and moved to filter/f-util.c

Merge commit 'c0231b09' into thread-next

Merge commit 'fdd39c81' into thread-next

Merge commit 'fc9d471b' into thread-next

Conflicts:
conf/cf-lex.l
conf/conf.h
filter/config.Y
filter/data.c
filter/data.h

Merge commit '6b95353e' into thread-next

Merge commit '51f2e7af' into thread-next

Conflicts:
conf/cf-lex.l
conf/conf.h
conf/confbase.Y
filter/config.Y
nest/config.Y
nest/proto.c
nest/rt-table.c
proto/bgp/bgp.c
sysdep/unix/main.c

Merge commit '5951dfbd' into thread-next

Merge commit '58efa944' into thread-next

Conflicts:
conf/cf-lex.l
conf/conf.h
conf/confbase.Y
conf/gen_keywords.m4
conf/gen_parser.m4
filter/config.Y
nest/config.Y
proto/bgp/config.Y
proto/static/config.Y

Keywords and attributes are split to separate namespaces, to avoid
collisions between regular keyword use and attribute overlay.

Merge commit 'a5a6de58' into thread-next

Conflicts:
      filter/config.Y
      filter/data.h
      filter/data.c

Merge commit '86598183' into thread-next

Merge commit 'aa70e14c' into thread-next

Merge commit 'f5140d10' into thread-next

Smashed as "ours" as local changes are completely incompatible.
Relevant fixes will be merged from later commits if possible.

Merge commit 'cce48c6c' into thread-next

Merge commit '32427c9c' into thread-next

Merge commit 'f411a19b' into thread-next

CI: Temporarily disabling test-ibgp-loop-big as it tends to hang

Merge commit '0dbcc927' into thread-next

Merge commit 'fc354788' into thread-next

RIP: actually remove the interface structures on shutdown

This avoids a spurious route update fail when protocol shutdown collides
with an incoming RIP packet.

Merge commit 'e3c0eca9' into thread-next

Protocol: better granularity of pool management

There are now 3 different pools with specific lifetime. All of these are
available since protocol start, anyway they get freed in different
moments.

First, pool_up gets freed immediately after announcing PS_STOP, to e.g.
stop all timers and events regularly updating the routing table when the
imports are already flushing.

Then, pool_inloop gets freed just before the protocol loop is finally
stopped, after all channels, imports and exports and other hooks are
cleaned up.

And finally, the pool itself is freed the last. Unless you explicitly
need the early free, use this pool.

Merge commit '5121101136cb80151a9361c63dc4822afeb44eef' into thread-next

Channel: using a separate pool for export data

Merge commit 'e2f08c382a2adbbbd94c5cd7d996ce9175e0fb9c' into HEAD

Merge commit '4972590e' into thread-next

BGP/BMP: fixed build with no bmp at all

BGP: dropped bgp_fix_attr_flags() (useless remnant from previous versions)

Merge commit 'b20b6a9ad204f2648ed3d62720435bb21dfb947c' into thread-next

BGP/BMP: Moved temporary allocation checks to the freeing functions

Merge branch 'mq-bmp-to-merge-to-v3' into thread-next

Merge commit '2d988f71a5c3caf3b56426a45d4d234c4fd4fce7' into thread-next

Merge commit '6e908775' into thread-next

Merge branch 'mq-bmp-to-merge-to-v3' into HEAD

Nest: Use generic rte_announce() also for import tables

Remove special rte_announce_in(), so we can use generic rte_announce()
for bot feed and notifications.

Conf: Improve handling of keywords

For whatever reason, parser allocated a symbol for every parsed keyword
in each scope. That wasted time and memory. The effect is worsened with
recent changes allowing local scopes, so keywords often promote soft
scopes (with no symbols) to real scopes.

Do not allocate a symbol for a keyword. Take care of keywords that could
be promoted to symbols (kw_sym) and do it explicitly.

Conf: Fix symbol lookup

The symbol table used just symbol name as a key, and used a trick with
active flag to find symbols in active scopes with one hash table lookup.

The disadvantage is that it can degenerate to O(n) for negative queries
in situations where are many symbols with the same name in different
scopes.

Thanks to Yanko Kaneti for the bugreport.

MPLS: Improve label range reconfiguration

Allow to shorten label range over unused area.

MPLS: Add command 'show mpls ranges'

Add command to show MPLS label ranges and their stats.

Nest: Fix missing RTS_* values in filters

Lib: Extend MPLS label allocator bitmap

Add function lmap_last_one_in_range() for finding the last active label
in a label range.