Doc: Update prefix set comment

Fletcher16 test fixed to work at bigendian architectures.

To be honest, it was wrong in concept, anyway it accidentally worked.

Filter: Remove mixed address tests and fix formatting

Filter: Optimize IPv4 prefix sets

Use separate IPv4 and IPv6 implementation of prefix sets. Just this
change makes IPv4 prefix sets 60% smaller and 50% faster.

RIP: Improvements to demand circuit mode

Restart iface after changing demand circuit mode during reconfiguration.
Fix next_regular interval reset during reconfiguration. Send flushing
response when iface goes down.

Perf: changed route update pattern to be more like common protocols

Netlink: Handle interfaces with missing broadcast addresses

Tests: Enforce cleanup before running a test

Tests: Activate OSPF tests

Flowspec: Fix tests

Missing dst no longer generates error.

BGP: Handle flowspec rules without dst part

The RFC 5575 does not explicitly reject flowspec rules without dst part,
it just requires dst part in validation procedure for feasibility, which
we do not implement anyway. Thus flow without dst prefix is syntactically
valid, but unfeasible (if feasibilty testing is done).

Thanks to Alex D. for the bugreport.

BGP: Support for MD5SIG together with remote range

When dynamic BGP with remote range is configured, MD5SIG needs to use
newer socket option (TCP_MD5SIG_EXT) to specify remote addres range for
listening socket.

Thanks to Adam Kułagowski for the suggestion.

RIP: Demand circuit support (RFC 2091)

RIP: Fix crash when interface is removed

Recent changes in neighbor code caused RIP to access neighbor field which
is NULL during interface/neighbor removal and caused crash when debug
messages are enabled. Use correct field to get iface from neighbor.

Conf: Better error message when reading iproute2 config

Reported by: Martin Weinelt <martin@darmstadt.freifunk.net>

RPKI: Allow build without libSSH

Added missing extern

Thanks to Robert Scheck <bird@robert-scheck.de> who reported it
and Toke Høiland-Jørgensen <toke@toke.dk> who suggested this patch.

BFD: Option to specify which class of BFD sessions are accepted

Allows to configure IPv4/IPv6-only or direct/multihop-only BFD protocol
instances.

OSPF: Fix bad initialization of tx_hdrlen field

Function ifa_tx_hdrlen() uses fields autype and passwords, so it must be
called after these are set.

Thanks to Kenth Eriksson for the bugreport.

KRT: Improve syncer code to avoid using temporary data in rtable

The old code stored route verdicts and temporary routes directly in
rtable. The new code do not store received routes (it immediately
compares them with exported routes and resolves conflicts) and uses
internal bitmap to keep track of which routes were received and which
needs to be reinstalled.

By not putting 'invalid' temporary routes to rtable, we keep rtable
in consistent state, therefore scan no longer needs to be atomic
operation and could be splitted to multiple events.

Filter: Fix typecheck for AND/OR.

Do not apply dynamic type check for second argument of AND/OR, as it is
not evaluated immediately like regular argument would be.

Thanks to Mikael for the bugreport.

KRT: Remove KRF_SYNC_ERROR flag

This info is now stored in an internal bmap. Unfortunately, net.flags
is still needed for temporary kernel data.

KRT: Fix removal of KRF_INSTALLED

Use route id from net->routes to check export_map. Route received from
sysdep KRT code does not have proper id.

Test: Improve filter_test

Initial parsing of test.conf must be done directly in filter_test main,
while reconfiguration is handled as a regular test. Also fix several
minor issues in test code.

Doc: Fix documentation of BGP gateway option

Thanks to Nico Schottelius for the bugreport.

KRT: Remove KRF_INSTALLED flag

The same information is stored in export_map of kernel protocol.

Filter: fix filter comparison test

Filter: Fix function comparison

Check the SYM_FLAG_SAME in new symbols. The old code checked that
in old symbols (f2).

Nest: Fix bitmap cleanup

Channel currently does not have independent pool and uses protocol pool,
which is freed when protocol changes state to down, while channel is
still in flushing. Move some some cleanup code to channel_do_flush()
so it is done before freeing of protocol pool.

Filter: Add support for src/dst accessors for Flowspec and SADR

BGP: Add some statistics

Add some statistic counters to BGP consistent with BGP MIB (RFC 4273),
including persistent 'FSM established transitions'.

CI: Add more build tests

Add more Docker images with distributions (CentOS 8, Debian 10,
Fedora 27-31, OpenSUSE 15.0 & 15.1, and Ubuntu 18.04 & 19.04).
Fix some issues with older ones.

CI: Cleanup of job templates

Env templates were used for separate IPv4/IPv6 build, that is no longer
needed.

CI: Update new netlab location

CI: Minor update

Apply relevant changes from branch mh-test-gitlab

Gitlab test

Nest: Use bitmaps to keep track of exported routes

Use a hierarchical bitmap in a routing table to assign ids to routes, and
then use bitmaps (indexed by route id) in channels to keep track whether
routes were exported. This avoids unreliable and inefficient re-evaluation
of filters for old routes in order to determine whether they were exported.

Lib: Basic and hierarchical bitmaps

Basic bitmap is obvious. Hierarchical bitmap is structure of several
bitmaps, where higher levels are conjunctions of intervals on level
below, allowing for efficient lookup of first unset bit.

CLI: Fix continuation lines after final one

Continuation lines may use short form (with space instead of message
number), but this should not be done when previous line is final.

Thanks to Kenth Eriksson for the bugreport and analysis.

BGP: Fix processing of IPv6 Flowspec

During NLRI parsing of IPv6 Flowspec, dst prefix was not properly
extracted from NLRI, therefore a received flow was stored in a different
position in flowspec routing table, and was not reachable by command
'show route <flow>'.

Add proper prefix part accessors to flowspec code and use them from BGP
NLRI parsing code.

Thanks to Alex D. for the bugreport.

Netlink: Handle IPv4 routes with IPv6 nexthops

Accept RTA_VIA attribute in all cases. The old code always used
RTA_GATEWAY for IPv4 / IPv6 and RTA_VIA for MPLS. The new code uses
RTA_VIA in cases where AF of network and AF of nexthop differs.

BGP: Add option to enforce first AS in AS_PATH

This is optional check described in RFC 4271. Although this can be also
done by filters, it is widely implemented option in BGP implementations.

Thanks to Eugene Bogomazov for the original patch.

Doc: Minor fix

Doc: Add documentation for BGP option 'allow as sets'

Filter: Add type info for more instructions

Filter: Improve typecheck error messages

Filter: Better constant promotion

We use constant promotion from IPv4 to Router-ID values, as they have
same literals. Instead of ad-hoc code in filter instructions, add
constant promotion code to parse-time typecheck code.

Filter: Improved parse-time typechecks

Filter: Parse-time typechecks

Most expressions can be type-validated in parse time. It is not
strong enough to eliminate runtime checks, but at least one gets
errors immediately during reconfigure.

BGP: Add option to reject AS_SETs

There is a pending draft to make them obsolete

Support for address family constants

We already had them defined on BGP level, but they are more general.

Nest: Fix bug in export table

For regular channels do not compare src in export table, as we want to
keep here only the best (exported) route per network.

BGP: RFC 8654 got released

Nest: Fix primary flag in show route

The route is changed by rte_make_tmp_attrs(), so we need to compare
net->routes to the original one.

Thanks to Kenth Eriksson for the bugreport.

BGP: Fix handling of transitive extended communities

Transitive extended communities should be removed on external sessions,
the old code them in all cases.

Thanks to Jean-Daniel Pauget for the original patch.

Accept uppercase letters in iproute2 names

Names read from texfiles in /etc/iproute2/* are normalized by replacing
non-alphanumeric chars with underscore. The patch fixes handling of
uppercase letters, which were handled as non-alphanumberic.

Thanks to Igor Gavrilov for the bugreport.

Nest: Fix build without protocols

(CHECK keyword added by commiter)

RPKI: Fix handling of IPv6 cache addresses

The old code used just sizeof(struct sockaddr) bytes of IP address.

NEWS and version update

BGP: Fix reconfiguration with import table

Change of some options requires route refresh, but when import table is
active, channel reload is done from it instead of doing full route
refresh. So in this case we request it internally.

Doc: Minor documentation fixes

Thanks to Christoph for the bugreport.

Nest: Handle non-MPLS on MPLS case in recursive route update

When non-MPLS recursive route resolves to MPLS underlying route,
then it should get MPLS labels from the the underlying route.

Nest: Handle PtP links in recursive route update

Underlying (IGP) route may lead to PtP link, in this case it does not
need gateway. Which is different than direct route without gateway.

When recursive (BGP) route uses PtP route, it should not use recursive
next hop as immediate next hop, while for direct routes it should.

Nest: Fix recursive route update

Missing cleanup can lead to dangling pointer to old next hops.

BGP: AIGP metric support (RFC 7311)

Lib: Support for 64-bit numbers in bvsnprintf()

Use 'l' for s64/u64 instead of for long/ulong, as that is much more
useful. Also make number() correct with regard to signed/unsigned
typecasts.

Build: Pass -g to cc called as linker to explicitly keep debug info

Testing measures times

LTO: debug info also kept with the final binary

Perf: allow testing with cached route attributes.

Doc: Fix duplicated lines

Thanks to elados93 for the patch.

Testing: Don't call vsnprintf with NULL format

Fixed undefined behavior on signals.

The C11 specification allows only sig_atomic_t and _Atomic variable
access. All other accesses to global variables are undefined behavior.

Using int was probably OK on x86 and x86_64; yet there were some reports
from other architectures (especially some MIPS) that in rare cases,
after issuing SIGHUP, BIRD did strange things.

BFD: Fix reconfiguration of neighbors

The bfd_reconfigure_neighbors() returned after first reconfigured
neighbor instead of continuing with the next one.

Thanks to Winston Chen for the bugreport and a patch.

Nest: Fix bug in export table

Exported route may be in modified state, we need to get cached one for
rte_same() and rta_clone() to work properly.

Filter: Fix eval command

Nest: Fix help for 'graceful restart' command

Multi-worded commands are not automatically added to top-level
help output.

Thanks to Christoph for the bugreport.

Filters: Function body comparison result now used.

Function bodies were compared in post-parse time, yet the result was not
used and the functions were incorrectly considered the same as before.

Now the result is used to reload affected protocols.

BGP: Fix setup with multiple dynamic BGP ranges

Based on a patch from Liam Nattrass, thanks.

NEWS and version update

Doc: Update BGP mask documentation

Filter: Fix crash with 'where' filters and function calls

The old 'where' code computed size value incorrectly, which leads
to invalid instruction lines and filter errors or crashes.

BGP: Fix handling of bgp_aggregator atttribute

The attribute should not be modifiable by filters as we do not
support its type.

BGP: Fix bugs in handling of shutdown messages

There is an improper check for valid message size, which may lead to
stack overflow and buffer leaks to log when a large message is received.

Thanks to Daniel McCarney for bugreport and analysis.

OSPF: Fix 'show ospf lsadb' cmd without proto arg

It crashed when used without protocol argument.

Thanks to Alexander for the bugreport.

Channel refeed with import table splitting between routes for one prefix

Sysdep: Drop supplementary groups when dropping GID

We forgot to do that. Oops.

BGP: Use reallocation for capability structure

Instead of having large stack buffer for max amount of AFI/SAFI pairs.
The old code is not correct w.r.t. extendeded option length, as more
AFI/SAFI pairs may fit into the capability option.

BGP: Implement extended optional parameters length

Extends BGP options/capabilities data length to 16bit, to avoid issues
with too many capabilities. See draft-ietf-idr-ext-opt-param-07

Nest: Fix crash in route reload when some channels are not up.

Only channels that are up can be reloaded.

BGP: implement Adj-RIB-Out

The patch implements optional internal export table to a channel and
hooks it to BGP so it can be used as Adj-RIB-Out. When enabled, all
exported (post-filtered) routes are stored there. An export table can be
examined using e.g. 'show route export table bgp1.ipv4'.

Filter: Fixing empty block and never-executed-statement bug

RAdv: Allow solicited RAs to be sent as unicast

Add option to send solicited router advertisements as unicast directly
to soliciting nodes instead of as multicast to all-nodes group.

Filter: Allow to use set constants / expressions in path masks

Allow to not only use set literals in path masks, but also existing
set constants or set expressions.

Filter: Allow to use sets in path masks

BGP: Improve reconfiguration

Several BGP channel options (including 'next hop self') could be
reconfigured without session reset, with just route refeed/refresh.
The patch improves reconfiguration code to do it that way.

BGP: Fix 'deterministic med' to work with 'merge paths'

The 'deterministic med' option is implemented by suppressing other than
best-in-group routes (grouped by ASN) from best route selection. This
interferes with 'merge paths' as supressed routes are no longer mergable
with best route. This is fixed by suppressing only those routes that are
not mergable with best-in-group route.

Configure: CFLAGS update

 - add -flto only to default CFLAGS
 - add -fno-strict-aliasing, -fno-strict-overflow always
 - remove -Wno-implicit-fallthrough

Show LDFLAGS in configure