Flock: fixed some random bugs but there are obviously some more

Flock: the logger actually works, lol,

Flock: Even more fd cleanupc

Flock: looped container logger

Flock: Even more fd cleanup

Flock: a bit more fd closing

Flock: one more cloexec

Flock: more filedes cleanup

Flock: filedescriptor cleanups in hypervisor

Flock lower memory settings

Flock minor fixes

Flock: Now it is very hairy but the containers do actually run.

Flock trying to overlayfs (bad)

Flock: telnet to machines

Flock: Stopping containers from CLI

Flock: Container killing

Flock CLI: starting containers

Flock: CLI connects via telnet to hypervisor

Flock: CLI first try (starts and stops the hypervisor)

Flock: containers are actually created

Flock: pausing

Flock: Storing machines (TMP)

Flock: seems like machines being actually created

Flock: nicer logging (setting distinct thread ids)

Flock: Now the container code looks like doing at least something

Flock: misc

Container runner basics

Flock: Machine adding code in parser

Flock: Polished the command-line options

Flock: storing and passing telnet info

Flock: Zombie children reaping

Flock: Telnet connection to hypervisor seems to work well

Flock: telnet request sends the request

Flock: shutdown command sends a reply

Flock: Fixed the exposed process mainloop

Flock: Added a proper shutdown routine requestable also from CLI

Flock: Converted signalling through sigatomic_t to full event sending

Flock: Hypervisor control socket CBOR push parser

It reads some data, the actions are not implemented yet.

Flock: Hypervisor has a control socket (not doing anything yet tho)

Flock: Creating the hypervisor and the external-contact process

This is the first part of rewriting Flock to C to significantly reduce
memory footprint of individual machines from 20+M in Python to (goal)
less than 1M. Now the process eats ~460k and I suspect that this won't
even be the consumption per machine in total as fork() is involved and
some parts of the memory will be heavily shared.

Socket: sending filedescriptors over UNIX sockets

Lib: CBOR message streams and channels

Lib: mostly rewritten CBOR encoder

Lib: added a generic CBOR parser framework

Lib: added tmp_v?sprintf and tmp_strdup allocating from tmp_linpool

Birdloop pipe is set O_CLOEXEC.

If we decide to exec something, we shouldn't pass along our intenal fds.

Debug: Do not compile allocator debug journals in unless requested.

These journals can become very memory-heavy when it comes to
constrained environments where every 100k of RAM matters.

Minimalist mainloop implementation

Properly handling situations when birdloops are created before spawning threads

Allocator parameters can be configured now.

Socket: pausing and restoring RX is a little bit more checked

Socket: error hook is called from a function

Porting the CBOR encoder from the YANG branch

Minor cleanups by commiter.

(source commit 43ff10204b1d9b76f6d5afc5252fb09480d5ffc5 but expected
to be rebased later, don't worry if you fail to find it)

Added mb_strdup() to complement other similar functions

Moved sk_open_unix() to common lib

lib/socket.h: added missing include

lib/obstacle.h: added missing include

Splitting out BIRD static library for linking to other tools

Thread config has an explicit structure

Enabled LTO for LLVM and making use of jobserver for LTO in GCC

Compiler vendor detection for autotools

Kernel preferred interface address updater decoupled from the lib

Moved hostname resolver to logger

Displaced show threads command to its own file

Interface CLI commands moved to a separate file.

This is a preparation both for CLI splitup and for lib splitup.

Disabling the old IO event logger as it doesn't run from worker loops anyway

Shutdown marker displaced to runtime

Splitting out clock and tracked files from sysdep/unix/io.c

Global runtime splitout to BIRD specific and lib things

Moved stored_sock to io-loop.c (old hack for mainloop)

Calling cf_warn from log_switch makes no sense

Displaced bird_name to log.c where it rightfully belongs

Sysdep: moved socket code into a separate file

Moved flowspec configuration checks to the config file

Functions flow_check_cf_bmk_values, flow_check_cf_value_length,
flow4_validate_cf and flow6_validate_cf are now not built with lib but
with conf to enable for better semantic separation.

NEWS and version update

Merge remote-tracking branch 'origin/stable-v2.16' into HEAD

NEWS and version update

Merge commit 'abecb5bb408f253cd24345ba94940ea0f7b59f4f' into HEAD

Merge commit '85aa283071ed75059fd8c889bc4ee33be1f901af' into HEAD

Merge commit 'd221f39731be40ed3821f8db09d590edb849cb0c' into HEAD

Merge commit 'e063365590b9b857a5bd0acfa519783eba639bbf' into stable-v3.0

lib: Unify alignment of allocators

Different internal allocators (memory blocks, linpools, and slabs) used
different way to compute alignment. Unify it to use alignment based on
standard max_align_t type.

On x86_64, this does not change alignment of memory blocks and linpools
(both old and new is 16), but it increases alignment of slabs from 8 to
16.

Minor changes by commiter.

Table: Fixed table debug settings reconfiguration

Table: more best route refeed fixes

Best route refeed is tricky. The journal may include repeatedly the same
route in the old and/or in the new position in case of flaps. We don't
like checking that fully in the RCU critical section which is already
way too long, thus we filter out the repeated occurence of the current
best route while keeping possibly more old routes.

We also don't want to send spurious withdraws, and we need to check that
only one notification per net is sent for RA_OPTIMAL.

There was also missing a rejected map update in case of idempotent
squashed update, and last but not least, the best route journal should
not include invalid routes (import keep filtered).

Table: old best route refeed fix

When refeeding with RA_OPTIMAL, the old best routes weren't announced,
leading to weird behavior of protocols, mostly kernel. Fixed.

BGP: fixed deterministic med crashes

There were several places of forgotten NULL checks.

Thanks to Alarig Le Lay <alarig@swordarmor.fr> for reporting:
https://trubka.network.cz/pipermail/bird-users/2024-December/017990.html

BGP: fix display name of bgp_otc attribute

Allocate the normalization buckets on stack

Even though allocating from tmp_linpool is quite cheap,
it isn't cheap when the block is larger than a page, which is the case here.
Instead, we now allocate just the result which typically fits in a page,
avoiding a necessity of a malloc().

BGP: TX bucket storage moved to Stonehenge

Route attribute storage moved to Stonehenge

Stonehenge: multi-slab allocator

To mid-term allocate and free lots of small blocks in a fast pace,
mb_alloc is too slow and causes heap bloating. We can already allocate
blocks from slabs, and if we allow for a little bit of inefficiency,
we can just use multiple slabs with stepped sizes.

This technique is already used in ea_list allocation which is gonna be
converted to Stonehenge.

Graceful recovery: converted to obstacles

Yet another refcounting mechanism had a locking collision.

Kernel: feed only once during startup

There was an inefficiency in the initial scan state machine,
causing routes to be fed several times instead of just once.
Now the export startup is postponed until first krt_scan()
finishes and we actually can do the pruning with full information.

CLI: Flushing tmp_linpool after every shown net.

There is no reason to keep the allocated objects through multiple nets.

CLI: allocate TX buffers as pages, not by malloc

Every malloc risks heap bloating and these blocks are already
the same size as pages.

Static: fixed ASPA reconfiguration

Due to an oversight, the provider lists weren't compared on reconfiguration.

Reported-By: Ralph Covelli <rcovelli@he.net>

Nest: Fix handling of 64-bit rte_src.private_id

The commit 21213be523baa7f2cbf0feaa617f265c55e9b17a expanded private_id
in route source to u64, but forgot to modify function arguments, so it
was still cropped at 32-bit, which may cause some collisions for L3VPN.
This patch fixes that.

Lib: Ensure that all net_addr structures have the same alignment

Also weaken the explicit alignment of net_addr to be u32, as VPN
is already u32-aligned.

Doc: Fix protocol outline in RPKI

Protocol outlines should not contain specific values.

Also fix some space intendation in code sections.

Lib: Data type for VPN route distinguishers

Use a distinct data structure for VPN route distinguishers instead
of just u64.