fixup! Table exporter journal dumping and memsize

fixup! bgp/attrs: Protocols print warnings when the size of memory they allocated is big at least as given acceptable maximum.

bgp/attrs: Protocols print warnings when the size of memory they allocated is big at least as given acceptable maximum.

Table exporter journal dumping and memsize

The show-memory command wasn't showing the consumed memory
properly because it ignored the journal size. Now it does.

Fix mallopt configure checks

Some systems do have malloc.h but don't have mallopt.

Table cork compromise

The original values were way too low but what was set
later was too high and caused memory buildup upon startup.

Table prune inhibited during reconfiguration

When many changes are done during reconfiguration, the table may
start pruning old routes before everything is settled down, slowing
down not only the reconfiguration, but also the shutdown process.

Disable multiple malloc arenas

In our usecase, these are impossibly greedy because we often
free memory in a different thread than where we allocate, forcing
the default allocator to scatter the used memory all over the place.

More accurate allocator internal log

Drop forgotten debug logs

ROA: Extended and more thorough test

There was a suspicion that maybe the BIRD 3 version of ROA gets the
digesting wrong. This test covers the nastiest cornercases we could
think about, so now we can expect it to be right.

Merge commit '1dbee120' into thread-next

Merge tag 'v2.16' into thread-next

v2.16

Allow allocating cold pages inside RCU critical section

We have quite large critical sections and we need to allocate inside
them. This is something to revise properly later on, yet for now,
instead of slowly but surely growing the virtual memory address space,
it's better to optimize the cold page cache pickup and count situations
where this happened inside the critical section.

Fixed a subtle memory leak in protocol restart routine

Merge commit '707cad61' into thread-next

Merge commit 'ef456118' into thread-next

Merge commit 'd85fa48e' into thread-next

The resource dumping routines needed to be updated in v3 to use the new
API introduced in v2.

Conflicts:
filter/f-util.c
filter/filter.c
lib/birdlib.h
lib/event.c
lib/mempool.c
lib/resource.c
lib/resource.h
lib/slab.c
lib/timer.c
nest/config.Y
nest/iface.c
nest/iface.h
nest/locks.c
nest/neighbor.c
nest/proto.c
nest/route.h
nest/rt-attr.c
nest/rt-table.c
proto/bfd/bfd.c
proto/bmp/bmp.c
sysdep/unix/io.c
sysdep/unix/krt.c
sysdep/unix/main.c
sysdep/unix/unix.h

Merge remote-tracking branch 'origin/apkg-v3' into thread-next

EAttr normalization rewritten to use bucket sort

The EAttr ID space is dense so we can just walk once, sweep the whole
input and go home.

There is a little bit of memory inefficiency in allocating always the
largest possible block, yet it isn't too bad.

There are also unit tests for this.

CLI: show threads all crash fixed

When socket dropped before finished, it failed to cleanup.

Fix alignment requirements to include atomic u64.

Not having this led to bus errors on unaligned atomic u64 access
on architectures with 4B pointers.

Proto show: show creation and last autorestart time

Merge commit '4dd5b3d9' into thread-next

Merge commit '145830bd' into thread-next

Merge commit '946386f2' into thread-next

Merge commit '7ee27418' into thread-next

BMP: Fixing corner cases

Protocol state propagation collision, shutdown collision.

BMP: Never touching the BGP directly

Dropped hopefully last remnants of BMP directly accessing BGP structures.

Nest: proto/channel state table naming convention cleanup

Lockfree journal: Cleanup hook runs only when needed.

The function lfjour_cleanup_hook() was scheduled each time any of the
journal recipients reached end of a block of journal items or read all
of journal items. Because lfjour_cleanup_hook() can clean only journal
items every recipient has processed, it was often called uselessly.

This commit restricts most of the unuseful scheduling. Only some
recipients are given a token alowing them to try to schedule the
cleanup hook. When a recipient wants to schedule the cleanup hook, it
checks whether it has a token. If yes, it decrements number of tokens
the journal has given (issued_tokens) and discards its own token. If
issued_tokens reaches zero, the recipient is allowed to schedule the
cleanup hook.

There is a maximum number of tokens a journal can give to its recipients
(max_tokens). A new recipient is given a token in its init, unless the
maximum number of tokens is reached. The rest of tokens is given to
customers in lfjour_cleanup_hook().

In the cleanup hook, the issued_tokens number is increased in order to
avoid calling the hook before it finishes. Then, tokens are given to the
slowest recipients (but never to more than max_token recipients). Before
leaving lfjour_cleanup_hook(), the issued_tokens number is decreased back.
If no other tokens are given, we have to make sure the
lfjour_cleanup_hook will be called again. If every item in journal was
read by every recipient, tokens are given to random recipients. If all
recipients with tokens managed to finish until now, we give the token to
the first unfinished customer we find, or we just call the hook again.

Nest: fixed a race-condition between import and export

There was a leaking stack pointer to the global memory.
Fixed by making that temporary structure thread local static.

Fix typos found by lintian

I: bird3: spelling-error-in-binary "an other" "another" [usr/sbin/bird]
I: bird3: spelling-error-in-binary Reseting Resetting [usr/sbin/bird]
I: bird3: spelling-error-in-binary authenication authentication [usr/sbin/bird]

I was unable to fix the following:

I: bird3: spelling-error-in-binary upto up to [usr/sbin/bird]

Debian: Remove unneeded Pre-Depends: init-system-helpers

Lintian proclaims this is an essential package.

Debian: Add upstream lintian-overrides

Debian: Add BuildDepends: ca-certificates

This should reportedly fix test issues on ARM.

Debian: Add Rules-Requires-Root: no to d/control

Debian: Rename package to bird3

Also reformat using

    wrap-and-sort -bast

BMP: Dropped remnants of unused channels

BMP: refactored lists and table locks to tlists

BMP: protocol state ingestion refactoring

BMP: Tamed a TX buffer warning

Merge commit 'a47704a53db4f088e52e43f8b24785e5777ce147' into thread-next

Merge commit '73e7d3f5cede2e72eb9e77d61424a8c443672c09' into thread-next

Merge commit '5205ff97448cc34cf7334e90172c28eb48f227f2' into thread-next

Merge commit 'e6a100b31a7637ee739338e4b933367707ec931f' into thread-next

CI: Fix filter tests for ASPA

(broken by previous change)

Static: Fix ASPA static route argument

It seems that it should be 'providers' instead of 'provider'.

It matches keyword declaration and documentation. Mismatch beween keyword
declaration also breaks static-only builds.

Merge commit '460321cfe979459e3b78ba87694f29865d321612' into thread-next

NEWS and version update

Documentation: Updating roadmap as of end of 2024

CLI: Dumping forces new file creation instead of truncating.

CLI: show memory also displays cold pages

Minor changes by committer.

RPKI: Fix several errors in handling of Error PDU

Fix several errors including:
 - Unaligned memory access to 'Length of Error Text' field
 - No validation of 'Length of Encapsulated PDU' field
 - No validation of 'Error Code' field
 - No validation of characters in diagnostic message

RPKI: Increase max PDU length to 64k

APSA records can be arbitrarily large, let's use 64k as
a reasonable limit.

Slab: Write out all block pointers when asked for dump

Linpool: Write out all block pointers when asked for dump

CLI: Dumping internal data structures to files, not to debug output

All the 'dump something' CLI commands now have a new mandatory
argument -- name of the file where to dump the data. This allows
for more flexible dumping even for production deployments where
the debug output is by default off.

Also the dump commands are now restricted (they weren't before)
to assure that only the appropriate users can run these time consuming
commands.

Logging: exposing vlog() to log va_lists

CLI: adding cli_vprintf()

MRT: instead of crashing, ignore non-BGP attributes

Printf: impossible buffer overflow fix

When printing near the end of the buffer, there was an overflow in two cases:

(1) %c and size is zero
(2) %1N, %1I, %1I4, %1I6 (auto-fill field_width for Net or IP), size is
    more than actual length of the net/ip but less than the auto-filled
    field width.

Manual code examination showed that nothing could have ever triggered
this behavior. All older versions of BIRD, including BIRD 3 development
versions, are totally safe. This exact overflow has been found while
implementing a new feature in later commits.

BMP: Refactor route monitor message serialization

Instead of several levels of functions, just have two functions
(one for routes, the other for end-of-rib), this allows to create
messages in a simple linear fashion.

Also reduce three duplicite functions to construct BGP header for
BMP messages to just one.

BMP: Refactor computation of message length

Fill message length after the message is created instead of computing
it beforehand. Also rename some functions to fit common pattern.

BMP: Refactor per-peer header arguments

Put all arguments for per-peer header into one structure instead of
passing them around as a lump of arguments. Also simplify code for
peer flags.

BMP: simplified update queuing and better memory performance

This commit is quite a substantial rework of the underlying layers in
BMP TX:

- several unnecessary layers of indirection dropped, including most of
  the original BMP's buffer machinery
- all messages are now written directly into one protocol's buffer
  allocated for the whole time big enough to fit every possible message
- output blocks are allocated by pages and immediately returned when
  used, improving the overall memory footprint
- no intermediary allocation is done from the heap altogether
- there is a documented and configurable limit on the TX queue size

Formatting numbers with order prefixes

Unit tests by Ondrej Zajicek.

BMP: drop an unused mempool

Merge commit '3ca6e03d' into thread-merge-2.16

Merge commit 'fc2b4b26' into thread-merge-2.16

Actually, completely rewritten the original patch as in v3, the logging
initialization is much more complex and requires allocation.

This way, to bootstrap properly, the logger has a pre-defined log target
to stderr.

Merge commit '997d2f57' into thread-merge-2.16

Merge commit '49be4a03' into thread-merge-2.16

Conf: build fix for older bisons

Typed blocks are probably a too new extension to rely on.

Merge commit '82d57fb7' into thread-merge-2.16

Merge commit '38195ac6' into thread-merge-2.16

Merge commit 'c7e843c1' into thread-merge-2.16

Merge commit '294d363d' into thread-merge-2.16

Merge commit '1002c35b' into thread-merge-2.16

Merge commit '80ca0ed2' into thread-merge-2.16

Fixed a nasty merge conflict with bgp_origin serving double duty
as both an attribute and enum name.

RPKI: refactored pdu to host byte order conversion

We shouldn't convert bytes 2 and 3 of the PDU blindly, there are several
cases where these are used by bytes. Instead, the conversion is done
only where needed.

This fixes misinterpretation bug of ASPA PDU flags on little endian
architectures.

Merge commit '072821e5' into thread-merge-2.16

Merge commit 'a70ecade' into thread-merge-2.16

Merge commit '39e75b87' into thread-merge-2.16

Merge commit '163ab313' into thread-merge-2.16

Merge commit '8dc2a36a' into thread-merge-2.16

Merge commit '5daec239' into thread-merge-2.16

Merge commit 'acbdc29d' into thread-merge-2.16

Merge commit 'c9836207' into thread-merge-2.16

Merge commit 'df22b314' into thread-merge-2.16

Merge commit '08ff0af8' into thread-merge-2.16

Merge commit 'f3b6661d' into thread-merge-2.16

Merge commit 'a95fff37' into thread-merge-2.16

Merge commit '09f50f37' into thread-merge-2.16

Merge commit '8a40bccf' into thread-merge-2.16

Merge commit '00b139bd' into thread-merge-2.16

Merge commit 'a5b4c21d' into thread-merge-2.16

Merge commit '2d6fb31c' into thread-merge-2.16

Merge commit 'e29f134a' into thread-merge-2.16

Merge commit '280daed5' into thread-merge-2.16

Merge commit 'bc10975a' into thread-merge-2.16