Update debian metadata (Fort 1.6.8)

Merge branch 'main' into debian

Protocolary updates for release 1.6.8

Review of #includes

Update unit tests

Merge branch 'GHSA-qfm3-577x-rh54'

Exclude hidden files and directories when synchronizing via Rsync

According to RFC 9286 section 4.2.2, filenames in the RPKI cannot start
with a dot. And RFC 6481 section 1.1 describes the concept of a publication
point as a "directory in a publicly accessible filesystem". From there it
follows there is no need to transfer hidden files and directories. This may
help in avoiding exposure to intermediate states (e.g., /a/.~tmp~/b.roa).

Refuse cross-origin RRDP

RFC 9674. This code was mostly copied from Fort 2's current
pseudo-alpha.

Do not delete RPP files if snapshot is already exploded

There are situations in which the code might find itself attempting
to explode a snapshot a second time during a validation run.

The code was noticing this, and thus skipping the second download.
But by then, the cached files were already deleted. Which resulted
in the validation code receiving zero files as input.

Improve NID API usage

The code was seemingly assuming that NID_undef == 0.

Reject negative certificate serial numbers

Thanks to 雷东政 for reporting this.

Update Docker

Documentation: Installation recipes review

I removed a bunch, because I need a better framework to keep them up to date.
But I need to postpone that work until after Fort 2.

But also, this doesn't even feel like the right place to document packages
not maintained by LACNIC... but that's #130's scope.

At least one package (Gentoo) seems abandoned, as well.

Protocolary updates for release 1.6.7

Merge branch 'main' into debian

Protocolary updates for release 1.6.7

Add proxy and Prometheus to documentation

Add gauge to track RTR readyness

Starts as 0, becomes 1 when the VRP database has been populated.

Intended to replace the awkward log msg at least one user tracks:

> First validation cycle successfully ended,
> now you can connect your router(s)

For #133.

Review of #includes

Merge branch 'issue160'

Allow server.port to be an integer in JSON

The old string parser still works too.

For #50.

Prometheus: Allow plaintext Content-Type

In general, the openmetrics Content-Type is preferred. The code makes
an exception out of browsers, however.

The full logic is

- If the request has no Accept header, Content-Type will be openmetrics
  1.0.0.

- If the Accept header expects neither openmetrics nor plaintext,
  Content-Type will be plaintext 0.0.4.

This is because the client is usually a browser (which seem to typically
lack Openmetrics handlers) or a generic HTTP client like curl (which
don't really care about Content-Type).

- Otherwise Fort will decide between openmetrics 1.0.0 or plaintext
  0.0.4, depending on q-values. (Requested version will be ignored,
  because only one is supported for each.) If their q is the same,
  openmetrics will be preferred.

For #50.

Fix libmicrohttpd <= 0.9.60 API usage

Should now work for libmicrohttpd 0.9.16 to 1.0.2.

For #50.

Fix libmicrohttpd <= 0.9.70 API usage

Should now work for libmicrohttpd 0.9.61 to 1.0.2.

For #50.

Implement Prometheus

Fixes #50.

For now, it only implements the following stats:

fort_valid_vrps_total{ta="<TA>",proto="ipv<IP>"}
Total VRPs generated from TA <TA> (and the given
protocol) during the previous cycle.
"<TA>" is inferred from the TAL's file name.

fort_rtr_current_connections
Number of active RTR clients.

To activate the server, set --mode=server and --prometheus.port to an
allowed and available port number.

Adds libmicrohttpd as a dependency.

Doc: Add installation steps for Rocky 9

Add --http.proxy

Attempt to fix #160.

Add character check in certificate subjects and issuers

Fixes #159.

Update debian metadata (Fort 1.6.6)

Merge branch 'main' into debian

Protocolary updates for release 1.6.6

Increase http.max-file-size's default

We got a 530 mB snapshot nowadays. Since these tend to double during
key rollover, the old default of 1 gB no longer makes sense.

RRDP: Mirror rsync extension filters

We've agreed extension filters are useful, and the manifest code no
longer drops RPPs due to unknown file-not-founds.

So prevent unknown file extensions from contaminating the RRDP side of
the cache as well.

Complements #155.

Stop rejecting RPPs if unrecognizable absent files are fileListed

RFC 9286:

> The RP MUST acquire all of the files enumerated in the manifest
> (fileList) from the publication point. If there are files listed in
> the manifest that cannot be retrieved from the publication point,
> the RP MUST treat this as a failed fetch.

This was clashing with Fort's default rsync filters because they were
preventing unknown extensions from being downloaded:

> rsync (...) --include=*.cer --include=*.crl --include=*.gbr \
> --include=*.mft --include=*.roa --exclude=* (...)

Which will be a problem whenever the IETF defines new legal repository
extensions, such as .asa.

Therefore, ignore unknown manifest fileList extensions. This technically
violates RFC 9286, but it's necessary evil given that we can't trust
repositories to always only serve proper RPKI content.

Fixes #155.

Name CVE-2024-56375

Add new CVE sketch

Update debian metadata (Fort 1.6.5)

Merge branch 'main' into debian

Protocolary updates for release 1.6.5

Check manifest fileList emptiness before shuffling

Prevents the loop iterating indefinitely trying to shuffle an array
that's not actually there.

Fixes #154 and new CVE.

Name CVE-2024-56169 and CVE-2024-56170

Add new CVE sketches

Name CVE-2024-48943

Enclose each test sandbox in a dedicated directory

Prevents them from interfering with each other.

Fixes #148.

Update Docker

Add 1.6.4 CVE

Update debian metadata (Fort 1.6.4)

Merge branch 'main' into debian

Protocolary updates for release 1.6.4

Misc log review

- Print dependency versions during startup
- Print date ranges for certificates and CRLs

Fix default values in the documentation

The retry counts and intervals were wrong.

Merge branch 'job-rsync_timeout_poll'

Add more unit tests to the rsync timeout

Aight, think I'm done testing this.

Exhaust rsync's stderr and stdout at the same time

I'm assuming this consumes less RAM, as stdout no longer has to buffer
completely until stderr is done.

Refactor exhaust_read_fd()'s return value

Allows the unit test to tell the difference between timeout and error.

Separate POLLERR and POLLNVAL for rsync poll

POLLERR must induce close(), POLLNVAL must not.

Rename the exhaust stream functions, simplify arg list

Update timeout during every rsync poll

Ensures the timeout is absolute even when poll() returns repeatedly.

Introduce a rsync transfer timeout

Default set to 900 (same as rpki-client)

Fixes https://github.com/NICMx/FORT-validator/issues/74

Fill up CVE numbers in documentation

Merge branch 'job-pr146'

Merge branch 'job-pr144'

Improve Key Usage validation more

- Was not checking the decipherOnly bit
- Was not using the buffer meant to ease checking the decipherOnly bit

Again, thanks to Niklas Vogel and Haya Schulmann for reporting this.

Set default HTTP transfer timeout to 900

Credit Haya Schulmann for her contributions to the CVEs

Improve compliance with RFC 9589

As of 9589, the CMS SigningTime attribute is mandatory and the
CMS BinarySigningTime attribute is forbidden.

Update Docker

Add CVE "reference" sketch

Update debian metadata (Fort 1.6.3)

Merge branch 'main' into debian

Protocolary updates for release 1.6.3

Review of #includes

Now featuring local includes too.

Remove redundant forward declarations in ASN1

Prevent crash on BER-encoded signedAttrs

The code was assuming the object was DER-encoded, and the relevant
integer was therefore in short form.

Because I postponed the DER enforcement in
deef7b7823f21914b17838f152a8bd510a348f54, the code should not make
reckless assumptions about the signedAttrs encoding.

Thanks to Niklas Vogel for reporting this.

Prevent crash on missing eContent

Applies to the RouteOriginAttestation and Manifest octet strings.

Thanks to Niklas Vogel for reporting this.

Prevent crash on missing signedAttrs

Though RPKI enforces the presence of this field, it is very much
optional in CMS.
Also adds missing validation messages in relevant error paths.

Thanks to Niklas Vogel for reporting this.

Prevent crash on missing Authority Key Identifier

Another missing NULL check.

Thanks to Niklas Vogel for reporting this.

Prevent crash on malformed Key Usage

Key Usage bit strings longer than 2 bytes were inducing buffer overflow.

Thanks to Niklas Vogel for reporting this.

Prevent crash on malformed subjectPublicKey

A malformed subjectPublicKey causes X509_PUBKEY_get0() to return NULL.
Fort wasn't catching this when linked specifically to OpenSSL < 3.

Thanks to Niklas Vogel for reporting this.

Use HTTP compressed encoding when available

This reduces network traffic by about 50%.

Clarify why CRL Number extensions do not need to be processed

rand_r(): Separate seed and random number

Enforces originally intended usage of rand_r()'s API.
Mostly just paranoia, maybe.

Use thread-safe PRNG

rand() isn't thread-safe on all platforms (musl libc for example)
use rand_r() instead

Generate all permutations of the list with equal probability

@botovq was kind enough to point out that although my earlier
implementation produced random-ish ordering, it strictly speaking
wasn't Fisher-Yates.

We need to ensure `j` is a random number between `i` and `list.count`
see the second example in the 'Modern Algorithm'
https://en.wikipedia.org/wiki/Fisher%E2%80%93Yates_shuffle

Shuffle the order in which Manifest entries are processed

Previously work items were enqueued in the order the CA intended them
to appear on a Manifest. However, there is no obvious benefit to letting
third parties decide the order in which objects are processed.

Instead, randomize the list of FileAndHashes, its ordering has no meaning
anyway. As they say, a fox is not taken twice in the same snare

Verify the signature on a self-signed TA cert against it's own pubkey

X509_verify_cert() doesn't check the purported root certificate itself
unless X509_V_FLAG_CHECK_SS_SIGNATURE is set.

The pubkey was compared against the TAL, so check that the signature is
right as required by RFC 6487, section 7, additional condition 1,
applied to self-issued certs.

The error check looks weird, but OpenSSL 3 broke yet another API.

With help from Theo Buehler and Claudio Jeker

Fix relax_ng_log_str_err() signature for old libxml2 versions

Pull request #137 fixes relax_ng_log_str_err()'s argument list for
libxml2 2.12 and above, but breaks it for libxml2 2.11 and below.

Simplify XML reader error handler

No need to check if ptr[strlen(ptr) - 1] is '\n' because because C
strings always end with a null-byte.

Fix build failure with GCC 14 due to -Wincompatible-pointer-types

Reported downstream at https://bugs.gentoo.org/928331

Update APNIC TALs

Their "current" TALs are not the ideal ones. Switch to the ones that
feature HTTP.

Spawned by #133.

Update Docker

Update debian metadata (Fort 1.6.2)

Merge branch 'main' into debian

Final protocolary updates for release 1.6.2

Fix unit tests

Restore the "now you can connect your routers" WRN

Requested by #133. Temporal fix.

Fix most of the -Wnon-pointer-null violations

The cgcc review no longer needs -Wno-non-pointer-null.

Mirror 1165270e73508b9fb3dfdc0294a5926d56679c75 in other d2i's

Also, fix memory leak in signed_data.c.

Add documentation for --mode=print

Change --server.address default

The old default had been causing mayhem on Linux since
202e0fe34dc3c8dcb1a0ad12faa7f4d5a7c91b2d.

The new default is OS-sensitive, and binds the socket to all available
IPv4 and IPv6 addresses.