Temporary tweaks in hopes of locally reproducing #46

The stack traces are not making much sense.
This disables all optimizations and prints extra garbage.
Not meant to be run in production.

Issue #46: Code review

- Mandatory cgcc cleanup.
- Change the VRPS read-write lock into a mutex. (Because there
  are no readers.)
- Remove `static` modifier from `rtrhandler_handle_roa_v4()`'s
  helper functions (in the hopes of getting a slightly more
  revealing stack trace).

Still haven't found the problem. It behaves like a concurrency
error, but doesn't look possible.

Fix broken unit tests

Fix bug: data can be stale when the local-repository is deleted.

The data remained the same until an RRDP server had a delta update; in such case the updated files weren't found and the snapshot was processed, so the local cache was built again. In case that the RRDP server didn't had updates, the root manifest wasn't found and the whole validation cycle results were discarded.

Now, when the manifest isn't found and the RRDP has no updates, force the snapshot processing to assure that the error isn't of the RP. Also, update the daemon that cleans up the RRDP visited URIs, so that it deletes the files from its corresponding workspace.

Update to current version 1.4.2

Avoid the same leak that existed at v1.4.0

Merge from master (v1.4.1)

Update current version to 1.4.1

Fix leaks due to bad struct release and wrong lock usage

+Also add missing parenthesis at logging docs, and fix lock usage at RRDP DB (db_rrdp_reset_visited_tals).

Include RPM installation steps

Rename LICENSE file, update year (a bit late), include license at dist

Update to newer version 1.4.1

Merge from master

Update docs to include 'docker pull' option, related to #17

Use a local workspace fort RRDP related files, fixes #39.

+Whenever an RRDP file is identified (ie. update notification URI) create a directory at '--local-repository' where all of the RRDP files (XMLs as well as 'publish' elements at those snapshot/delta files) will be created and read.
+The rsync URIs at the publish/withdraw elements, are mapped to the location <--local-repository>/<rrdp workspace>/<URI part>. Eg. if '--local-repository=/tmp/fort' and the current workspace (each TAL has its own workspace) is 'ABC', then the URI 'rsync://example.com/foo/bar.cer' will be created at '/tmp/fort/ABC/example.com/foo/bar.cer'.
-RSYNC repositories are still created at '--local-repository'.

Remove useless variable

Use the latest version (1.4.0) at Dockerfile

Close socket on error, log bind info one time only

Add installation steps using Marco d'Itri (@rfc1036) debian package

Log info message of revalidation only if 'incid-crl-stale' is 'warn'

Fix typos (prefered -> preferred)

Merge from master

Merge pull request #37 from LucianaMatesoft/master

Add configuration for SEO.

Add plugins installation to README and fix minor typos

Shorten description for index page. Add sitemap generation.

Add SEO configuration and description for all pages.

Minor update: stop reading XML doc on error

Log (missing) XML reader errors

Move the xmlRelaxNGSetParserErrors() call and its first parameter

Also send XML2 parser errors to configured log output

Update ARIN's TAL local file name

Change the way that the server handles client connections, fix memleak

+Using a thread for each server socket worked ok, but at a great cost since each thread can increase memory consumption; instead, use non-blocking sockets and select() to poll for client connections on each configured server socket.
+Fix memory leak when the incidence 'stale CRL' returns error.

Send libxml log messages to configured validation log output

Update docs with new http.* args and deprecated rrdp.* args

Ignore case when comparing URI protocol

Fix AIA validation, log all 'enomem', use tmp files at http downloads

+The AIA validation flow didn't considered entirely the scenario where a TA child AIA extension didn't matched the actual location from where the TA was fetched (common case: when its downloaded from an HTTPS URI), so despite the TA actually existed it wasn't considered when the validator was working with local files.
+Replace all '-ENOMEM' return codes with the log function 'pr_enomem'.
+Use temporal files whenever an HTTPS file is being downloaded.
+Fix memory leak when working with local TA files.
+The message '{..} discarding any other validation results' is now sent to the operation log.
+Fix GCC 10 warning related to 'strncpy', use 'memcpy' instead.

Move rrdp.* args to http.* configurations

+The new arguments are: http.enabled, http.priority, http.retry.count, http.retry.interval.
+rrdp.* args still exist. When any of them is set (via conf file or as arg) a warning message is displayed and the value of the argument is set to its corresponding http.* arg.
+Move the 'retries logic' to the http requests, since only RRDP flows had it.
+At a TAL: when shuffle-uris arg is set, do the shuffle first and then consider the priority set at rsync and http args, so that the priority argument can be honored.

Use CURLOPT_NOSIGNAL to avoid signals at the multithreaded environment

Update docs with new incidences and server.address behavior

+Also mark 100% compliance with manifests RFC, since the new incidences (stale objects) covers the missing 'local policies' of an RP.

Add the option to run from a docker container, add image build to README

Mention that the TALs have an HTTPS URI, fixes #34

Update to the newer version

Add docker folder and Dockerfile to build the image, fixes #17

Add manual installation steps for Alpine and Gentoo

Add stale MFT and CRL incidences

+The new incidences have the IDs 'incid-crl-stale' and 'incid-mft-stale'.
+SSL lib implementations (OpenSSL and LibreSSL at least) doesn't make it easy to ignore a stale CRL, so when the incidence exists and is warn/ignored, retry the verification using a cloned CRL with a valid 'nextUpdate' field.

Allow to bind to multiple addresses using a CSV at server.address

Add HTTPS URIs to TALs, update ARIN download URI

Fix bug: error'd repositories weren't logged if a child repo was synced

+If a parent repository wasn't successfully synced (eg. LACNIC) but a child repository was synced (eg. Brazil), the errors related to the parent repository weren't logged to the operation log.
+Fix this by poping the working repository from the TA, since this was causing the error. All the repositories were erroneously related, so on success of any of them, the error logs were discarded.
+Two additional updates are done: don't rsync when forcing the download of an URI whose ancestor had a previous error, and remove line breaks from stale repositories summary.
+Rename some local variables to aid dev reading.

Add paragraph to help when installing debian package

Remove completed TODO

Fix bug: didn't searched local files when an RRDP URI failed previously

+Whenever an RRDP repository can't be fetched, an attempt to work with local files must be done. If RSYNC was disabled and there was an error fetching the RRDP repository, the next time that repository was found on a certificate, it was being rejected; the right thing to do, is to consider such scenario and keep working locally.

Avoid additional operations after calling fork()

+Based on https://pubs.opengroup.org/onlinepubs/9699919799/functions/fork.html, the function called by the child process now avoids malloc's and only redirects its output to the corresponding pipes before doing the rsync execution with execvp().
+This fixes #35. Something at the musl implementation (very specific for docker+alpine) hangs the child process right after its creation, the parent process waits for the child to end but it never does, so the container runs for ever and never ends a validation cycle.
+Also, flush stderr/stdout before fork() to avoid a possible (in docker+alpine, almost sure) deadlock between parent process and its forked child.

Consider that outgoing requests can be disabled

Fix several bugs related to sync errors, update some log messages

+Fix bug: an endless loop when a requested URI error was removed.
+Fix bug: some error'd URIs could be logged despite that their repository data was successfully fetched with another access method.
+Fig bug: if a TAL has more than one URI and there was an error fetching an URI, the following URIs in the list weren't considered to get the TA certificate.
+Only 'stderr' rsync output will be sent to operation log considering '--stale-repository-period', the 'stdout' rsync output will be sent to validation log at level info.
+Messages of rsync/rrdp retries are 'upgraded' from level info to warn (all on validation logs).
+Add a warning message (validation log) whenever local data is going to be utilized due to previous errors fetching repositories or TA certificates.
+Log all communication errors if 'log.level=debug'.

Syslog facilities 'kern' and 'syslog' aren't supported

Replace args '*log.prefix' for '*log.tag', add help message.

+Do the replacement at code, docs and unit tests.
+Add a help message that's printed whenever there's an error at the configuration arguments.
+Fix a broken unit test.
+Fix the description of 'validation-log.tag'.
+Fix some errors at configuration examples ('examples/config.json') and at the web docs ('usage.html#--configuration-file').

Fix bug when applying SLURM, and configure the log level on empty dirs

+The bug was when a SLURM was successfully loaded, instead of stopping the interfal flow on success (a 'return' was needed) it continued to the error flow. This lead to worst errors later, such as segfault when a valid slurm was applied.
+Log error whenever the TALs configured directory is empty, log warning if the SLURM directory is empty.

Fix a logging problem

When validating the application settings, the error messages were not
displayed.

Fix unit tests, add missing impersonator log functions

Fix log configuration issues

Some logs were displayed despite being disabled.

Add new logging docs (log types and arguments)

Merge branch 'master' into 1.3.0

Use common function to get time, try to simplify previous SLURM loading

Add installation steps for Gentoo, fixes #23

Document new configuration arg 'stale-repository-period'

Separate validation logs from operation logs

Fix #31

Merge pull request #33 from ximon18/typo-correction

Documentation typo corrections

FIX: tunned -> tuned

FIX: criptographically -> cryptographically

Log only communication errors on first level RPKI servers

Upgrade to new version

Allow to work with cache on requests errors, common func to get date

+ Create common function to get the current date and time.
+ Identify request errors, specifically after trying to fetch data via http/rsync without success. This helps to identify if a whole repository can't be downloaded after a considerable time (it can be configured).
+ Allow to work with local files even when there was a download error.
+ Add 'stale-repository-period' argument to set the time period that must lapse to warn about stale repositories (this will be logged to the operation log).

Fix typo

Fix typo at error message

Merge branch 'master' into 1.2.1

Add docs updates to have the latest version plus the new changes.

Document MALLOC_ARENA_MAX memory tuning quirk

Fix GCC 10 warnings

Fix #32

Don't release the loaded slurm when there's an error applying it

Merge pull request #30 from ydahhrk/1.2.1

Code review

documentation: Fix Debian dependencies

Clean up the global namespace

These minipatches are courtesy of cgcc.

tal.c: Patch some small bugs

- Code wasn't validating null result on strdup
- If a validation thread was interrupted,
  `perform_standalone_validation()` was reading an uninitalized
  exit status.

More or less as a side effect, I also merged the structures
`pthread_param` and `thread`, because their usage was similar
and shared ~50% of their members.

`do_file_validation()` is no longer responsible for freeing its
generic argument.

Fix typo at incidence ID

Use static vars, fix unit tests, TAL thread list lives per validation

Upgrade current version

Add CAP_NET_BIND_SERVICE usage to docs

Add checksum comparison for slurm files

If no new or modified slurm files were found, same old slurm will apply
and this will avoid to parse the same previous slurm file.

Add new incidences docs, and missing dot and comma (related to #28)

Add new incidences regarding manifest validation.

-Related to #28.
-'incid-file-at_mft-not-found': when a file listed in a manifest isn't found at the manifest publication point.
-'incid-file-at-mft-hash-not-match': the file hash doesn't match the hash listed at the manifest.
-Both incidences will be an error by default.

Merge pull request #27 from robert-scheck/centos-docs

Improve installation documentation for RHEL/CentOS and Fedora

Update SLURM loading logic (use a cache to load new data).

+Stop searching for duplicate elements in the same file or in distinct files, also stop searching for covered prefixes at the same file; those checks don't exist at the RFC and they had a huge processing cost.
+Implement a SLURM cache when a new file is loaded, this way is easier to check RFC 8416 section 4.2 rule.
+Remove the whole context properties that were utilized to know on which file the loader was working.

Update some PDU logs, stop sending PDUs on reset exchange error

Check for time condition met/unmet due to old libcurl impl

The 'problem' was found at CentOS 7, the libcurl implementation makes the 'If-Modified-Since' check at the client side. So, if the server responds with an HTTP OK (200) code but the dates don't match, the response content is ignored.

What's the problem? For us (HTTP client) the response looks ok and we take the download as correct, but the downloaded file doesn't have content, so when its read bad things happen (actually the error is logged and the fallback is to mark such repository as invalid and try the download from another repo, if such repo is available).

Wait for clients once the first validation cycle ends

Stop holding the write lock when the SLURM is loaded

There's no need to hold the lock, the SLURM loading action doesn't modify the current DB state; it's altering the new DB state, which will be utilized later to replace the current DB state (and that's where the lock is needed).

Add SIGPIPE handler to avoid death when the signal is received

Update menu and add headers per distribution

Improve installation documentation for RHEL/CentOS and Fedora

fort_setup.sh: Don’t write config to the current dir and check if the directory used is writable (#24)

Fix bug: remove CURLOPT_NOSIGNAL to avoid crash due to SIGPIPE