controller.c: Implement ready/health endpoints

These endpoints allow an orchestrator like kubernetes to verify the
status of rspamd (https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/)

Current implementation is very minimal.

The health endpoint allows to verify rspamd internally. It could check
for internal configuration and ensure that rspamd itself is healthy
and available.
The ready endpoint signals that rspamd is ready to receive and process
traffic and thus ensures that configured external components are available.
The readiness check could for example test if configured redis servers or
at least one rspamd upstreams is available.

cfg_file.h: Fix typo/formatting

[Test] Add some html test functions

[Minor] Html: Check for null before traversing

[Minor] Log pid file on daemonise

[Test] Log stderr in robot

[Minor] Improve error logging

[Rework] Html: Make parameters as a vector again

[Minor] Reduce timer calls when doing tokenisation

[Rework] Html: Another steps to get rid of gnode

[Rework] Html: Add traverse function

[Minor] Add unreachable code macro

[Rework] Html: Start removing of GNode stuff

Merge pull request #3785 from moisseev/webui

[WebUI] Collapse navbar on small screens

[Minor] Fix closing tags

[WebUI] Collapse navbar on small screens

(width less than 1200px)

Merge pull request #3784 from HeinleinSupport/multimap_debug_typo

[Minor] multimap - add match debug / fix typo

[Minor] multimap - add match debug / fix typo

[Minor] Make more consistent function names

[Minor] Fix format string for size_t

[Rework] Html: Fix Lua bindings

[Rework] Html: Deal with the utf_content part

[Rework] Html: Add images processing logic

[Rework] Html: Forgot to add the internal include

[Rework] Further work to make html content private

[Rework] Html: Start rework of the html content structure

Merge pull request #3780 from a16bitsysop/ragel

[Minor] FindRagel.cmake - remove cmake min version

Merge pull request #3768 from fatalbanana/test_debug_clean

[Test] Fix Lua coverage etc

[Test] Unmerge http / tcp tests

[Test] Fix segmentation fault check

[Test] Fix coverage hopefully

[Minor] FindRagel.cmake - remove cmake min version
As now causes warning and main CMakeLists.txt min version is greater

Merge pull request #3769 from a16bitsysop/zstd-headers

[Minor] change headers for zstd and include path

[Minor] change headers for zstd depending on bundled or system used
follow on patch from #3764

[Minor] Always use c++ linker now

[Minor] Lua_html: Restore compatible behaviour of get_extra method

[Minor] Try to fix libicu linkage

[Minor] Another strlcpy fix

[Minor] Fix styles propagation

[Minor] Fix strlcpy usage

[Minor] Another try to fix clang plugin build

[Minor] Fix clang plugin

[Rework] Html: Rework lua bindings

[Rework] Html: Convert to variant

[Rework] Html: Final rework part for the html processing code

[Rework] Html: Move blocks part

[Rework] Html: Move images processing stuff

[Rework] Html: Further html urls rework

[Rework] Html: Start refactoring of the html tags handling

[Minor] Add another helper for mempool typed allocations

[Rework] Move HTML url functions and rework them

Merge pull request #3764 from a16bitsysop/zstd

[Feature] add SYSTEM_ZSTD cmake option

Merge pull request #3767 from moisseev/patch-1

[Minor] Add "application/rar" MIME type

[Minor] Add "application/rar" MIME type

Merge pull request #3763 from citrin/rules

Minor updates to X-Mailer regexps

[Feature] add SYSTEM_ZSTD cmake option
To use the system zstd instead on the bundled version

[Rules] Extend OLD_X_MAILER

Add more old iPhone/iPad Mail versions to the regexp.

[Rules] Extend FORGED_X_MAILER

Match in FORGED_X_MAILER fake iPhone Mail header with a random string in
place of iOS build number, e. g. iPhone Mail (WKN0M)

[Minor] Const-ify trim function as it does not change anything in fact

[Minor] Remove conditional msg_ macro from util.c

[Rework] Allow C code to be compiled with C++ compiler

[Minor] Css: Allow to convert css color to uint32_t

[Minor] Allow typed mempool alloc

[Minor] Add -m64 option

[Rework] Move and adopt entities handling logic

[Rework] Add tags definitions

[Rework] Move entities/tags handling

[Minor] Move html code to a separate subdir (no functional changes)

[Fix] Fix http maps with no or invalid expires data

[Rules] Fix CTYPE_MIXED_BOGUS for text attachments

Issue: #3748

[Minor] Allow utf8 identifiers in the selectors

[Fix] Rework metrics handling

Issue: #3754

Merge pull request #3754 from mrueg/openmetrics

[Feature] Implement an endpoint for OpenMetrics / Prometheus

Merge pull request #3747 from fatalbanana/use_settings

even further updates for tests

[Minor] Fix buffer overflow due to libicu super safe macros

[Test] Merge test suites; use settings

[Minor] Fix build with older icu

[Minor] Another try to fix the logic around 8bit charsets handling

[Minor] Fix non-utf inputs checking

Implement an endpoint for OpenMetrics

Now /metrics provides an endpoint that is openmetrics compatible.

[Minor] Add missing include

[Rework] Use C++ version for unicode normalisation

[Minor] Dmarc: Slightly refactor function

[Minor] Always use UTF8 as the system encoding (for libicu)

[Fix] Try to fix some broken code in DMARC reporting plugin

Issue: #2499

[Minor] Remove legacy iconv stuff

[Rework] Use C++ utf8 library with unit tests to trim whitespaces

[Minor] Strip visible parts of urls using utf rules

[Minor] Do not treat unnormalised urls as obscured

[Minor] Fix bit operations logic

[Minor] One more fix in the ZW spaces urls processing logic

[Minor] Fix userinfo encoding

[Feature] Allow to log severity level explicitly

[Minor] Add some logging

[Minor] Backport some changes from libev

[Fix] Fix fuzzy retransmits

[Feature] Allow to specify different timeouts/retransmits for fuzzy rules

[Feature] Add race condition protection against hs_helper restarts

[Minor] Fix multiple @ at the beginnig

[Minor] Add loop break