Merge pull request #15531 from romeroalx/auth-4.8.x-ubuntu-22

auth-4.8.x: move to ubuntu 22 for package building and ci

ixfrdist: switch testing to pytest

auth-py tests: switch to pytest

tasks.py: allow more recent version of packages available for ubuntu22

fix build docs

remove unused workflows

tasks.py: fix bear format

Install python3-yaml as part of the clang-tidy-tools

removed unused pip pkgs from gh-actions-setup. removed azure apt reference

auth-4.8.x: move to ubuntu 20 for package building and ci

Merge pull request #15346 from miodvallat/backport-15339-to-auth-4.8.x

auth-4.8.x: Handle marked-as-deleted elements in ReadonlyOperations::get<>

Merge pull request #15344 from miodvallat/backport-15340-to-auth-4.8.x

auth-4.8.x: mysql: use MYSQL_TYPE_LONGLONG on 64bit platforms

Handle marked-as-deleted elements in ReadonlyOperations::get<>

(cherry picked from commit 1d8242cd7f4e4235c6a2aeb43574121dce2122c8)

mysql: use MYSQL_TYPE_LONGLONG on 64bit platforms

Found on s390x

(cherry picked from commit 3f4aaf81caf5f4549e7bfcf3a3c746168c9c4175)

Merge pull request #15229 from miodvallat/backport-15222-to-auth-4.8.x

auth 4.8.x: Backport "Damage control in Lua createForward() and createForward6()."

Update check-spelling/check-spelling from 0.0.21 to 0.0.24

(backport from master)

Damage control in Lua createForward() and createForward6().

- make sure all computed results are passed to a ComboAddress
  constructor, which will reject ill-formed data. This wasn't the case
  in createForward, when interpreting part of the requested name as an
  ipv4 address encoded in hexadecimal (e.g. 7f000001), but the actual
  name wasn't.
  This would otherwise end up with a SERVFAIL answer and a Lua stack
  traceback containing messages such as:
    Unable to convert presentation address '4294967292.xx.yy.zz'
  for a name ending with "-4" and six hex digits.

- wrap these functions into a try/catch block in order to cope with
  possible exceptions raised by ComboAddress.
  This wasn't the case in createForward6 when the requested name
  contains at least 8 dots - this doesn't imply each component is a
  valid ipv6 chunk.

(cherry picked from commit 97800540ef65f19cd9cb6e2624682c0840a6eafc)

Merge pull request #15095 from mind04/auth48-backport-15093

Auth-4.8 check return value of getCatalogMembers()

auth, check return value of getCatalogMembers()

Merge pull request #14907 from romeroalx/backport-13679-to-auth-4.8.x

auth-4.8.x: Backport 13679 - Update upload-artifact and download-artifact to version 4

build(deps): bump actions/cache from 3 to 4

Bumps [actions/cache](https://github.com/actions/cache) from 3 to 4.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v3...v4)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 3 to 4

Bumps [actions/checkout](https://github.com/actions/checkout) from 3 to 4.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v3...v4)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

ci: Update upload-artifact and download-artifact to version 4

Merge pull request #14884 from romeroalx/backport-14862-to-auth-4.8.x

auth-4.8.x: Backport 14862 - builder: remove ubuntu lunar as it is EOL

builder: remove ubuntu lunar+mantic as they are EOL

Merge pull request #14689 from Habbie/backport-14686-to-auth-4.8.x

auth 4.8 mssql CI: switch to 2022-CU12 image

auth mssql CI: switch to 2022-CU12 image

https://github.com/actions/runner-images/releases/tag/ubuntu22%2F20240915.1 broke mssql.

https://github.com/microsoft/mssql-docker/issues/868 fits the kernel upgrade.

this commit switches from 2017-GA to 2022-CU12, which unbreaks the build

(cherry picked from commit 0b805ddebc3e14f78effa44ebf06377c593276ed)

Merge pull request #14462 from omoerbeek/backport-14445-to-auth-4.8.x

auth: Backport 14445 to auth 4.8.x: use el-7 for daily build

rec 4.9.x: daily build for el-7 instead of centos-7

(cherry picked from commit 8a0e619a2a7d027d24e26fb23ecade0573592382)

Merge pull request #14421 from Habbie/backport-14403-to-auth-4.8.x

auth-4.8: switch el7 builds to Oracle Linux 7

switch el7 builds to Oracle Linux 7

(cherry picked from commit 73a1b98f92c671c590540ac19d74d70499f89066)
(cherry picked from commit 87e2e08b41de7453f144721ed232219052205651)

Merge pull request #14423 from Habbie/backport-14405-to-auth-4.8.x

auth-4.8: dns.cc: use pdns::views::UnsignedCharView

dns.cc: use pdns::views::UnsignedCharView

Includes minor cleanup and additions to make UnsignedCharView usable for this use case.
Supersedes #14356
Fixes
/usr/include/c++/v1/__fwd/string_view.h:22:41: warning: 'char_traits<unsigned char>' is deprecated: char_traits<T> for T not equal to char, wchar_t, char8_t, char16_t or char32_t is non-standard and is provided for a temporary period. It will be removed in LLVM 19, so please migrate off of it. [-Wdeprecated-declarations]

(cherry picked from commit 949ea9456dbe76e78aeff5f6f37f218549d1b493)
(cherry picked from commit c3a5649044ae49bdf0f0271744d76b948efcffc5)

import views.hh from master

(cherry picked from commit 99bf661661e46c6ca4ee71b955fb00f5b9baa130)

Merge pull request #14314 from romeroalx/backport-14241-to-auth-4.8.x

auth-4.8.x: Backport removal of centos-8 and centos-8-stream as build targets

remove centos-8 and centos-8-stream as build targets

Merge pull request #14290 from romeroalx/backport-14171-to-auth-4.8.x-2

auth-4.8.x: backport of #14171 for fixing the build of images on new tags

Merge pull request #14246 from ns-sjorgedeaguiar/backport-14218-to-auth-4.8.x

auth web: Backport 14218 to auth-4.8.x: make request/response timeout configurable

gh actions: add WF for building and pushing images when a new tag is created

gh actions: add WF for building and pushing images manually

gh actions: modify docker.yml for building and pushing images daily (master)

gh actions: add WF for building and pushing multi-platform images on workflow_call events

auth web: make request/response timeout configurable

Merge pull request #14211 from romeroalx/backport-14171-to-auth-4.8.x

auth-4.8.x: Partial backport of #14171 for fixing the build of arm64 images

Adding liblua5.3-dev/libluajit-5.1-dev to dockerfiles

Merge pull request #14153 from romeroalx/backport-14044-to-auth-4.8.x

auth: Backport 14044 to auth-4.8.x: gh actions - replace yq snap in collect job build-and-test-all

gh actions - build-and-test-all: use a ubuntu-22 runner for job collect

gh actions - replace yq snap in collect job build-and-test-all

Merge pull request #13626 from Habbie/backport-13552-to-auth-4.8.x

auth-4.8: extend the systemd startup timeout during lmdb schema migrations

Merge pull request #13625 from Habbie/backport-13619-to-auth-4.8.x

auth-4.8: Add supervisor to Auth container image

Merge pull request #13624 from Habbie/backport-13093-to-auth-4.8.x

auth-4.8: ixfrdist: Fix the validation of 'max-soa-refresh'

auth, extend the systemd startup timeout during lmdb schema migrations

(cherry picked from commit bd61829b3fbaf654129be0b77183d0b2ab966fe7)

one sentence per line

(cherry picked from commit 670426f796a849ed3a733aa750fac285ad0b81ad)

Minor docs change regarding supervisord in Kubernetes

(cherry picked from commit 9759a3983789f64fe3ac6a56ed671cdda467644d)

Supervisor in Auth container image

(cherry picked from commit 638d656cb6d9fea17d8065ea8ac173a99518ada2)

ixfrdist: Fix the validation of 'max-soa-refresh'

(cherry picked from commit b16aa8e4d785babed1b4b45e8165fed9f473a86b)

Merge pull request #13534 from romeroalx/auth-4.8.x-workflow-call

GH Actions - rel/auth-4.8.x: make build-and-test-all and builder workflows reusable from other branches

make builder workflow reusable

make build-and-test-all reusable

test ubuntu jammy build target

builder: drop ubuntu kinetic, it is EOL

Switch from deprecated ::set-output

https://github.blog/changelog/2022-10-11-github-actions-deprecating-save-state-and-set-output-commands/

Merge pull request #13316 from Habbie/backport-13136-to-auth-4.8.x

auth-4.8: ixfrdist: set AA=1 on SOA responses

ixfrdist: set AA=1 on SOA responses

(cherry picked from commit 63f3e97b0def39e0199a3c1c28d611ec7f74a686)

eqdnsmessage: adjust to type changes in dnspython

(cherry picked from commit 255ec835c0c0475f86ec81ed838dd3014d365043)

Merge pull request #13271 from Habbie/backport-13245-to-auth-4.8.x

auth-4.8.x: smysql: stop explicity setting MYSQL_OPT_RECONNECT to 0

smysql: stop explicity setting MYSQL_OPT_RECONNECT to 0

Setting this option, even to 0, causes spurious warnings to the console
with recent libmysqlclient versions. The upstream bug
( https://bugs.mysql.com/bug.php?id=112089 )
has now been open for a month, so we're implementing a workaround.

0 was the default since at least MySQL 5.7, perhaps longer.

closes #13242

(cherry picked from commit f1cbc20b72ab95531f0a84bab40ac6ea1610241f)

Merge pull request #13240 from Habbie/backport-13238-to-auth-4.8.x

auth-4.8: add default-catalog-zone setting

auth: add default-catalog-zone setting

(cherry picked from commit c8734ecd8cca0089a8a9c032bfab1069f60381e6)

Merge pull request #13186 from Habbie/backport-13105-to-auth-4.8.x

auth-4.8.x: (I)XFR: handle partial read of len prefix

Merge pull request #13187 from Habbie/backport-13071-to-auth-4.8.x

auth-4.8.x: fix code producing json

clang-tidy: Disable cppcoreguidelines-special-member-functions

We will need to re-enable it once https://github.com/PowerDNS/pdns/issues/12809
has been fixed.

(cherry picked from commit 4c6dd7970397f2220c015ab2403cc9f1977c1d19)

Merge pull request #13188 from Habbie/backport-13018-to-auth-4.8.x

auth-4.8.x: calidns: fix setting an ECS source of 0

Merge pull request #13189 from Habbie/backport-13005-to-auth-4.8.x

auth-4.8.x: Fix incorrect optsize

Fix incorrect optsize

(cherry picked from commit ca250bdad16b9ac6a2789541be88bf17a653262b)

calidns: Fix setting an ECS source of 0

(cherry picked from commit ba770e4f65aefdadc489a169ae66fd20c897162c)

Skip smileys for now, they take 4 bytes to encode and out current mysql
schema has 'utf8', which only handles 3 bytes max, should be changed to
utf8mb4 one day.

(cherry picked from commit 93ad866b4e2f4afb017e8b3b08041598a2378ea5)

Test a few non-ASCII chars in comments

(cherry picked from commit 56726eb113ab135ec890e79e94c0393986e9edad)

Add a few testcases for "incomplete" URLs

(cherry picked from commit 7ab40a80547d112914b71919d8f4aa14cc24b047)

Check all chars in the URL are valid URL chars.

Should probably (also) be done in YaHTTP::URL, though currently the
return value of YaHTTP::URL::parse() is completely ignored, so
there is no easy way to do.

(cherry picked from commit 35eb2fcffa40e7f70b716e99158efe72a0e864d9)

Implement recomendationm from #13050: step 1

Revert #12660

(cherry picked from commit 26f5d6058d8b0cf4ad2f8da729cb906796c297a0)

remove redundant assignment

(cherry picked from commit 8d3ab63b412fb4b9fd8732af47a5d1c18ba7e786)

IXFR client: handle partial reads of the TCP chunk length header, plus:
* add primarySOACount to exception text
* add indicator of current state to exception text
* a test

(cherry picked from commit 8faf5a90992b2613cf5999c8dd5e26b0025050b7)

typo fix

(cherry picked from commit 8fb5bba04f7a211ac2eb815f5c340e69070dc3e0)

Merge pull request #13194 from Habbie/auth-4.8-docker-compose-space

auth-4.8: unbreak docker compose

unverbose apt

switch from `docker-compose` to `docker compose` and
stop installing docker-compose because that uninstalls runc

Merge pull request #13099 from Habbie/backport-13096-to-auth-4.8.x

auth 4.8 lmdb: when broadcasting indexes, -do- rewrite them even if they are unchanged

auth lmdb: when broadcasting indexes, -do- rewrite them even if they are unchanged

(cherry picked from commit e0e59b3868b4caf7a2e4f93e6d8a802b8d83eccd)

Merge pull request #12996 from Habbie/backport-12990-to-auth-4.8.x

auth 4.8.x lmdb: in Lightning Stream mode, during deleteDomain, use RW transaction to get ID list

Merge pull request #12997 from Habbie/backport-12985-to-auth-4.8.x

auth 4.8 lmdb: add backend commands for checking & refreshing indexes

Merge pull request #12993 from Habbie/backport-12935-to-auth-4.8.x

auth-4.8.x: Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

Merge pull request #12992 from Habbie/backport-12892-to-auth-4.8.x

auth-4.8: YaHTTP: Prevent integer overflow on very large chunks

Merge pull request #12991 from Habbie/backport-12961-to-auth-4.8.x

auth-4.8.x: Work around Red Hat 8 pooping the bed in OpenSSL's headers

auth lmdb: add index refresh-all backend command

(cherry picked from commit a451e81e890c91833d8f0c66488f488647ed51b6)

auth lmdb: add 'index check domains' and 'index refresh domains <ID>' backend-cmds

(cherry picked from commit d250e94f22407e2c8a08853229c8030382c75581)

auth lmdb: in Lightning Stream mode, during deleteDomain, use RW transaction to get ID list

(cherry picked from commit 3a99c00de710001bf28b940578ddc8d92272b28a)

Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

And move to BN_new() instead, which has been present since at least
0.9.6 and is still in 3.1.

(cherry picked from commit 9fcef4932c9323b085984f8a087045fef70103f5)

YaHTTP: Prevent integer overflow on very large chunks

If the chunk_size is very close to the maximum value of an integer,
we trigger an integer overflow when checking if we have a trailing
newline after the payload.
Reported by OSS-Fuzz as:
https://oss-fuzz.com/testcase-detail/6439610474692608
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=56804

(cherry picked from commit b602982fc5b4fb9139dec591541e0c070ceb47f5)

Work around Red Hat 8 pooping the bed in OpenSSL's headers

The openssl/kdf.h header on EL8 is invalid because someone backported
a work-in-progress feature to an older OpenSSL branch and did not
bother to backport the fixes that were added later.

Red Hat declined to fix their mess and helpfully suggested we do the
work instead in https://bugzilla.redhat.com/show_bug.cgi?id=2215856

(cherry picked from commit 3dabf2d4a1a478fb00a232259e8043f075eb4d03)