GHA/non-native: bump to FreeBSD 14.2, OpenBSD 7.7

Follow-up to f56309fdfb34e3a01b070423a3e5313e73d67acc #17387

Closes #17388

GHA/non-native: update cross-platform-actions/action action to v0.28.0

Closes #17387

pytest: enable in 5 GHA jobs, fix fallouts

They take about 4.5 minutes of CI time in GHA/macos.

Also:
- autotools: improve `caddy`, `vsftpd` detection.
  Bringing it closer to cmake.
- autotools: fix `--with-test-caddy=no`, `--with-test-vsftps=no`,
  `--with-test-nghttpx=no` options.
- cmake: sync `nghttpx` default with autotools.
- pytest: disable failing mbedTLS tests on macOS CI.
- pytest: disable failing earlydata tests on macOS CI.
- GHA/macos: keep vsftpd pytests disabled due to lengthy run times.
- pytest: fix test_05_04 for LibreSSL. Ref: #17367
Authored-by: Stefan Eissing
Remaining issues:
- some unidentified tests taking a long time with mbedTLS:
  `================= 462 passed, 278 skipped in 347.93s (0:05:47) =================`
  Ref: https://github.com/curl/curl/actions/runs/15073354301/job/42374999041#step:17:1536
  Workaround: not enabling pytest for mbedTLS jobs
- 17 FTP tests taking a long time (affecting all TLS backends):
  without vsftpd:
  `====================== 496 passed, 244 skipped in 56.15s =======================`
  Ref: https://github.com/curl/curl/actions/runs/15073354301/job/42374998230#step:17:1536
  with vsftpd:
  `================= 513 passed, 227 skipped in 409.37s (0:06:49) =================`
  Ref: https://github.com/curl/curl/actions/runs/15073678568/job/42376039672?pr=17362#step:17:1537
  Workaround: force-disable vsftpd.
- 100 tests failing with SecureTransport. Let's ignore that due to imminent deprecation.
  Ref: https://github.com/curl/curl/actions/runs/15055652333/job/42320873732#step:17:15362

Follow-up to 30ef79ed937ca0fc7592ff73d162398773c6a5aa #17295
Follow-up to 914790336664da0451e2f57906373a7707bd7cc3 #16518

Closes #17362

GHA/linux: restore native arm job

Previously deleted due to flakiness in stunnel package install step.

Follow-up to 0005f91259a7c5088ce98e15dbba8e0e70a97e0c #16303
Closes #17375

urldata: move a struct field in ssl_primary_config

... which makes the struct eight bytes smaller with no gaps.

Closes #17386

DEPRECATE.md: drop support for VS2008

Closes #17380

ftplistparser: split up into more functions

And some general cleanups

Closes #17384

DEPRECATE.md: drop Windows CE support

Closes #17379

pytest tls: extend coverage

Add possibility to reload QUIC test server with another certificate. Add
tests for more coverage of handshakes.

Closes #17382

tool_operate: make retrycheck() a separate function

Simplifies post_per_transfer()

Closes #17381

formdata: cleanups

- use memchr() instead of for() loop
- add and use free_formlist() instead of duplicate code
- shorten some variable names
- reduce flag struct field from 'long' to 'unsigned char'
- pass in struct pointer, not individual fields, to addhttppost()

Closes #17370

RELEASE-NOTES: synced

tool_operate: when retrying, only truncate regular files

If /dev/null or another character device etc is used for output, trying
to truncate that only causes errors.

Add test 1497 to verify

Fixes #17371
Reported-by: Brendan Dolan-Gavitt
Closes #17374

setopt: split setopt_long

Split off the biggest options RTSP_REQUEST, SSLVERSION and HTTP_VERSION
into sub functions to reduce complexity.

Closes #17372

libtests: define CURL_DISABLE_DEPRECATION first

Instead of using the kludgey ignore macros inline. They make setting
break-points in a debugger and single-stepping code impossible.

Closes #17373

formdata: split up FormAdd

To reduce complexity of FormAdd, split the checking part into a separate
function.

Closes #17366

libssh2: remove the 'actualcode' struct field

Return and use CURLcode to a larger extent to avoid the complicated
double return code setup previously used.

Closes #17369

urlapi: remove unneeded guards around PUNY2IDN

Add more IDN/punycode tests to 1560

Closes #17364

asnyc-thrdd: explain how this is okay with a comment

Coverity assess correctly that a variable write under mutex lock could
overwrite values from another thread - if the function were ever called
from multiple thread for the same transfer - which it is not.

Closes #17365

libssh: add NULL check for Curl_meta_get()

It really cannot return NULL in a working condition, but ...

Pointed out by Coverity.

Closes #17359

libssh: remove a condition that always equals false

Found by Coverity

Closes #17358

test1173.pl: whitelist some option-looking names that aren't options

Referring to the names in the CURLOPT_DEBUGFUNCTION by name is still
fine. They start with CURLINFO but aren't really options for *getinfo().

Closes #17361

pytest-xdist: pytest in parallel

Require now pytest-xdist from tests/http/requirements.txt and
run pytest in 'auto' parallel mode (counts cpu cores).

For CI runs, set the worker count to 4, overriding the
core count of 2 exposed in the images.

- use Filelock to generate allocated ports at start for all
  workers and have subsequent workers just read the file and
  take the ports for their slot
- make httpd config clearing a function fixture so every test
  starts with a clean httpd config
- have fixture `configures_httpd` as parameter of test cases
  that configure httpd anyway, saving one reload
- add pytest-xdist and filelock to required pyhton modules
- add installs to ruff CI
- give live checks waiting for a server to start up longer time
- add fixtures to tests that rely on a server
- do not stop servers unnecessarily. failures may not start them
  properly again, leading to unexpected fails in whatever follows
- add a https: port to httpd that is *not* back by QUIC to allow
  failover tests without stopping the QUIC server

Closes #17295

libssh2: split up ssh_statemachine

Into many sub functions.

Complexity taken down from 150 to 37.

Closes #17356

docs/libcurl: mention sensitive data/headers

In the CURLOPT_DEBUGFUNCTION and CURLOPT_VERBOSE documentation.

Mentioned-by: Gordon Parke
Fixes #17353
Closes #17355

GHA/curl-for-win: build one job with classic zlib

curl-for-win switched to zlib-ng by default. Switch curl's explicit
zlib-ng job to classic zlib to keep testing that build path.

Ref: https://github.com/curl/curl-for-win/pull/79
Ref: https://github.com/curl/curl-for-win/commit/5aed6363cd1051b560b3f7c57c97e04bf8cd74cb

Closes #17357

tool_operate: move config2setopts to separate file, split into subs

To decrease size and complexity. Complexity taken down from 190 to 80.

Bonus:

- remove leftover HTTP/0.9 warning never triggered since hyper was dropped
- remove the ftp-skip-ip option unless FTP is used
- only set HTTP options if HTTP(S) is used
- remove use of the pointless SETOPT_CHECK macro

Side-effect:

- The order of the options in --libcurl is modified

Closes #17352

RELEASE-NOTES: synced

CONTRIBUTE: add project guidelines for AI use

Feedback-by: Daniel Fosco
Feedback-by: Jimmy Sjölund
Feedback-by: Christoph Jabs
Feedback-by: Manuel Strehl
Feedback-by: Dan Fandrich
Feedback-by: Sarah Gooding
Closes #17325

ngtcp2: clarify ignoring of result

In shutdown, the result of a bufq_write() is intentionally ignored, but
it was not obvious why. Add a (void) cast to declare intent and a
comment explaining why.

Closes #17354

pytest: give parameterised tests better ids for read- and parsability

Closes #17340

netrc: deal with null token better

If there is no length of the token, assign a blank string to avoid
risking it being NULL.

Pointed out by Coverity

Closes #17351

tests/FILEFORMAT.md: document the aws feature

Closes #17350

tests: add aws feature to the related tests

Closes #17347

GHA: add libssh to the openssl O3 job

To make sure we run libssh tests with valgrind enabled

Closes #17345

_SEEALSO.md: remove spaces around command and man page section

Follows traditions better

Closes #17348

libssh: split up the state machine function

This reduces the "complexity score" for myssh_statemach_act from 160 to
100, taking it down from the most complex function in libcurl to the
5th.

Also fixes a memory leak of the sftp session.

Closes #17346

scripts: move the ruff linter command into a script

This makes it easier for users to run it with the correct options
locally. Also, update the ruff, pytype and cmakelint versions to the
latest current ones.

Closes #17343

spacecheck.pl: drop more exceptions

- replace ß (scharfes S) with links.
- replace § (section sign) with links.
- replace 🙏 emoji with `:pray:`.
 Supported by GitHub, Forgejo/Gitea and most likely GitLab.
- docs/libcurl/curl_mprintf.md: replace Unicode ± with `{+|-}`.
- docs/CIPHERS.md: URL encode Unicode in URLs.
- lib1560: use hex encoding in `räksmörgås.se`.
- unit1307: use hex encoding in `Lindmätarv`.
- drop LATIN SMALL LETTER A WITH ACUTE exception.
  No longer appears in tests.

This leaves the single character exception: `ö`
And file exceptions holding contributor names.

Follow-up to 9243ed59b387a90940fa4a16ebfd99ad7d6c2f63 #17329
Follow-up to 838dc53bb7bf52039b23af0e9ccffa51cf9ad7d0 #17247

Closes #17335

tests/server/Makefile.inc: cleanup

- drop curl_ctype.h as it is not used by test servers
- list all curlx files in the CURLX_* lists
- sort the lists alphabetically

Closes #17339

setopt: provide info for CURLE_BAD_FUNCTION_ARGUMENT

If CURLE_BAD_FUNCTION_ARGUMENT is returned and failf() has not provided
any details, this adds a generic error string that includes the option
number.

This helps debugging for example the curl tool which does a lot of
setopt calls and in reading post fact logs it is not always easy to tell
exactly which call that failed.

Closes #17337

headers: set an error message on illegal response headers

Makes it report "Invalid response header" instead of the slightly odd "A
libcurl function was given a bad argument".

Add test 749 and 750 for more CONNECT response testing.

Reported-by: Int64x86 on github
Fixes #17330
Closes #17336

lib1560: use hex notation, drop non-ASCII exception

Closes #17334

tests: provide all non-ascii data hex encoded

- make the scanner not whitelist anything for test cases making
  everything non-ascii forced to be hex encoded

- update all tests using non-ascii bytes to use %hex[] sequences

Closes #17331

curlx: move the docs to docs/internals/

Closes #17333

tests/server: stop using libcurl string comparisons

Further untangle the test server code from curl code. While the string
comparison functions are available in the libcurl API, the tests servers
don't link with libcurl. Use native functions instead.

Closes #17328

tests/FILEFORMAT.md: clarify %hex[] formatting

Closes #17332

spacecheck.pl: verify `tests/data/test*` for non-ASCII chars

Exclude test data files (4 of them) based on existing feature tags:
`codeset-utf8` and `Unicode`.

Add the new keyword `non-ascii` to mark remaining exceptions (9 files).

Follow-up to 838dc53bb7bf52039b23af0e9ccffa51cf9ad7d0 #17247

Closes #17329

docs: update distros links

tests/server: stop using libcurl's printf functions

Since the test servers are not built with libcurl the *printf code
needed to get built separately, and they are not in the curlx
collection.

snprintf() is provided in all modern systems these days.

Move curlx functions from lib/strerror.c to lib/curlx/winapi.c

Assisted-by: Viktor Szakats
Closes #17294

asny-thrdd: fix detach from running thread

When cancelling a threaded resolve and the thread is
still running, detach from it under the mutex lock.

Otherwise, the detach might happen after the thread finished
and access already freed memory.

Fixes #17256
Reported-by: Mathieu Garaud
Closes #17320

TODO: Retry SOCKS handshake

Closes #17222
Closes #17326

tests/server: remove TEST use, include <memdebug.h>

- The TEST define is never set
- memdebug.h is not in the local dir, using angle bracket include

Closes #17323

tests/server: check for `stream != NULL` in mqttd

To avoid an assert in `fgets()` on MSVC when the test case is missing.

Bug: https://github.com/curl/curl/pull/17294#issuecomment-2867501300

Closes #17324

mk-ca-bundle: switch URLs to GitHub versions

The offical Firefox source code has moved to GitHub:
https://github.com/mozilla-firefox/firefox

This change adjusts to the new URLs. The old branches nss and central
are not provided so they are removed and the new 'autoland' is added.

Closes #17321

imap: remove redundant condition

'imap' always evaluates to true. Spotted by CodeSonar.

Closes #17318

rtsp: remove redundant condition

'rtsp' always evaluates to true. Spotted by CodeSonar.

Closes #17317

netrc: avoid strdup NULL

Coverity found a code path where this might happen. Avoid it.

Closes #17319

http_chunks: narrow variable scope for 'trlen'

CodeSonar found a case where it would be assigned but never used and
narrowing the scope makes sense anyway.

Closes #17316

RELEASE-NOTES: synced

mprintf: provide hex digits for escape.c to use

Since they need the exact same set, use the same set. The mprintf string
was longer than it had to be.

Closes #17311

mprintf: remove outdated comment about SIZEOF_SIZE_T

It was now plain wrong

Closes #17312

inet_ntop: rename curlx_inet_ntop to Curl_inet_ntop

It is not part of the curlx club.

Closes #17313

curl_version_info.md: clarify ssl_version for MultiSSL

- Clarify that the ssl_version in MultiSSL builds contains all SSL
  backend names with the inactive backend names in parentheses.

Closes https://github.com/curl/curl/pull/17308

timeval.c: #include fix

test1621: Improve stripcredentials tests

- add more unusual input cases
- add a valid non-http protocol
- fix tests so an input that should be stripped but isn't is a failure
- fix detection of when stripcredentials() would be available to test
- avoid using a NULL pointer

Closes #17304

mime: reuse the base64 string from the base64 code

Avoids duplicating an identical string here.

Closes #17309

base64: pass in the padding byte separately

The makes the string with base64 octets "pure" to be used elsewhere as
well.

Closes #17309

curl: fix memory leak when -h is used in config file

Reported-by: antypanty on hackerone
Add test 748 to reproduce and verify fix

Closes #17306

CURLMOPT_TIMERFUNCTION.md: correct the example

Fixes #17301
Reported-by: Dirk Feytons
Closes #17303

windows: fix to preserve error code in `curlx_winapi_strerror()`

Drop the interim macro `PRESERVE_WINDOWS_ERROR_CODE` and always preserve
error code for `_WIN32`. To make sure this is always done in
`curlx_winapi_strerror()`.

Follow-up to c74d3e10d2935a9a37ffe6b2f7a4ecb0f81e974f #17299

Closes #17302

curlx: move curlx_inet_pton

Used by test server code.

Closes #17300

curlx: add curlx_winapi_ functions

Split them out from lib/strerror. Used by test code.

Closes #17299

tests: stop using libcurl's strdup

It is not provided as a curlx function so should not be used outside of
libcurl.

I strongly suspect that no system we build the test suite on lack strdup
so this will not cause any harm.

The private version was added in b0936b800719f915ff2a59a for Ultrix.

Closes #17297

lib: drop curlx_getpid, use fake pid in SMB

It was not a function properly exposed in the curlx set. SMB cannot
possibly need to send a real pid, now sends a made up number.

The only real users of this function are test servers, so move the logic
over there.

Closes #17298

RELEASE-NOTES: synced

curlx: move version_win32.[ch] to curlx/

For curlx_verify_windows_version

Closes #17290

cmake: test integration with old cmake (v3.11.4 2018-03-28)

Tests with old cmake are slow. (no Ninja, no unity, and running slower
than recent versions.)

It also revealed that 3.7.2 2017-01-13 is too old to consume curl via
`find_package()` due to:
```
CMake Error at bld-curl/_pkg/lib/cmake/CURL/CURLConfig.cmake:69 (add_library):
  add_library cannot create ALIAS target "CURL::libcurl" because target
  "CURL::libcurl_shared" is IMPORTED.
Call Stack (most recent call first):
  CMakeLists.txt:48 (find_package)

CMake Error at bld-curl/_pkg/lib/cmake/CURL/CURLConfig.cmake:69 (add_library):
  add_library cannot create ALIAS target "CURL::libcurl" because target
  "CURL::libcurl_shared" is IMPORTED.
Call Stack (most recent call first):
  CMakeLists.txt:49 (find_package)
```
The mitigation for this issue requires 3.11.

Also:
- rename a few existing envs to use the `TEST_` prefix.
- make the `find_package` test provider stage verbose.
- fix issue when consuming with cmake 3.7.2 (all platforms):
  ```
  CMake Error at /home/runner/cmake-3.7.2-Linux-x86_64/share/cmake-3.7/Modules/CMakeFindDependencyMacro.cmake:25 (message):
    Invalid arguments to find_dependency.  VERSION is empty
  Call Stack (most recent call first):
    bld-curl/_pkg/lib/cmake/CURL/CURLConfig.cmake:52 (find_dependency)
    CMakeLists.txt:48 (find_package)
  ```
  Ref: https://github.com/curl/curl/actions/runs/14906066962/job/41868621979?pr=17293#step:9:1199

Closes #17293

curlx: move nonblock.[ch] into curlx/

Closes #17288

file: use easy handle meta for protocol struct

Closes #17292

curlx: simplify the curlx_unicodefree macro

- explain its purpose in a comment

Closes #17287

ssh: move easy handle/connection protocol structs to meta

Closes #17273

src: drop strcase.[ch] from tool builds

They're not used there anymore.

Closes #17289

winbuild: curl_get_line is not used for tool builds

Drop it from the build. Also remove it from the tests/server makefile.

Follow-up to d8618f4d8480a8aa245c14f9cf3f1bcab92846c1

Closes #17286

rtmp: remove no longer used proto member

Add src/curlinfo to gitignore while we are here.
Add tests/server/dnsd to gitignore while we are here.

Closes #17252

src: include memdebug.h consistently with angle brackets <>

Not double quotes. Since the file is never local.

Closes #17284

lib: move multibyte.[ch] to curlx/

This file provides functions in the curlx set.

Closes #17285

telnet: keep protocol struct at easy handle meta

Remove the member of data->req.p

Closes #17271

headers: enforce a max number of response header to accept

The limit is 5000 headers in a single transfer. To avoid problems caused
by mistakes or malice.

Add test 747 to verify

Reported-by: wolfsage on hackerone
Closes #17281

src: rename curlx_safefree to tool_safefree

It is not part of the curlx function collection, just a macro that might
as well be a local version.

Closes #17270

GHA/checksrc: check GHA rules with zizmor

The pedantic level is experimental. If it causes issues, we may just
disable it alongside the ignore comments.

Also:
- silence error:
  ```
   INFO audit: zizmor: completed label.yml
  error[dangerous-triggers]: use of fundamentally insecure workflow trigger
    --> label.yml:13:1
     |
  13 | 'on': [pull_request_target]
     | ^^^^^^^^^^^^^^^^^^^^^^^^^^^ pull_request_target is almost always used insecurely
     |
     = note: audit confidence -> Medium
  ```
- fix pedantic warning:
  ```
   INFO audit: zizmor: completed label.yml
  warning[excessive-permissions]: overly broad permissions
    --> label.yml:1:1
  ...  |
  24 | |         with:
  25 | |           repo-token: '${{ secrets.GITHUB_TOKEN }}'
     | |____________________________________________________- default permissions used due to no permissions: block
     |
     = note: audit confidence -> Medium
  ```
- silence `template-injection` false positives like:
  ```
  - note: ${{ matrix.build.torture && 'test-torture' || 'test-ci' }} may expand into attacker-controllable code
  - note: ${{ contains(matrix.build.install_steps, 'pytest') && 'caddy httpd vsftpd' || '' }} may expand into attacker-controllable code
  ```
  It doesn't seem like these could be controlled by an attacker.
  Let me know if I'm missing something.

Closes #17278

GHA/windows: set `persist-credentials: false` where missing

Found by zizmor.

Closes #17277

netrc: avoid NULL deref on weird input

A dynbuf that never gets populated might return a NULL, and Coverity
could find a way through like that.

Closes #17275

ldap: move easy handle protocol struct into meta hash

Removing the member of data->req.p

Closes #17269

vtls: avoid NULL deref on bad PEM input

Spotted by Coverity

Closes #17274

smtp: use easy handle/connectin meta for proto structs

Move `struct smtp_conn` and `struct STMP` into the meta data at easy
handle/connection. Remove it from the unions at connectdata and request.

Closes #17257

RELEASE-PROCEDURE: update the coming release dates

metahash: add asserts to help analyzers

Where NULL pointers are not acceptable input.

Closes #17268

curlx: move into to curlx/

Move curlx_ functions into its own subdir.

The idea is to use the curlx_ prefix proper on these functions, and use
these same function names both in tool, lib and test suite source code.
Stop the previous special #define setup for curlx_ names.

The printf defines are now done for the library alone. Tests no longer
use the printf defines. The tool code sets its own defines. The printf
functions are not curlx, they are publicly available.

The strcase defines are not curlx_ functions and should not be used by
tool or server code.

dynbuf, warnless, base64, strparse, timeval, timediff are now proper
curlx functions.

When libcurl is built statically, the functions from the library can be
used as-is. The key is then that the functions must work as-is, without
having to be recompiled for use in tool/tests. This avoids symbol
collisions - when libcurl is built statically, we use those functions
directly when building the tool/tests. When libcurl is shared, we
build/link them separately for the tool/tests.

Assisted-by: Jay Satiro
Closes #17253

imap: use easy handle/connection meta for proto structs

Remove the imap protocol structs from connectdata->proto union
and data->req.p and use the easy handle/connection meta hash
for keeping them.

Closes #17261