test1287: make work on hyper

Closes #7905

test1266/1267: disabled on hyper: no HTTP/0.9 support

Closes #7905

Makefile.m32: fix to not require OpenSSL with -libssh2 or -rtmp options

Previously, -libssh2/-rtmp options assumed that OpenSSL is also enabled
(and then failed with an error when not finding expected OpenSSL headers),
but this isn't necessarly true, e.g. when building both libssh2 and curl
against Schannel. This patch makes sure to only enable the OpenSSL backend
with -libssh2/-rtmp, when there was no SSL option explicitly selected.

- Re-implement the logic as a single block of script.
- Also fix an indentation while there.

Assisted-by: Jay Satiro
Closes #7895

docs: consistent use of "Added in"

Make them all say "Added in [version]" without using 'curl' or 'libcurl'
in that phrase.

man pages: require all to use the same section header order

This is the same order we already enforce among the options' man pages:
consistency is good. Add lots of previously missing examples.

Adjust the manpage-syntax script for this purpose, used in test 1173.

Closes #7904

docs/HTTP3: improve build instructions

1. If writing to a system path if the command is not prefixed with
`sudo` it will cause a permission denied error

2. The patched OpenSSL branch has been updated to `openssl-3.0.0+quic`
to match upstream OpenSSL version.

3. We should not disable GnuTLS docs.

Updated some commands about `make install`

Closes #7842

CMake: restore support for SecureTransport on iOS

Restore support for building curl for iOS with SecureTransport enabled.

Closes #7501

tests: enable more tests with hyper

Adjusted 1144, 1164 and 1176.

Closes #7900

docs: provide "RETURN VALUE" section for more func manpages

Three were missing, one used a non-standard name for the header.

Closes #7902

curl_multi_socket_action.3: add a "RETURN VALUE" section

.. because it may not be immediately clear to the user what
curl_multi_socket_action returns.

Ref: https://curl.se/mail/lib-2021-10/0035.html

Closes https://github.com/curl/curl/pull/7901

RELEASE-NOTES: synced

tests: use python3 in test 1451

This is a continuation of commit ec91b5a69000bea0794bbb3 in which
changing this test was missed.  There are no other python2 leftovers
now.

Based on a Debian patch originally written by Alessandro Ghedini
<ghedo@debian.org>

Closes #7899

lib: fixing comment spelling typos in lib files

Closes #7894
Signed-off-by: ewlumpkin <ewlumpkin@gmail.com>

openssl: if verifypeer is not requested, skip the CA loading

It was previously done mostly to show a match/non-match in the verbose
output even when verification was not asked for. This change skips the
loading of the CA certs unless verifypeer is set to save memory and CPU.

Closes #7892

curl-confopts.m4:  remove --enable/disable-hidden-symbols

These configure options have been saying "deprecated" since 9e24b9c7af
(April 2012). It was about time we remove them.

Closes #7891

c-hyper: don't abort CONNECT responses early when auth-in-progress

... and make sure to stop ignoring the body once the CONNECT is done.

This should make test 206 work proper again and not be flaky.

Closes #7889

hyper: does not support disabling CURLOPT_HTTP_TRANSFER_DECODING

Simply because hyper doesn't have this ability. Mentioned in docs now.

Skip test 326 then

Closes #7889

test262: don't attempt with hyper

This test verifies that curl works with binary zeroes in HTTP response
headers and hyper refuses such. They're not kosher http.

Closes #7889

c-hyper: make test 217 run

Closes #7889

DISABLED: enable test 209+213 for hyper

Follow-up to 823d3ab855c

Closes #7889

test207: accept a different error code for hyper

It returns HYPERE_UNEXPECTED_EOF for this case which we convert to the
somewhat generic CURLE_RECV_ERROR.

Closes #7889

INSTALL: update symbol hiding option

--enable-hidden-symbols was deprecated in
9e24b9c7afbcb81120af4cf3f6cdee49a06d8224.

Closes #7890

http_proxy: multiple CONNECT with hyper done better

Enabled test 206

Closes #7888

hyper: pass the CONNECT line to the debug callback

Closes #7887

mailmap: Malik Idrees Hasan Khan

build: fix typos

Closes https://github.com/curl/curl/pull/7886

URL-SYNTAX: add IMAP UID SEARCH example

- Explain the difference between IMAP search via URL (which returns
  message sequence numbers) and IMAP search via custom request (which
  can return UID numbers if prefixed with UID, eg "UID SEARCH ...").

Bug: https://github.com/curl/curl/issues/7626
Reported-by: orycho@users.noreply.github.com
Ref: https://github.com/curl/curl/issues/2789

Closes https://github.com/curl/curl/pull/7881

manpage: adjust the asterisk in some SYNOPSIS sections

Closes #7884

curl_multi_perform.3: polish wording

 - simplify the example by using curl_multi_poll

 - mention curl_multi_add_handle in the text

 - cut out the description of pre-7.20.0 return code behavior - that version
   is now more than eleven years old and is basically no longer out there

 - adjust the "typical usage" to mention curl_multi_poll

Closes #7883

docs/THANKS: removed on request

FAQ: polish the explanation of libcurl

curl_easy_perform.3: minor wording tweak

mime: mention CURL_DISABLE_MIME in comment

CURL_DISABLE_MIME is not mentioned in the comment describing the if else
preprocessor directive.

Closes #7882

tls: remove newline from three infof() calls

Follow-up to e7416cf

Reported-by: billionai on github
Fixes #7879
Closes #7880

RELEASE-NOTES: synced

curl_gssapi: fix build warnings by removing const

Follow-up to 20e980f85b0ea6

In #7875 these inits were modified but I get two warnings that these new
typecasts are necessary for.

Closes #7876

curl_gssapi: fix link error on macOS Monterey

Fixes #7657
Closes #7875

test1185: verify checksrc

Closes #7866

checksrc: improve the SPACESEMICOLON error message

and adjust the MULTISPACE one to use plural

Closes #7866

url: set "k->size" -1 at start of request

The size of the transfer is unknown at that point.

Fixes #7871
Closes #7872

doh: remove experimental code for DoH with GET

The code for sending DoH requests with GET was never enabled in a way
such that it could be used or tested. As there haven't been requests
for this feature, and since it at this is effectively dead, remove it
and favor reimplementing the feature in case anyone is interested.

Closes #7870
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

cirrus: remove FreeBSD 11.4 from the matrix

It has reached End-Of-Life and causes some LDAP CI issues.

Closes #7869

cirrus: switch to openldap24-client

... as it seems openldap-client doesn't exist anymore.

Reported-by: Jay Satiro
Fixes #7868
Closes #7869

checksrc: ignore preprocessor lines

In order to check the actual code better, checksrc now ignores
everything that look like preprocessor instructions. It also means
that code in macros are now longer checked.

Note that some rules then still don't need to be followed when code is
exactly below a cpp instruction.

Removes two checksrc exceptions we needed previously because of
preprocessor lines being checked.

Reported-by: Marcel Raad
Fixes #7863
Closes #7864

urlapi: skip a strlen(), pass in zero

... to let curl_easy_escape() itself do the strlen. This avoids a (false
positive) Coverity warning and it avoids us having to store the strlen()
return value in an int variable.

Reviewed-by: Daniel Gustafsson
Closes #7862

misc: update copyright years

examples/htmltidy: correct wrong printf() use

... and update the includes to match how current htmltidy wants them
used.

Reported-by: Stathis Kapnidis
Fixes #7860
Closes #7861

http: set content length earlier

- Make content length (ie download size) accessible to the user in the
  header callback, but only after all headers have been processed (ie
  only in the final call to the header callback).

Background:

For a long time the content length could be retrieved in the header
callback via CURLINFO_CONTENT_LENGTH_DOWNLOAD_T as soon as it was parsed
by curl.

Changes were made in 8a16e54 (precedes 7.79.0) to ignore content length
if any transfer encoding is used. A side effect of that was that
content length was not set by libcurl until after the header callback
was called the final time, because until all headers are processed it
cannot be determined if content length is valid.

This change keeps the same intention --all headers must be processed--
but now the content length is available before the final call to the
header function that indicates all headers have been processed (ie
a blank header).

Bug: https://github.com/curl/curl/commit/8a16e54#r57374914
Reported-by: sergio-nsk@users.noreply.github.com
Co-authored-by: Daniel Stenberg
Fixes https://github.com/curl/curl/issues/7804
Closes https://github.com/curl/curl/pull/7803

aws-sigv4: make signature work when post data is binary

User sets the post fields size for binary data.  Hence, we should not be
using strlen on it.

Added test 1937 and 1938 to verify.

Closes #7844

MacOSX-Framework: remove redundant ';'

Closes #7859

RELEASE-NOTES: synced

openssl: with OpenSSL 1.1.0+ a failed RAND_status means goaway

One reason we know it can fail is if a provider is used that doesn't do
a proper job or is wrongly configured.

Reported-by: Michael Baentsch
Fixes #7840
Closes #7856

cmake: add CURL_ENABLE_SSL option and make CMAKE_USE_* SSL backend options depend on it

Closes https://github.com/curl/curl/pull/7822

http: remove assert that breaks hyper

Reported-by: Jay Satiro
Fixes #7852
Closes #7855

http_proxy: fix one more result assign for hyper

and remove the bad assert again, since it was run even with no error!

Closes #7854

sws: fix memory leak on exit

- Free the allocated http request struct on cleanup.

Prior to this change if sws was built with leak sanitizer it would
report a memory leak error during testing.

Closes https://github.com/curl/curl/pull/7849

c-hyper: make Curl_http propagate errors better

Pass on better return codes when errors occur within Curl_http instead
of insisting that CURLE_OUT_OF_MEMORY is the only possible one.

Pointed-out-by: Jay Satiro
Closes #7851

http_proxy: make hyper CONNECT() return the correct error code

For every 'goto error', make sure the result variable holds the error
code for what went wrong.

Reported-by: Rafał Mikrut
Fixes #7825
Closes #7846

docs/Makefile.am: repair 'make html'

by removing index.html which isn't around anymore

Closes #7853

curl: correct grammar in generated libcurl code

Closes #7802

tests: disable test 2043

It uses revoked.badssl.com which now is expired and therefor this now
permafails. We should not use external sites for tests, this test should
be converted to use our own infra.

Closes #7845

runtests: split out ignored tests

Report ignore tests separately from the actual fails.

Don't exit non-zero if test servers couldn't get killed.

Assisted-by: Jay Satiro
Fixes #7818
Closes #7841

http2: make getsock not wait for write if there's no remote window

While uploading, check for remote window availability in the getsock
function so that we don't wait for a writable socket if no data can be
sent.

Reported-by: Steini2000 on github
Fixes #7821
Closes #7839

test368: verify dash is appended for "-r [num]"

Follow-up to 8758a26f8878

curl: actually append "-" to --range without number only

Closes #7837

RELEASE-NOTES: synced

urlapi: URL decode percent-encoded host names

The host name is stored decoded and can be encoded when used to extract
the full URL. By default when extracting the URL, the host name will not
be URL encoded to work as similar as possible as before. When not URL
encoding the host name, the '%' character will however still be encoded.

Getting the URL with the CURLU_URLENCODE flag set will percent encode
the host name part.

As a bonus, setting the host name part with curl_url_set() no longer
accepts a name that contains space, CR or LF.

Test 1560 has been extended to verify percent encodings.

Reported-by: Noam Moshe
Reported-by: Sharon Brizinov
Reported-by: Raul Onitza-Klugman
Reported-by: Kirill Efimov
Fixes #7830
Closes #7834

CI/makefiles: introduce dedicated test target

Make it easy to use the same set of test flags
throughout all current and future CI builds.

Reviewed-by: Jay Satiro
Follow up to #7690
Closes #7785

maketgz: redirect updatemanpages.pl output to /dev/null

CURLOPT_HTTPHEADER.3: add descripion for specific headers

Settting Host: or Transfer-Encoding: chunked actually have special
meanings to libcurl. This change tries to document them

Closes #7829

c-hyper: use hyper_request_set_uri_parts to make h2 better

and make sure to not send Host: over h2.

Fixes #7679
Reported-by: David Cook
Closes #7827

curl-openssl.m4: modify library order for openssl linking

lcrypto may depend on lz, and configure corrently fails with when
statically linking as the order is "-lz -lcrypto". This commit switches
the order to "-lcrypto -lz".

Closes #7826

sha256: use high-level EVP interface for OpenSSL

Available since OpenSSL 0.9.7. The low-level SHA256 interface is
deprecated in OpenSSL v3, and its usage was discouraged even before.

Closes https://github.com/curl/curl/pull/7808

curl_ntlm_core: use OpenSSL only if DES is available

This selects another SSL backend then if available, or otherwise at
least gives a meaningful error message.

Closes https://github.com/curl/curl/pull/7808

md5: fix compilation with OpenSSL 3.0 API

Only use OpenSSL's MD5 code if it's available.

Also fix wolfSSL build with `NO_MD5`, in which case neither the
wolfSSL/OpenSSL implementation nor the fallback implementation was
used.

Closes https://github.com/curl/curl/pull/7808

print_category: printf %*s needs an int argument

... not a size_t!

Detected by Coverity: CID 1492331.
Closes #7823

version_win32: use actual version instead of manifested version

- Use RtlVerifyVersionInfo instead of VerifyVersionInfo, when possible.

Later versions of Windows have normal version functions that compare and
return versions based on the way the application is manifested, instead
of the actual version of Windows the application is running on. We
prefer the actual version of Windows so we'll now call the Rtl variant
of version functions (RtlVerifyVersionInfo) which does a proper
comparison of the actual version.

Reported-by: Wyatt O'Day
Ref: https://github.com/curl/curl/pull/7727

Fixes https://github.com/curl/curl/issues/7742
Closes https://github.com/curl/curl/pull/7810

RELEASE-NOTES: synced

http: fix Basic auth with empty name field in URL

Add test 367 to verify.

Reported-by: Rick Lane
Fixes #7819
Closes #7820

CURLOPT_MAXLIFETIME_CONN: maximum allowed lifetime for conn reuse

... and close connections that are too old instead of reusing them.

By default, this behavior is disabled.

Bug: https://curl.se/mail/lib-2021-09/0058.html
Closes #7751

docs/examples: add missing binaries to gitignore

Commit f65d7889b added getreferrer, and commit ae8e11ed5 multi-legacy,
both of which missed adding .gitignore clauses for the built binaries.

Closes #7817
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

HTTP3: fix the HTTP/3 Explained book link

Closes #7813

misc: fix a few issues on MidnightBSD

Closes #7812

tool_main: fix typo in comment

Closes: #7811
Reviewed-by: Daniel Gustafsson <daniel@yesql.se>

BINDINGS: URL updates

For cpr, BBHTTP, Eiffel, Harbour, Haskell, Mono, and Rust

Closes #7809

scripts/delta: hide a git error message we don't care about

fatal: path 'src/tool_listhelp.c' exists on disk, but not in [tag]

sasl: binary messages

Capabilities of sasl module are extended to exchange messages in binary
as an alternative to base64.

If http authentication flags have been set, those are used as sasl
default preferred mechanisms.

Closes #6930

wolfssl: use for SHA256, MD4, MD5, and setting DES odd parity

Prior to this commit, OpenSSL could be used for all these functions, but
not wolfSSL. This commit makes it so wolfSSL will be used if USE_WOLFSSL
is defined.

Closes #7806

scripts/delta: count command line options in the new file

... which makes the shown delta number wrong until next release.

RELEASE-NOTES: synced

print_category: print help descriptions aligned

Adjust the description position to make an aligned column when doing
help listings, which is more pleasing to the eye.

Suggested-by: Gisle Vanem
Closes #7792

lib/mk-ca-bundle.pl: skip certs passed Not Valid After date

With this change applied, the now expired 'DST Root CA X3' cert will no
longer be included in the output.

Details: https://letsencrypt.org/docs/dst-root-ca-x3-expiration-september-2021/

Closes #7801

tool_listhelp: easier to generate with gen.pl

tool_listhelp.c is now a separate file with only the command line --help
output, exactly as generated by gen.pl. This makes it easier to generate
updates according to what's in the docs/cmdline-opts docs.

  cd $srcroot/docs/cmdline-opts
  ./gen.pl listhelp *.d > $srcroot/src/tool_listhelp.c

With a configure build, this also works:

  make -C src listhelp

Closes #7787

wolfssl: allow setting of groups/curves

In particular, the quantum safe KEM and hybrid curves if wolfSSL is
built to support them.

Closes #7728

connnect: use sysaddr_un fron sys/un.h or custom-defined for windows

Closes #7737

hostip: Move allocation to clarify there is no memleak

By just glancing at the code, it looks like there is a memleak if the
call to Curl_inet_pton() fails. Looking closer, it is clear that the
call to Curl_inet_pton() can not fail, so the code will never leak
memory. However, we can make this obvious by moving the allocation
after the if-statement.

Closes https://github.com/curl/curl/pull/7796

gen.pl: make the output date format work better

Follow-up to 15910dfd143dd

The previous strftime format used didn't work correctly on Windows, so
change to %B %d %Y which today looks like "September 29 2021".

Reported-by: Gisle Vanem
Bug: #7782
Closes #7793

typecheck-gcc.h: add CURLOPT_PREREQDATA awareness

Follow-up to a517378de58358a

To make test 1912 happy again

Closes #7799

configure: remove `HAVE_WINSOCK_H` definition

It's not used anymore.

Closes https://github.com/curl/curl/pull/7795

CMake: remove `HAVE_WINSOCK_H` definition

It's not used anymore.

Closes https://github.com/curl/curl/pull/7795