vtls: pass on the right SNI name

The TLS backends convert the host name to SNI name and need to use that.
This involves cutting off any trailing dot and lowercasing.

Co-authored-by: Jay Satiro
Closes #8320

url: revert the removal of trailing dot from host name

Reverts 5de8d84098db1bd24e (May 2014, shipped in 7.37.0) and the
follow-up changes done afterward.

Keep the dot in names for everything except the SNI to make curl behave
more similar to current browsers. This means 'name' and 'name.' send the
same SNI for different 'Host:' headers.

Updated test 1322 accordingly

Fixes #8290
Reported-by: Charles Cazabon
Closes #8320

docs/TheArtOfHttpScripting: fix capitalization

Closes #8333

tests/memanalyze.pl: also count and show "total allocations"

This is the total number of bytes allocated, increasing for new
allocations and never reduced when freed. The existing "Maximum
allocated" is the high water mark.

Closes #8330

mailmap: spellfix githuh => github

RELEASE-NOTES: synced

hostcheck: fixed to not touch used input strings

Avoids the need to clone the strings before check, thus avoiding
mallocs, which for cases where there are many SAN names in a cert could
end up numerous.

Closes #8321

ngtcp2: adapt to changed end of headers callback proto

Closes #8322

openssl: check SSL_get_ex_data to prevent potential NULL dereference

Closes #8268

md5: check md5_init_func return value

Prior to this change the md5_init_func (my_md5_init) return value was
ignored.

Closes https://github.com/curl/curl/pull/8319

md5: refactor for standard compliance

- Wrap OpenSSL / wolfSSL MD5 functions instead of taking their function
  addresses during static initialization.

Depending on how curl was built the old way may have used a dllimport
function address during static initialization, which is not standard
compliant, resulting in Visual Studio warning C4232 (nonstandard
extension). Instead the function pointers now point to the wrappers
which call the MD5 functions.

This change only affects OpenSSL and wolfSSL because calls to other SSL
libraries' md5 functions were already wrapped. Also sha256.c already
does this for all SSL libraries.

Ref: https://github.com/curl/curl/pull/8298

Closes https://github.com/curl/curl/pull/8318

docs: update IETF links to use datatracker

The tools.ietf.org domain has been deprecated a while now, with the
links being redirected to datatracker.ietf.org.

Rather than make people eat that redirect time, this change switches the
URL to a more canonical source.

Closes #8317

CI: test building wolfssl with --enable-opensslextra

Closes #8315

misc: allow curl to build with wolfssl --enable-opensslextra

put all #include of openssl files behind wolfssl ifdefs so that we can
use the wolfssl/ prefixed include paths. Without these curl only builds
when wolfssl is built with enable-all.

Fixes #8292
Closes #8315

quiche: change qlog file extension to `.sqlog`

quiche has just switched it's qlog serialization format to JSON-SEQ by
default . The spec says this SHOULD use `.sqlog` extension.

I believe ngtcp2 also supports JSON-SEQ by default as of
https://github.com/ngtcp2/ngtcp2/commit/9baf06fc3f352a1d062b6953ae1de22cae30639d

Let's update curl so that tools know what format we are using!

Closes #8316

projects: Fix Visual Studio wolfSSL configurations

- Change build-wolfssl.bat to disable SSLv3, enable TLSv1.3, enable
  wolfSSL_DES_ecb_encrypt (needed by NTLM) and enable alt cert chains.

- Disable warning C4214 'bit field types other than int'.

- Add include directory wolfssl\wolfssl.

wolfSSL offers OpenSSL API compatibility that libcurl uses, and some
recent change in libcurl included an include file for wolfSSL like
openssl/foo.h, which has a path like wolfssl\wolfssl\openssl\foo.h.

The include directory issue was reported in #8292 but it's currently
unclear whether this type of change is needed for other build systems.

Bug: https://github.com/curl/curl/issues/8292
Reported-by: Harry Sarson
Closes https://github.com/curl/curl/pull/8298

openssl: return error if TLS 1.3 is requested when not supported

Previously curl would just silently ignore it if the necessary defines
are not present at build-time.

Reported-by: Stefan Eissing
Fixes #8309
Closes #8310

TODO: Passing NOTIFY option to CURLOPT_MAIL_RCPT

Closes #8232

workflows/wolfssl: install impacket

needed Python Package for SMB tests

Closes #8307

url: make Curl_disconnect return void

 1. The function would only ever return CURLE_OK anyway
 2. Only one caller actually used the return code
 3. Most callers did (void)Curl_disconnect()

Closes #8303

docs: document HTTP/2 not insisting on TLS 1.2

Both for --http2 and CURLOPT_HTTP_VERSION.

Reported-by: jhoyla on github
Fixes #8235
Closes #8300

cmdline-opts/gen.pl: fix option matching to improve references

Previously it could mistakenly match partial names when there are
options that start with the same prefix, leading to the wrong references
used.

Closes #8299

TODO: Less memory massaging with Schannel

runtests.pl: disable debuginfod

Valgrind and gdb implement this feature: as this highly slows down tests,
disable it.

Closes #8291

RELEASE-NOTES: synced

CURLMOPT_TIMERFUNCTION/DATA.3: fix the examples

... to not call libcurl recursively back.

Closes #8286

multi: set in_callback for multi interface callbacks

This makes most libcurl functions return error if called from within a
callback using the same multi handle. For example timer or socket
callbacks calling curl_multi_socket_action.

Reported-by: updatede on github
Fixes #8282
Closes #8286

docs/HISTORY.md: mention alt-svc and HSTS

misc: remove the final watcom references

Follow-up to bbf8cae44dedc495e6

We removed support for the watcom builds files back in September
2020. This removes all remaining watcom references and ifdefs.

Closes #8287

misc: remove BeOS code and references

There has not been a mention of this OS in any commit since December
2004 (58f4af7973e3d2). The OS is also long gone.

Closes #8288

tool_getparam: DNS options that need c-ares now fail without it

Just silently accepting the options and then not having any effect is
not good.

Ref: #8283
Closes #8285

curl: remove "separators" (when using globbed URLs)

Unless muted (with -s) When doing globbing, curl would output mime-like
separators between the separate transfers. This is not documented
anywhere, surprises users and clobbers the output. Gone now.

Updated test 18 and 1235

Reported-by: jonny112 on github
Bug: https://github.com/curl/curl/discussions/8257
Closes #8278

mbedtls: fix CURLOPT_SSLCERT_BLOB (again)

- Increase the buffer length passed to mbedtls_x509_crt_parse to account
  for the null byte appended to the temporary blob.

Follow-up to 867ad1c which uses a null terminated copy of the
certificate blob, because mbedtls_x509_crt_parse requires PEM data
to be null terminated.

Ref: https://github.com/curl/curl/commit/867ad1c#r63439893
Ref: https://github.com/curl/curl/pull/8146

Closes https://github.com/curl/curl/pull/8260

quiche: verify the server cert on connect

Similarly to c148f0f551f9bea0e3d0, make quiche correctly acknowledge
`CURLOPT_SSL_VERIFYPEER` and `CURLOPT_SSL_VERIFYHOST`.

Fixes #8173
Closes #8275

checksrc: fix typo in comment

enfore -> enforce

Closes #8281

curl-openssl: remove the OpenSSL headers and library versions check

It is more work to maintain that check than the (any?) benefit it
brings.

Fixes #8279
Reported-by: Satadru Pramanik
Closes #8280

mqtt: free any leftover when done

Oss-fuzz found an issue when the "sendleftovers" pointer could leak memory.
Fix this by always freeing it (if still assigned) in the done function.

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=43515
Closes #8274

formdata: avoid size_t => long typecast overflows

Typically a problem for platforms with 32 bit long and 64 bit size_t

Reported-by: Fabian Yamaguchi
Bug: https://hackerone.com/reports/1444539
Closes #8272

RELEASE-NOTES: synced

bump next release to become 7.82.0

build: enable -Warith-conversion

This makes the behavior consistent between GCC 10 and earlier versions.

Closes https://github.com/curl/curl/pull/8271

build: fix -Wenum-conversion handling

Don't enable that warning when warnings are disabled.
Also add it to CMake.

Closes https://github.com/curl/curl/pull/8271

appveyor: use VS 2017 image for the autotools builds

The newer images don't have all required MSYS2 packages.

Fixes https://github.com/curl/curl/issues/8248
Closes https://github.com/curl/curl/pull/8265

appveyor: update images from VS 2019 to 2022

Closes https://github.com/curl/curl/pull/8265

mbedtls: return CURLcode result instead of a mbedtls error code

... when a certificate fails to be loaded from a blob

Closes #8266

curl_multi_socket.3: remove callback and typical usage descriptions

1. The callback is better described in the option for setting it. Having
it in a single place reduces the risk that one of them is wrong.

2. The "typical usage" is wrong since the functions described in this
man page are both deprecated so they cannot be used in any "typical" way
anymore.

Closes #8262

curl-functions.m4: revert DYLD_LIBRARY_PATH tricks in CURL_RUN_IFELSE

Mostly reverts ba0657c343f, but now instead just run the plain macro on
darwin. The approach as used on other platforms is simply not necessary
on macOS.

Fixes #8229
Reported-by: Ryan Schmidt
Closes #8247

openldap: implement SASL authentication

As credentials can be quite different depending on the mechanism used,
there are no default mechanisms for LDAP and simple bind with a DN is
then used.

The caller has to provide mechanism(s) using CURLOPT_LOGIN_OPTIONS to
enable SASL authentication and disable simple bind.

Closes #8152

CURLOPT_RESOLVE.3: change example port to 443

83cc966 changed documentation from using http to https. However,
CURLOPT_RESOLVE being set to port 80 in the documentation means that it
isn't valid for the new URL. Update to 443.

Closes https://github.com/curl/curl/pull/8258

test374: gif data without new line at the end

Closes #8239

runtests.pl: support the nonewline attribute for the data part

Added to FILEFORMAT

Closes #8239

curl tool: erase some more sensitive command line arguments

As the ps command may reveal sensitive command line info, obfuscate
options --tlsuser, --tlspasswd, --proxy-tlsuser, --proxy-tlspassword and
--oauth2-bearer arguments.

Reported-by: Stephen Boost <s.booth@epcc.ed.ac.uk>
Closes #7964

mesalink: remove support

Mesalink has ceased development. We can no longer encourage use of it.
It seems to be continued under the name TabbySSL, but no attempts have
(yet) been to make curl support it.

Fixes #8188
Closes #8191

ldap: return CURLE_URL_MALFORMAT for bad URL

For consistency, use the same return code for URL malformats,
independently of what scheme that is used. Previously this would return
CURLE_LDAP_INVALID_URL, but starting now that error cannot be returned.

Closes #8170

docs/cmdline-opts: add "mutexed" options for more http versions

Update four http version man page sections.

Closes #8254

rustls: add CURLOPT_CAINFO_BLOB support

Add support for `CURLOPT_CAINFO_BLOB` `CURLOPT_PROXY_CAINFO_BLOB` to the
rustls TLS backend. Multiple certificates in a single PEM string are
supported just like OpenSSL does with this option.

This is compatible at least with rustls-ffi 0.8+ which is our new
minimum version anyway.

I was able to build and run this on Windows, pulling trusted certs from
the system and then add them to rustls by setting
`CURLOPT_CAINFO_BLOB`. Handy!

Closes #8255

scripts/copyright.pl: ignore missing files

RELEASE-NOTES: synced

data/DISABLED: disable test 313 for wolfssl builds

It was previously disabled only in the CI jobs yaml

Closes #8252

runtests: make 'wolfssl' a testable feature

Closes #8252

GHA: install stunnel in the medbtls + wolfssl CI jobs

Closes #8252

CI: move the rustls CI job to GHA from Zuul

Closes #8251

DISABLE: disable a dozen tests in the rustls build

Disables tests that don't yet work with the rustls backend.

Fixes #8004
Closes #8250

runtests: make 'rustls' a testable feature

remote-header-name.d: clarify

- it strips off the path from the server provided name
- it saves in current directory or --output-dir

Ref: https://curl.se/mail/archive-2022-01/0032.html
Closes #8249

url: given a user in the URL, find pwd for that user in netrc

Add test 380 and 381 to verify, edited test 133

Reported-by: Manfred Schwarb
Fixes #8241
Closes #8243

mbedtls: Fix ssl_init error with mbedTLS 3.1.0+

Since mbedTLS 3.1.0, mbedtls_ssl_setup() fails if the provided
config struct is not valid.

mbedtls_ssl_config_defaults() needs to be called before the config
struct is passed to mbedtls_ssl_setup().

Closes #8238

cmake: fix iOS CMake project generation error

Closes #8244

ngtcp2: fix declaration of ‘result’ shadows a previous local

Follow-up to 8fbd6feddfa587cfd3

Closes #8245

openssl.h: avoid including OpenSSL headers here

... by instead using the struct version of the typedef'ed pointer. To
fix build errors when both Schannel and OpenSSL are enabled.

Fixes #8240
Reported-by: Jan Ehrhardt
Closes #8246

curl_url_set.3: mention when CURLU_ALLOW_SPACE was added

tool_findfile: free mem properly

Follow-up to 764e4f066d5

Closes #8242

tool_findfile: check ~/.config/curlrc too

... after the initial checks for .curlrc and if XDG_CONFIG_HOME is not
set, use $HOME and $CURL_HOME to check if ~/.config/curlrc is present.

Add test 436 to verify

Reported-by: Sandro Jaeckel
Fixes #8208
Closes #8213

runtests: allow client/file to specify multiple directories

... and make sure to mkdir them all

scripts/copyright.pl: support many provided file names on the cmdline

tests/FILEFORMAT.md: fix typo

Add test373: multiple chunks with binary zeros

Add test372: binary zero in data element

tests/server/getpart.c: properly deal with binary data containing NUL bytes

runtests.pl: properly print the test if it contains binary zeros

mailmap: Xiaoke Wang

openssl: copyright year update

Follow-up to 30aea2b1ede

scripts/copyright.pl: hush unless -v (for verbose) is used

openssl: check the return value of BIO_new_mem_buf()

Closes #8233

examples/multi-app.c: call curl_multi_remove_handle as well

Fixes #8234
Reported-by: Melroy van den Berg
Closes #8236

COPYING: bump copyright year range

RELEASE-NOTES: synced

and bump curlver after release

docs: fix mandoc -T lint formatting complaints

Closes #8228

next.d. remove .fi/.nf as they are handled by gen.pl

Closes #8228

gen.pl: terminate "example" sections better

If the example (section that is prefixed with spaces) ends the
description gen.pl would previously miss to output the terminating .fi

Closes #8228

curl-functions.m4: fix LIBRARY_PATH adjustment to avoid eval

$$ usage in a m4 file introduces the PID in linux.
Instead, just duplicate previous working code with a case switch.

Fixes #8229
Closes #8230

RELEASE-NOTES: synced

curl 7.81.0 release

THANKS: add names from 7.81.0 release

curl_multi_init.3: fix the copyright year range

test719-721: require "proxy" feature present to run

Bug: https://github.com/curl/curl/pull/8223#issuecomment-1005188696
Reported-by: Marc Hörsken
Closes #8226

test719: require ipv6 support to run

Follow-up to effd2bd7ba2a5fd244
Reported-by: Marc Hörsken
Bug: https://github.com/curl/curl/pull/8217#issuecomment-1004681145

Closes #8223

test719-721: verify SOCKS details

Using the new verify/socks details

runtests: add verify/socks check

If used, this data is compared with the data in log/socksd-request.log
which the socksd server logs.

Added to FILEFORMAT.md

server/socksd: log atyp + address in a separate log

To allow the test suite to verify that the right data arrived

socks5: use appropriate ATYP for numerical IP address host names

When not resolving the address locallly (known as socks5h).

Add test 719 and 720 to verify.

Reported-by: Peter Piekarski
Fixes #8216
Closes #8217

curl_multi_init.3: fix EXAMPLE formatting