connect: repair build without ipv6 availability

Assisted-by: Daniel Stenberg
Reported-by: Tom G. Christensen
Fixes https://github.com/curl/curl/issues/6069
Closes https://github.com/curl/curl/pull/6071

RELEASE-NOTES: synced

Started over for the journey to next release.

src/tool_filetime: disable -Wformat on mingw for this file

With gcc 10 on mingw we otherwise get this warning:

 error: ISO C does not support the 'I' printf flag [-Werror=format=]

Fixes #6079
Closes #6082

test122[12]: remove these two tests

... and remove the objnames scripts they tested. They're not used for
anything anymore so testing them serves no purpose!

Reported-by: Marc Hörsken
Fixes #6080
Closes #6081

RELEASE-NOTES: synced

for 7.73.0

THANKS: from 7.73.0 and .mailmap fixes

mailmap: fixups of some contributors

projects/build-wolfssl.bat: fix the copyright year range

CI/tests: fix invocation of tests for CMake builds

Update appveyor.yml to set env variable TFLAGS and run tests
Remove curly braces due to CMake error (${TFLAGS} -> $TFLAGS)
Move testdeps build to build step (per review comments)

Reviewed-by: Marc Hörsken
Closes #6066
Fixes #6052

tests/server/util.c: fix support for Windows Unicode builds

Detected via #6066
Closes #6070

strerror: Revert to local codepage for Windows error string

- Change get_winapi_error() to return the error string in the local
  codepage instead of UTF-8 encoding.

Two weeks ago bed5f84 fixed get_winapi_error() to work on xbox, but it
also changed the error string's encoding from local codepage to UTF-8.

We return the local codepage version of the error string because if it
is output to the user's terminal it will likely be with functions which
expect the local codepage (eg fprintf, failf, infof).

This is essentially a partial revert of bed5f84. The support for xbox
remains but the error string is reverted back to local codepage.

Ref: https://github.com/curl/curl/pull/6005

Reviewed-by: Marcel Raad
Closes #6065

CI/tests: use verification curl for test reporting APIs

Avoid using our own, potentially installed, curl for
the test reporting APIs in case it is broken.

Reviewed-by: Daniel Stenberg
Preparation for #6049
Closes #6063

windows: fix comparison of mismatched types warning

clang 10, mingw-w64:
```
vtls/openssl.c:2917:33: warning: comparison of integers of different signs: 'DWORD' (aka 'unsigned long') and 'HRESULT' (aka 'long')
      [-Wsign-compare]
              if(GetLastError() != CRYPT_E_NOT_FOUND)
                 ~~~~~~~~~~~~~~ ^  ~~~~~~~~~~~~~~~~~
```

Approved-by: Daniel Stenberg
Closes #6062

src/Makefile.m32: fix undefined curlx_dyn_* errors

by linking `lib/dynbuf.c` when building a static curl binary.
Previously this source file was only included when building
a dynamic curl binary. This was likely possibly because no
functions from the `src/Makefile.inc` / `CURLX_CFILES` sources
were actually required for a curl tool build. This has
recently changed with the introduction of `curlx_dyn_*()`
memory functions and their use by the tool sources.

Closes #6060

HISTORY: curl verifies SSL certs by default since version 7.10

runtests.pl: use $LIBDIR variable instead of hardcoded path

Reviewed-by: Daniel Stenberg
Closes #6051

checksrc: detect // comments on column 0

Spotted while working on #6045

Closes #6048

mbedtls: add missing header when defining MBEDTLS_DEBUG

Closes #6045

curl: make sure setopt CURLOPT_IPRESOLVE passes on a long

Previously, it would pass on a define (int) which could make libcurl
read junk as a value - which prevented the CURLOPT_IPRESOLVE option to
"take". This could then make test 2100 do two DoH requests instead of
one!

Fixes #6042
Closes #6043

RELEASE-NOTES: synced

scripts/release-notes.pl: don't "embed" $ in format string for printf()

... since they might contain %-codes that mess up the output!

build-wolfssl: fix build with Visual Studio 2019

Closes https://github.com/curl/curl/pull/6033

runtests: add %repeat[]% for test files

... and use this new keywords in all the test files larger than 50K to reduce
their sizes and make them a lot easier to read and understand.

Closes #6040

--help: move two options from the misc category

The cmdline opts delegation and suppress-connect-headers
fit better into auth and proxy rather than misc.

Follow-up to aa8777f63febc
Closes #6038

docs/opts: fix typos in two manual pages

Closes #6039

ldap: reduce the amount of #ifdefs needed

Closes #6035

runtests: provide curl's version string as %VERSION for tests

... so that we can check HTTP requests for User-Agent: curl/%VERSION

Update 600+ test cases accordingly.

Closes #6037

checksrc: warn on space after exclamation mark

Closes #6034

test1465: verify --libcurl with binary POST data

runtests: allow generating a binary sequence from hex

tool_setopt: escape binary data to hex, not octal

curl: make --libcurl show binary posts correctly

Reported-by: Stephan Mühlstrasser
Fixes #6031
Closes #6032

strerror: fix null deref on winapi out-of-memory

Follow-up to bed5f84 from several days ago.

Ref: https://github.com/curl/curl/pull/6005

vtls: deduplicate some DISABLE_PROXY ifdefs

... in the code of gtls, nss, and openssl

Closes #5735

RELEASE-NOTES: synced

TODO: Add OpenBSD libtool notice

See #5862
Closes #6030

tests/unit/README: convert to markdown

... and add to dist!

Closes #6028

tests/README: convert to markdown

Closes #6028

include/README: convert to markdown

Closes #6028

examples/README: convert to markdown

Closes #6028

configure: don't say HTTPS-proxy is enabled when disabled!

Reported-by: Kamil Dudka
Reviewed-by: Kamil Dudka
Bug: https://github.com/curl/curl/pull/5735#issuecomment-701376388
Closes #6029

src: Consistently spell whitespace without whitespace

Whitespace is spelled without a space between white and space, so
make sure to consistently spell it that way across the codebase.

Closes #6023
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Emil Engler <me@emilengler.com>

MANUAL: update examples to resolve without redirects

www.netscape.com is redirecting to a cookie consent form on Aol, and
cool.haxx.se isn't responding to FTP anymore. Replace with examples
that resolves in case users try out the commands when reading the
manual.

Closes #6024
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Emil Engler <me@emilengler.com>

HISTORY: add some 2020 events

sectransp: make it build with --disable-proxy

Follow-up from #5466 and f3d501dc678d80
Reported-by: Javier Navarro
Fixes #6025
Closes #6026

ECH: renamed from ESNI in docs and configure

Encrypted Client Hello (ECH) is the current name.

Closes #6022

configure: use "no" instead of "disabled" for the end summary

... for consistency but also to make them more distinctly stand out next
to the "enabled" lines.

TODO: SSH over HTTPS proxy with more backends

... as right now only the libssh2 backend supports it.

libssh2: handle the SSH protocols done over HTTPS proxy

Reported-by: Robin Douine
Fixes #4295
Closes #6021

memdebug: remove 9 year old unused debug function

There used to be a way to have memdebug fill allocated memory. 9 years
later this has no value there (valgrind and ASAN etc are way better). If
people need to know about it they can have a look at VCS logs.

Closes #5973

sendf: move Curl_sendf to dict.c and make it static

... as the only remaining user of that function. Also fix gopher.c to
instead use Curl_write()

Closes #6020

ROADMAP: updates and cleanups

Fix the HSTS PR

Remove DoT, thread-safe init and hard-coded localhost. I feel very
little interest for these with users so I downgrade them to plain "TODO"
entries again.

schannel: return CURLE_PEER_FAILED_VERIFICATION for untrusted root

This matches what is returned in other TLS backends in the same
situation.

Reviewed-by: Jay Satiro
Reviewed-by: Emil Engler
Follow-up to 5a3efb1
Reported-by: iammrtau on github
Fixes #6003
Closes #6018

RELEASE-NOTES: synced

ftp: make a 552 response return CURLE_REMOTE_DISK_FULL

Added test 348 to verify. Added a 'STOR' command to the test FTP
server to enable test 348. Documented the command in FILEFORMAT.md

Reported-by: Duncan Wilcox
Fixes #6016
Closes #6017

pause: only trigger a reread if the unpause sticks

As an unpause might itself get paused again and then triggering another
reread doesn't help.

Follow-up from e040146f22608fd9 (shipped since 7.69.1)

Bug: https://curl.haxx.se/mail/lib-2020-09/0081.html
Patch-by: Kunal Chandarana
Fixes #5988
Closes #6013

test163[12]: require http to be built-in to run

... as speaking over an HTTPS proxy implies http!

Closes #6014

ngtcp2: adapt to new NGTCP2_PROTO_VER_MAX define

Closes #6012

strerror: honor Unicode API choice on Windows

Closes #6005

imap: make imap_send use dynbuf for the send buffer management

Reuses the buffer and thereby reduces number of mallocs over a transfer.

Closes #6010

Curl_send: return error when pre_receive_plain can't malloc

... will probably trigger some false DEAD CODE positives on non-windows
code analyzers for the conditional code.

Closes #6011

ftp: separate FTPS from FTP over "HTTPS proxy"

When using HTTPS proxy, SSL is used but not in the view of the FTP
protocol handler itself so separate the connection's use of SSL from the
FTP control connection's sue.

Reported-by: Mingtao Yang
Fixes #5523
Closes #6006

tests/data: Fix some mismatched XML tags in test cases

This allows these test files to pass xmllint.

pingpong: use a dynbuf for the *_pp_sendf() function

... reuses the same dynamic buffer instead of doing repeated malloc/free
cycles.

Test case 100 (FTP dir list PASV) does 7 fewer memory allocation calls
after this change in my test setup (132 => 125), curl 7.72.0 needed 140
calls for this.

Test case 103 makes 9 less allocations now (130). Down from 149 in
7.72.0.

Closes #6004

dynbuf: add Curl_dyn_vaddf

Closes #6004

dynbuf: make *addf() not require extra mallocs

... by introducing a printf() function that appends directly into a
dynbuf: Curl_dyn_vprintf(). This avoids the mandatory extra malloc so if
the buffer is already big enough it can just printf directly into it.

Since this less-malloc version requires tthe use of a library internal
printf function, we only provide this version when building libcurl and
not for the dynbuf code that is used when building the curl tool.

Closes #5998

KNOWN_BUGS: Unable to use PKCS12 certificate with Secure Transport

Closes #5403

pingpong: remove a malloc per Curl_pp_vsendf call

This typically makes 7-9 fewer mallocs per FTP transfer.

Closes #5997

symbian: drop support

The OS is deprecated. I see no traces of anyone having actually built
curl for Symbian after 2012.

The public headers are unmodified.

Closes #5989

RELEASE-NOTES: synced

curl_krb5.h: rename from krb5.h

Follow-up from f4873ebd0be32cf

Turns out some older openssl installations go bananas otherwise.
Reported-by: Tom van der Woerdt
Fixes #5995
Closes #5996

test1297: verify GOT_NOTHING with http proxy tunnel

http_proxy: do not count proxy headers in the header bytecount

... as that counter is subsequently used to detect if nothing was
returned from the peer. This made curl return CURLE_OK when it should
have returned CURLE_GOT_NOTHING.

Fixes #5992
Reported-by: Tom van der Woerdt
Closes #5994

setopt: return CURLE_BAD_FUNCTION_ARGUMENT on bad argument

Fixed two return code mixups. CURLE_UNKNOWN_OPTION is saved for when the
option is, yeah, not known. Clarified this in the setopt man page too.

Closes #5993

krb5: merged security.c and krb specific FTP functions in here

These two files were always tightly connected and it was hard to
understand what went into which. This also allows us to make the
ftpsend() function static (moved from ftp.c).

Removed security.c
Renamed curl_sec.h to krb5.h

Closes #5987

Curl_handler: add 'family' to each protocol

Makes get_protocol_family() faster and it moves the knowledge about the
"families" to each protocol handler, where it belongs.

Closes #5986

parsedate: tune the date to epoch conversion

By avoiding an unnecessary error check and the temp use of the tm
struct, the time2epoch conversion function gets a little bit faster.
When repeating test 517, the updated version is perhaps 1% faster (on
one particular build on one particular architecture).

Closes #5985

cmake: remove scary warning

Remove the text saying

"the curl cmake build system is poorly maintained. Be aware"

... not because anything changed just now, but to encourage users to use
it and subsequently improve it.

Closes #5984

docs/MQTT: remove outdated paaragraphs

docs/MQTT: not experimental anymore

Follow-up to e37e4468688d8f

docs/RESOURCES: remove

This document is not maintained and rather than trying to refresh it,
let's kill it. A more up-to-date document with relevant RFCs is this
page on the curl website: https://curl.haxx.se/rfc/

Closes #5980

docs/TheArtOfHttpScripting: convert to markdown

Makes it easier to browse on github etc. Offers (better) links.

It should be noted that this document is already mostly outdated and
"Everything curl" at https://ec.haxx.se/ is a better resource and
tutorial.

Closes #5981

BUGS: convert document to markdown

Closes #5979

--help: strdup the category

... since it is converted and the original pointer is freed on Windows
unicode handling.

Follow-up to aa8777f63febc
Fixes #5977
Closes #5978
Reported-by: xwxbug on github

CHECKSRC: document two missing warnings

RELEASE-NOTES: synced

ftp: avoid risk of reading uninitialized integers

If the received PASV response doesn't match the expected pattern, we
could end up reading uninitialized integers for IP address and port
number.

Issue pointed out by muse.dev
Closes #5972

easy_reset: clear retry counter

Closes #5975
Fixes #5974

ftp: get rid of the PPSENDF macro

The use of such a macro hides some of what's actually going on to the
reader and is generally disapproved of in the project.

Closes #5971

man pages: switch to https://example.com URLs

Since HTTPS is "the new normal", this update changes a lot of man page
examples to use https://example.com instead of the previous "http://..."

Closes #5969

github: remove the duplicate "Security vulnerability" entry

... since github adds an entry automatically by itself.

Closes #5970

github: use new issue template feature

This helps us to avoid getting feature requests as well as security
bugs reported into the issue tracker.

Closes #5936

urlapi: use more Curl_safefree

Closes #5968

multi: align WinSock mask variables in Curl_multi_wait

Also skip pre-checking sockets to set timeout_ms to 0
after the first socket has been detected to be ready.

Reviewed-by: rcombs on github
Reviewed-by: Daniel Stenberg
Follow up to #5886

multi: reuse WinSock events variable in Curl_multi_wait

Since the struct is quite large (1 long and 10 ints) we
declare it once at the beginning of the function instead
of multiple times inside loops to avoid stack movements.

Reviewed-by: Viktor Szakats
Reviewed-by: Daniel Stenberg
Closes #5886

TODO: dynamically decide to use socketpair

Suggested-by: Anders Bakken
Closes #4829

TODO: add PR reference for native IDN support on macOS

As there was work started on this that never got completed.

Closes #5371

tool_help.h: update copyright year range

Follow-up from aa8777f63febca

CI/azure: disable test 571 in the msys2 builds

It's just too flaky there

Reviewed-by: Marc Hoersken
Closes #5954

tool_writeout: protect fputs() from NULL

When the code was changed to do fputs() instead of fprintf() it got
sensitive for NULL pointers; add checks for that.

Follow-up from 0c1e767e83ec66

Closes #5963