select: reduce duplication of Curl_poll in Curl_socket_check

Change Curl_socket_check to use select-fallback in Curl_poll
instead of implementing it in Curl_socket_check and Curl_poll.

Reviewed-by: Daniel Stenberg
Reviewed-by: Jay Satiro
Replaces #5262 and #5492
Closes #5707

select: fix poll-based check not detecting connect failure

This commit changes Curl_socket_check to use POLLPRI to
check for connect failure on the write socket, because
POLLPRI maps to fds_err. This is in line with select(2).

The select-based socket check correctly checks for connect
failures by adding the write socket also to fds_err.

The poll-based implementation (which internally can itself
fallback to select again) did not previously check for
connect failure by using POLLPRI with the write socket.

See the follow up commit to this for more information.

This commit makes sure connect failures can be detected
and handled if HAVE_POLL_FINE is defined, eg. on msys2-devel.

Reviewed-by: Daniel Stenberg
Reviewed-by: Jay Satiro
Replaces #5509
Prepares #5707

select.h: make socket validation macros test for INVALID_SOCKET

With Winsock the valid range is [0..INVALID_SOCKET-1] according to
https://docs.microsoft.com/en-us/windows/win32/winsock/socket-data-type-2

Reviewed-by: Jay Satiro
Reviewed-by: Marcel Raad
Reviewed-by: Daniel Stenberg
Closes #5760

docs: --output-dir is added in 7.73.0, nothing else

Follow-up to 5620d2cc78c0

curl: add --output-dir

Works with --create-dirs and with -J

Add test 3008, 3009, 3011, 3012 and 3013 to verify.

Closes #5637

configure: fix pkg-config detecting wolfssl

When amending the include path with "/wolfssl", this now properly strips
off all whitespace from the path variable! Previously this would lead to
pkg-config builds creating bad command lines.

Closes #5848

sftp: add the option CURLKHSTAT_FINE_REPLACE

Replace the old fingerprint of the host with a new.

Closes #5685

RELEASE-NOTES: synced

The next release is now to become 7.73.0

checksrc: verify do-while and spaces between the braces

Updated mprintf.c to comply

Closes #5845

curl: support XDG_CONFIG_HOME to find .curlrc

Added test433 to verify. Updated documentation.

Reviewed-by: Jay Satiro
Suggested-by: Eli Schwartz
Fixes #5829
Closes #5837

etag: save and use the full received contents

... which makes it support weak tags and non-standard etags too!

Added test case 347 to verify blank incoming ETag:

Fixes #5610
Closes #5833

setopt: if the buffer exists, refuse the new BUFFERSIZE

The buffer only exists during transfer and then we shouldn't change the
size (the setopt is not documented to work then).

Reported-by: Harry Sintonen
Closes #5842

sftp: add new quote commands 'atime' and 'mtime'

Closes #5810

CURLE_PROXY: new error code

Failures clearly returned from a (SOCKS) proxy now causes this return
code. Previously the situation was not very clear as what would be
returned and when.

In addition: when this error code is returned, an application can use
CURLINFO_PROXY_ERROR to query libcurl for the detailed error, which then
returns a value from the new 'CURLproxycode' enum.

Closes #5770

runtests: make cleardir() erase dot files too

Because test cases might use dot files.

Closes #5838

KNOWN_BUGS:  'no_proxy' string-matches IPv6 numerical addreses

Also: the current behavior is now documented in the curl.1 and
CURLOPT_NOPROXY.3 man pages.

Reported-by: Andrew Barnes
Closes #5745
Closes #5841

Makefile.m32: add ability to override zstd libs [ci skip]

Similarly to brotli, where this was already possible.
E.g. it allows to link zstd statically to libcurl.dll.

Ref: https://github.com/curl/curl-for-win/issues/12
Ref: https://github.com/curl/curl-for-win/commit/d9b266afd2e5d3f5604483010ef62340b5918c89

Closes https://github.com/curl/curl/pull/5840

runtests: avoid 'fail to start' repeated messages in attempt loops

Closes #5834

runtests: clear pid variables when failing to start a server

... as otherwise the parent doesn't detect the failure and believe it
actually worked to start.

Reported-by: Christian Weisgerber
Bug: https://curl.haxx.se/mail/lib-2020-08/0018.html
Closes #5834

TODO: Virtual external sockets

Closes #5835

dist: add missing CMake Find modules to the distribution

Closes #5836

RELEASE-NOTES: synced

... and version bumped to 7.72.1

tls: provide the CApath verbose log on its own line

... not newline separated from the previous line. This makes it output
asterisk prefixed properly like other verbose putput!

Reported-by: jmdavitt on github
Fixes #5826
Closes #5827

RELEASE-NOTES: synced

The curl 7.72.0 release

THANKS: add names from curl 7.72.0 release

KNOWN_BUGS: Schannel TLS 1.2 handshake bug in old Windows versions

Reported-by: plujon@users.noreply.github.com
Closes https://github.com/curl/curl/issues/5488

Curl_easy: remember last connection by id, not by pointer

CVE-2020-8231

Bug: https://curl.haxx.se/docs/CVE-2020-8231.html

Reported-by: Marc Aldorasi
Closes #5824

examples/rtsp.c: correct the copyright year

RELEASE-PROCEDURE.md: add more future release dates

docs: change "web site" to "website"

According to wikipedia:

 While "web site" was the original spelling, this variant has become
 rarely used, and "website" has become the standard spelling

Closes #5822

CMake: don't complain about missing nroff

The curl_nroff_check() was always being called, and complaining if
*NROFF wasn't found, even when not making the manual.

Only check for nroff (and complain) if actually making the manual

Closes #5817

libtest/Makefile.am: add -no-undefined for libstubgss for Cygwin

copy the LDFLAGS approach for adding same option with `libhostname` in
`libtest/Makefile.am`:

- init `libstubgss_la_LDFLAGS_EXTRA` variable,
- add option to variable inside conditional,
- use variable in `libstubgss_la_LDFLAGS`

Fixes #5819
Closes #5820

docs: clarify MAX_SEND/RECV_SPEED functionality

... in particular what happens if the maximum speed limit is set to a
value that's smaller than the transfer buffer size in use.

Reported-by: Tomas Berger
Fixes #5788
Closes #5813

test1140: compare stdout

To make problems more immediately obvious when tests fail.

Closes #5814

asyn-ares: correct some bad comments

Closes #5812

docs: Add video link to docs/CONTRIBUTE.md

Closes #5811

curl-config: ignore REQUIRE_LIB_DEPS in --libs output

Fixes a curl-config issue on cygwin by making sure REQUIRE_LIB_DEPS is
not considered for the --libs output.

Reported-by: ramsay-jones on github
Assisted-by: Brian Inglis and Ken Brown
Fixes #5793
Closes #5808

copyright: update/correct the year range on a few files

scripts/copyright.pl: ignore .muse files

multi: Remove 10-year old out-commented code

The code hasn't been touched since 2010-08-18

Closes #5805

KNOWN_BUGS: A shared connection cache is not thread-safe

Closes #4915
Closes #5802

CONTRIBUTE: extend git commit message description

In particular how the first line works.

Closes #5803

RELEASE-NOTES: synced

transfer: move retrycount from connect struct to easy handle

This flag was applied to the connection struct that is released on
retry.  These changes move the retry counter into Curl_easy struct that
lives across retries and retains the new connection.

Reported-by: Cherish98 on github
Fixes #5794
Closes #5800

libssh2: s/ssherr/sftperr/

The debug output used ssherr instead of sftperr which not only outputs
the wrong error code but also casues a warning on Windows.

Follow-up to 7370b4e39f1

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/7370b4e39f1390e701f5b68d910c619151daf72b#r41334700
Closes #5799

ftp: don't do ssl_shutdown instead of ssl_close

The shutdown function is for downgrading a connection from TLS to plain,
and this is not requested here.

Have ssl_close reset the TLS connection state.

This partially reverts commit f002c850d98d

Reported-by: Rasmus Melchior Jacobsen
Reported-by: Denis Goleshchikhin
Fixes #5797

CI/azure: fix test outcome values and use latest API version

This makes sure that tests ignored or skipped are not shown
just in the category "Other", but with their correct state.

Closes #5796

CI/azure: show runtime stats to investigate slowness

Also avoid naming conflict of TFLAGS env and tflags variables.

Closes #5776

TLS naming: fix more Winssl and Darwinssl leftovers

The CMake option is now called CMAKE_USE_SCHANNEL

The winbuild flag is USE_SCHANNEL

The CI jobs and build scripts only use the new names and the new name
options

Tests now require 'Schannel' (when necessary)

Closes #5795

smtp_parse_address: handle blank input string properly

Closes #5792

runtests: run the DICT server on a random port number

Removed support for -b (base port number)

Closes #5783

RELEASE-NOTES: synced

runtests: move the TELNET server to a dynamic port

Rename the port variable to TELNETPORT to better match the existing
pattern.

Closes #5785

ngtcp2: adapt to error code rename

Closes #5786

runtests: move the smbserver to use a dynamic port number

Closes #5782

runtests: run the http2 tests on a random port number

Closes #5779

gtls: survive not being able to get name/issuer

Closes #5778

runtests: move the gnutls-serv tests to a dynamic port

Affects test 320, 321, 322 and 324.

Closes #5778

runtests: support dynamicly base64 encoded sections in tests

This allows us to make test cases to use base64 at run-time and still
use and verify information determined at run-time, such as the IMAP test
server's port number in test 842.

This change makes 12 tests run again that basically never ran since we
moved to dynamic port numbers.

ftpserver.pl is adjusted to load test instructions and test number from
the preprocessed test file.

FILEFORMAT.md now documents the new base64 encoding syntax.

Reported-by: Marcel Raad
Fixes #5761
Closes #5775

curl.1: add a few missing valid exit codes

93 - 96 can be returned as well.

Closes #5777

TODO: Use multiple parallel transfers for a single download

Closes #5774

TODO: Set the modification date on an uploaded file

Closes #5768

CI: Add muse CI config

Closes #5772

travis/script.sh: fix use of `-n' with unquoted envvar

Shellcheck tells us "-n doesn't work with unquoted arguments. quote or
use [[ ]]."

And testing shows:

```
docker run --rm -it ubuntu bash
root@fe85ce156856:/# [ -n $DOES_NOT_EXIST ] && echo "I ran"
I ran
root@fe85ce156856:/# [ -n "$DOES_NOT_EXIST" ] && echo "I ran"
root@fe85ce156856:/#
```

Closes #5773

h2: repair trailer handling

The previous h2 trailer fix in 54a2b63 was wrong and caused a
regression: it cannot deal with trailers immediately when read since
they may be read off the connection by the wrong 'data' owner.

This change reverts the logic back to gathering all trailers into a
single buffer, like before 54a2b63.

Reported-by: Tadej Vengust
Fixes #5663
Closes #5769

windows: disable Unix Sockets for old mingw

Classic mingw and 10y+ old versions of mingw-w64 don't ship with
Windows headers having the typedef necessary for Unix Sockets
support, so try detecting these environments to disable this
feature.

Ref: https://sourceforge.net/p/mingw-w64/mingw-w64/ci/cf6afc57179a5910621215f8f4037d406892072c/

Reviewed-by: Daniel Stenberg
Fixes #5674
Closes #5758

test1908: treat file as text

Fixes the line endings on Windows.

Closes https://github.com/curl/curl/pull/5767

TrackMemory tests: ignore realloc and free in getenv.c

These are only called for WIN32.

Closes https://github.com/curl/curl/pull/5767

tests/FILEFORMAT.md: mention %HTTP2PORT

RELEASE-NOTES: synced

tlsv1.3.d. only for TLS-using connections

... and rephrase that "not all" TLS backends support it.

Closes #5764

tls-max.d: this option is only for TLS-using connections

Ref: #5763
Closes #5764

tool_doswin: Simplify Windows version detection

Closes https://github.com/curl/curl/pull/5754

win32: Add Curl_verify_windows_version() to curlx

Closes https://github.com/curl/curl/pull/5754

runtests.pl: treat LibreSSL and BoringSSL as OpenSSL

This makes the tests that require the OpenSSL feature also run for
those two compatible libraries.

Closes https://github.com/curl/curl/pull/5762

multi: Condition 'extrawait' is always true

Reported by Codacy.

Reviewed-by: Marcel Raad
Closes #5759

openssl: fix build with LibreSSL < 2.9.1

`SSL_CTX_add0_chain_cert` and `SSL_CTX_clear_chain_certs` were
introduced in LibreSSL 2.9.1 [0].

[0] https://github.com/libressl-portable/openbsd/commit/0db809ee178457c8170abfae3931d7bd13abf3ef

Closes https://github.com/curl/curl/pull/5757

multi_remove_handle: close unused connect-only connections

Previously any connect-only connections in a multi handle would be kept
alive until the multi handle was closed.  Since these connections cannot
be re-used, they can be marked for closure when the associated easy
handle is removed from the multi handle.

Closes #5749

checksrc: invoke script with -D to find .checksrc proper

Without the -D command line option, checksrc.pl won't know which
directory to load the ".checksrc" file from when building out of the
source tree.

Reported-by: Marcel Raad
Fixes #5715
Closes #5755

buildconf: retire ares buildconf invocation

no longer needed after 4259d2df7dd95637a4b1e3fb174fe5e5aef81069

buildconf: excempt defunct reference to ACLOCAL_FLAGS

retired with 09f278121e815028adb24d228d8092fc6cb022aa but kept around as
the name is generic enough that it might be in use and relied upon from
the environment.

buildconf: avoid array concatenation in die()

reported as error SC2145[1] by shellcheck, but not expected to cause
any behavioural differences otherwise.

[1] https://github.com/koalaman/shellcheck/wiki/SC2145

Closes #5701

travis: add ppc64le and s390x builds

Closes #5752

connect: remove redundant message about connect failure

Reviewed-by: Daniel Stenberg
Closes #5708

tests/sshserver.pl: fix compatibility with OpenSSH for Windows

Follow up to #5721

CI/azure: install libssh2 for use with msys2-based builds

This enables building and running the SFTP tests.
Unfortunately OpenSSH for Windows does not support SCP (yet).

Reviewed-by: Daniel Stenberg
Closes #5721

CI/azure: increase Windows job timeout once again

Avoid aborted jobs due to performance issues on Azure DevOps.

Reviewed-by: Daniel Stenberg
Reviewed-by: Jay Satiro
Closes #5738

TODO: Schannel: 'Add option to allow abrupt server closure'

We should offer an option to allow abrupt server closures (server closes
SSL transfer without sending a known termination point such as length of
transfer or close_notify alert). Abrupt server closures are usually
because of misconfigured or very old servers.

Closes https://github.com/curl/curl/issues/4427

url: fix CURLU and location following

Prior to this change if the user set a URL handle (CURLOPT_CURLU) it was
incorrectly used for the location follow, resulting in infinite requests
to the original location.

Reported-by: sspiri@users.noreply.github.com
Fixes https://github.com/curl/curl/issues/5709
Closes https://github.com/curl/curl/pull/5713

RELEASE-NOTES: synced

docs: add date of 7.20 to CURLM_CALL_MULTI_PERFORM mentions

it helps make it obvious that most developers don't have to care about
the CURLM_CALL_MULTI_PERFORM value (last release using it is nearly 11
years old, November 4 2009)

Closes #5744

tool_cb_wrt: fix outfile mode flags for Windows

- Use S_IREAD and S_IWRITE mode permission flags to create the file
  on Windows instead of S_IRUSR, S_IWUSR, etc.

Windows only accepts a combination of S_IREAD and S_IWRITE. It does not
acknowledge other combinations, for which it may generate an assertion.

This is a follow-up to 81b4e99 from yesterday, which improved the
existing file check with -J.

Ref: https://docs.microsoft.com/en-us/cpp/c-runtime-library/reference/open-wopen#remarks
Ref: https://github.com/curl/curl/pull/5731

Closes https://github.com/curl/curl/pull/5742

checksrc: ban gmtime/localtime

They're not thread-safe so they should not be used in libcurl code.

Explictly enabled when deemed necessary and in examples and tests

Reviewed-by: Nicolas Sterchele
Closes #5732

transfer: fix data_pending for builds with both h2 and h3 enabled

Closes #5734

curl_multi_setopt: fix compiler warning "result is always false"

On systems with 32 bit long the expression is always false. Avoid
the warning.

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/61a08508f6a458fe21bbb18cd2a9bac2f039452b#commitcomment-40941232
Closes #5736

curl: improve the existing file check with -J

Previously a file that isn't user-readable but is user-writable would
not be properly avoided and would get overwritten.

Reported-by: BrumBrum on hackerone
Assisted-by: Jay Satiro
Bug: https://hackerone.com/reports/926638
Closes #5731

multi: update comment to say easyp list is linear

Since 09b9fc900 (multi: remove 'Curl_one_easy' struct, phase 1,
2013-08-02), the easy handle list is not circular but ends with
->next pointing to NULL.

Reported-by: Masaya Suzuki <masayasuzuki@google.com>
Closes #5737

CURLOPT_NOBODY.3: fix the syntax for referring to options

As test 1140 fails otherwise!

Follow-up to e1bac81cc815

ngtcp2: store address in sockaddr_storage

Reported-by: Tatsuhiro Tsujikawa
Closes #5733

CURLOPT_NOBODY.3: clarify what setting to 0 means

... and mention that HTTP with other methods than HEAD might get a body and
there's no option available to stop that.

Closes #5729