test1245: make it work with dynamic FTP server port

test1055: make it work with dynamic FTP port

test1028: make it run on dynamic FTP server port

tests: move pingpong server to dynamic listening port

FTP, IMAP, POP3, SMTP and their IPv6 versions are now all on dynamic
ports

Test 842-845 are unfortunately a bit hard to move over to this concept
right now and require "default port" still...

test1056: work with dynamic HTTP ipv6 port

test1448: work with dynamic HTTP server port

tests: introduce preprocessed test cases

The runtests script now always performs variable replacement on the
entire test source file before the test gets executed, and saves the
updated version in a temporary file (log/test[num]) so that all test
case readers/servers can use that version (if present) and thus enjoy
the powers of test case variable substitution.

This is necessary to allow complete port number freedom.

Test 309 is updated to work with a non-fixed port number thanks to this.

tests: make 2006-2010 handle different port number lengths

tests: run the sws server on "any port"

Makes the test servers for HTTP and Gopher pop up on a currently unused
port and runtests adapts to that!

Closes #5247

sockfilt: tidy variable naming and data structure in select_ws

This commit does not introduce any logical changes to the code.

Reviewed-by: Jay Satiro and Marcel Raad
Closes #5238

libssh: Use new ECDSA key types to check known hosts

From libssh 0.9.0, ssh_key_type() returns different key types for ECDSA
keys depending on the curve.

Signed-off-by: Anderson Toshiyuki Sasaki <ansasaki@redhat.com>
Fixes #5252
Closes #5253

appveyor: add Unicode winbuild jobs

These are cheap as they don't build tests.

Closes https://github.com/curl/curl/pull/5063

mqttd: s/errno/SOCKERRNO

To behave proper on Windows
Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/5e855bbd18f84a02c951be7cac6188276818cdac#r38507132
Closes #5241

buildconf: use find -execdir instead, remove -print and the ares files

Follow-up to 1e41bec96a6e

Suggested-by: Marc Hörsken

buildconf: avoid using tempfile when removing files

Closes #5213

copyright: bump the copyright year range

scripts/release-notes.pl: accept colon after the Fixes/Closes keywords

docs/MQTT: replace confusing 80 by 75

I was a bit surprised by the `80`: first thought: what's HTTP doing
here? ;)

Closes #5236

cmake: Avoid MSVC C4273 warnings in send/recv checks

We use `check_c_source_compiles` to check possible send/recv signatures
by reproducing the forward declarations from system headers.  On Windows
the `winsock2.h` header adds dll linkage settings to its forward
declaration.  If ours does not match the compiler warns:

    warning C4273: 'recv': inconsistent dll linkage

Add `WINSOCK_API_LINKAGE` to our test signatures when it is defined so
that our linkage is consistent with that from `winsock2.h`.

Fixes #4764
Closes #5232

KNOWN_BUGS: Add entry 'Blocking socket operations'

- Add threaded resolver cleanup and GSSAPI for FTP to the TODO list of
  known blocking operations.

- New known bugs entry 'Blocking socket operations in non-blocking API'
  that directs to the TODO's list of known blocking operations.

Ref: https://github.com/curl/curl/pull/5214#issuecomment-612488021

Reported-by: Marc Hoersken
Closes https://github.com/curl/curl/pull/5216

test2043: use revoked.badssl.com instead of revoked.grc.com

The certificate of revoked.grc.com has expired on 2020-04-13.

Reviewed-by: Jay Satiro
Closes #5233

sockfilt: fix broken pipe on Windows to be ready in select_ws

Closes #5228

RELEASE-NOTES: synced

scripts/release-notes: fix duplicate output header

github/workflow: enable MQTT in the macOS debug build

azure: add mqtt support to one of the Windows builds

travis: add mqtt job on Linux

tests: add four MQTT tests 1190 - 1193

tests: add the mqtt test server mqttd

tests: support hex encoded data and mqtt server

The mqtt server is started using a "random" port.

mqtt: add new experimental protocol

Closes #5173

TODO: Consider convenience options for JSON and XML?

Closes #5203

tool: do not declare functions with Curl_ prefix

To avoid collision risks with private libcurl symbols when linked with
static versions (or just versions not hiding internal symbols).

Reported-by: hydra3333 on github
Fixes #5219
Closes #5234

cmake: add aliases so exported target names are available in tree

Reviewed-by: Brad King
Closes #5206

version: increase buffer space for ssl version output

To avoid it getting truncated, especially when several SSL backends are
built-in.

Reported-by: Gisle Vanem
Fixes #5222
Closes #5226

cirrus: no longer ignore test 504 which is working again

The test is working again, because TCP blackholing is disabled.

appveyor: completely disable tests that fail to timeout early

The tests changed from ignored to disabled are tests that are
about connecting to non-listening socket. On AppVeyor these
tests are not reliable, because for some unknown reason the
connect is not timing out before the test time limit is reached.

test1908: avoid using fixed port number in test data

Closes #5225

schannel: Fix blocking timeout logic

- Fix schannel_send for the case when no timeout was set.

Prior to this change schannel would error if the socket was not ready
to send data and no timeout was set.

This commit is similar to parent commit 89dc6e0 which recently made the
same change for SOCKS, for the same reason. Basically it was not well
understood that when Curl_timeleft returns 0 it is not a timeout of 0 ms
but actually means no timeout.

Fixes https://github.com/curl/curl/issues/5177
Closes https://github.com/curl/curl/pull/5221

socks: Fix blocking timeout logic

- Document in Curl_timeleft's comment block that returning 0 signals no
  timeout (ie there's infinite time left).

- Fix SOCKS' Curl_blockread_all for the case when no timeout was set.

Prior to this change if the timeout had a value of 0 and that was passed
to SOCKET_READABLE it would return right away instead of blocking. That
was likely because it was not well understood that when Curl_timeleft
returns 0 it is not a timeout of 0 ms but actually means no timeout.

Ref: https://github.com/curl/curl/pull/5214#issuecomment-612512360

Closes https://github.com/curl/curl/pull/5220

gopher: check remaining time left during write busy loop

Prior to this change gopher's blocking code would block forever,
ignoring any set timeout value.

Assisted-by: Jay Satiro
Reviewed-by: Daniel Stenberg
Similar to #5220 and #5221
Closes #5214

gnutls: ensure TLS 1.3 when SRP isn't requested

When SRP is requested in the priority string, GnuTLS will disable
support for TLS 1.3. Before this change, curl would always add +SRP to
the priority list, effectively always disabling TLS 1.3 support.

With this change, +SRP is only added to the priority list when SRP
authentication is also requested. This also allows updating the error
handling here to not have to retry without SRP. This is because SRP is
only added when requested and in that case a retry is not needed.

Closes #5223

tests/server: add hidden window to gracefully handle WM_CLOSE

Forward Window events as signals to existing signal event handler.

tests/server: add CTRL event handler for Win32 consoles

Forward CTRL events as signals to existing signal event handler.

tests/server: move all signal handling routines to util.[ch]

Avoid code duplication to prepare for portability enhancements.

compressed.d: stress that the headers are not modified

Suggested-by: Michael Osipov
Assisted-by: Jay Satiro
Bug: https://github.com/curl/curl/issues/5182#issuecomment-611638008
Closes #5217

tests/server/util.c: use curl_off_t instead of long for pid

Avoid potential overflow of huge PIDs on Windows.

Related to #5188
Assisted-by: Marcel Raad

tests: use Cygwin/msys PIDs for stunnel and sshd on Windows

Since the Windows versions of both programs would write Windows
PIDs to their pidfiles which we cannot handle, we need to use
our known perl.exe Cygwin/msys PID together with exec() in order
to tie the spawned processes to the existance of our perl.exe

The perl.exe that is executing secureserver.pl and sshserver.pl
has a Cygwin/msys PID, because it is started inside Cygwin/msys.

Related to #5188

tests: add Windows compatible pidwait like pidkill and pidterm

Related to #5188

tests: fix conflict between Cygwin/msys and Windows PIDs

Add 65536 to Windows PIDs to allow Windows specific treatment
by having disjunct ranges for Cygwin/msys and Windows PIDs.

See also:
- https://cygwin.com/git/?p=newlib-cygwin.git;a=commit; ↵
  h=b5e1003722cb14235c4f166be72c09acdffc62ea
- https://cygwin.com/git/?p=newlib-cygwin.git;a=commit; ↵
  h=448cf5aa4b429d5a9cebf92a0da4ab4b5b6d23fe

Replaces #5178
Closes #5188

RELEASE-NOTES: synced

release-notes.pl: detect the start of the references in cleanup mode

Revert "file: on Windows, refuse paths that start with \\"

This reverts commit 1b71bc532bde8621fd3260843f8197182a467ff2.

Reminded-by: Chris Roberts
Bug: https://curl.haxx.se/mail/archive-2020-04/0013.html

Closes #5215

lib: fix conversion warnings for SOCKET_WRITABLE/READABLE

- If loss of data may occur converting a timediff_t to time_t and
  the time value is > TIME_T_MAX then treat it as TIME_T_MAX.

This is a follow-up to 8843678 which removed the (time_t) typecast
from the macros so that conversion warnings could be identified.

Closes https://github.com/curl/curl/pull/5199

test1148: tolerate progress updates better (again)

- Ignore intermediate progress updates.

- Support locales that use a character other than period as decimal
  separator (eg 100,0%).

test1148 checks that the progress finishes at 100% and has the right
bar width. Prior to this change the test assumed that the only progress
reported for such a quick transfer was 100%, however in rare instances
(like in the CI where transfer time can slow considerably) there may be
intermediate updates. For example, below is stderrlog1148 from a failed
CI run with explicit \r and \n added (it is one line; broken up so that
it's easier to understand).

\r
\r##################################                                        48.3%
\r######################################################################## 100.0%
\n

Closes https://github.com/curl/curl/pull/5194

sshserver.pl: use cached Win32 environment check variable

appveyor: partially revert 3413a110 to keep build without proxy

Ref: #5211 and #4526
Reported-by: Marcel Raad

appveyor: ignore failing 'connect to non-listening proxy' tests

Closes #5211

CI/macos: convert CRLF to LF and align indentation

url: allow non-HTTPS altsvc-matching for debug builds

This is already partly supported but this part was missing.
Reported-by: James Fuller
Closes #5205

server/resolve: remove AI_CANONNAME to make macos tell the truth

With this bit set, my mac successfully resolves "ip6-localhost" when in
fact there is no such host known to my machine! That in turn made test
241 wrongly execute and fail.

Closes #5202

runtests: fix warning about using an undefined variable

Follow-up from 4d939ef6ceb2db1

release-notes: fix the initial reference list output

github actions: run when pushed to master or */ci + PRs

Avoid double-builds when using "local" branches for PRs. For both macos
and fuzz jobs.

Closes #5201

runtests: provide nicer errormsg when protocol "dump" file is empty

schannel: support .P12 or .PFX client certificates

Used with curl command line option like this: --cert
<filename>:<password> --cert-type p12

Closes #5193

tests: verify split initial HTTP requests with CURL_SMALLREQSEND

test1294: "split request" being when the entire request isn't sent in
the first go, and the remainder is sent in the PERFORM state. A GET
request is otherwise not sending anything during PERFORM.

test1295: same kind of split but with POST

Closes #5197

http: don't consider upload done if the request isn't completely sent off

Fixes #4919
Closes #5197

http: allow Curl_add_buffer_send() to do a short first send by force

In a debug build, settting the environment variable "CURL_SMALLREQSEND"
will make the first HTTP request send not send more bytes than the set
amount, thus ending up verifying that the logic for handling a split
HTTP request send works correctly.

connect: store connection info for QUIC connections

Restores the --head functionality to the curl utility which extracts
'protocol' that is stored that way.

Reported-by: James Fuller
Fixes #5196
Closes #5198

tests/README: update the port numbers list

Since the pipelining server is long gone.
Reported-by: James Fuller

select: remove typecast from SOCKET_WRITABLE/READABLE macros

So that they don't hide conversions-by-mistake

Reviewed-by: Jay Satiro
Closes #5190

CURLOPT_WRITEFUNCTION.3: add inline example and new see-also

Closes #5192

release-notes: output trailing references sorted numerically

cleanup: correct copyright year range on a few files

configure: remove use of -vec-report0 from CFLAGS with icc

... as it apparently isn't (always) supported.
Reported-by: Alain Miniussi
Fixes #5096
Closes #5191

warnless: remove code block for icc that didn't work

Reported-by: Alain Miniussi
Fixes #5096

dist: add missing setup-win32.h

Follow up to d820224b8b

RELEASE-NOTES: synced

scripts/release-notes.pl: add helper script for RELEASE-NOTES maintenance

This script helps putting entries in the RELEASE-NOTES using a coherent
style and sorting with a minimal human editing effort - as long as the
first line in the commit message is good enough! There's a short howto
at the top of the file.

configure: don't check for Security.framework when cross-compiling

Since it checks for the local file, not the cross-compiled one.

Closes #5189

TODO: Option to make -Z merge lined based outputs on stdout

Closes #5175

lib: never define CURL_CA_BUNDLE with a getenv

- it breaks the build (since 6de756c9b1de34b7a1)
- it's not documented and not consistent across platforms
- the curl tool does that getenv magic

Bug: https://github.com/curl/curl/commit/6de756c#r38127030
Reported-by: Gisle Vanem
Closes #5187

lib670: use the same Win32 API check as all other lib tests

appveyor: use random test server ports based upon APPVEYOR_API_URL

Avoid conflicts of test server ports with AppVeyor API on localhost.

Closes #5034

appveyor: sort builds by type and add two new variants

Related to #5034 and #5063

appveyor: show failed tests in log even if test is ignored

And print API response with newline only if there is one

appveyor: turn disabled tests into ignored result tests

KNOWN_BUGS: fixed "USE_UNIX_SOCKETS on Windows"

Fixed with #5170 (commit 23a870f2fd041278)

test1566: verify --etag-compare that gets a 304 back

Verifies the fix in #5183

Closes #5186

CURLINFO_CONDITION_UNMET: return true for 304 http status code

In libcurl, CURLINFO_CONDITION_UNMET is used to avoid writing to the
output file if the server did not transfered a file based on time
condition. In the same manner, getting a 304 HTTP response back from the
server, for example after passing a custom If-Match-* header, also
fulfill this condition.

Fixes #5181
Closes #5183

curl: allow both --etag-compare and --etag-save with same file name

This change inverse the order of processing for the --etag-compare and
--etag-save option to process first --etag-compare. This in turn allows
to use the same file name to compare and save an etag.

The original behavior of not failing if the etag file does not exists is
conserved.

Fixes #5179
Closes #5180

windows: enable UnixSockets with all build toolchains

Extend existing unix socket support in Windows builds to be
enabled for all toolchain vendors or versions. (Previously
it was only supported with certain MSVC versions + more recent
Windows 10 SDKs)

Ref: https://devblogs.microsoft.com/commandline/af_unix-comes-to-windows/
Ref: https://github.com/curl/curl/issues/5162
Closes: https://github.com/curl/curl/pull/5170

KNOWN_BUGS: Store TLS context per transfer instead of per connection

Closes #5102

sockfilt: remove redundancy in timeout handling

And update other logmsg output in select_ws on Windows.

sockfilt: fix handling of ready closed sockets on Windows

Replace the incomplete workaround regarding FD_CLOSE
only signalling once by instead doing a pre-check with
standard select and storing the result for later use.

select keeps triggering on closed sockets on Windows while
WSAEventSelect fires only once with data still available.
By doing the pre-check we do not run in a deadlock
due to waiting forever for another FD_CLOSE event.

sockfilt: fix race-condition of waiting threads and event handling

Fix race-condition of waiting threads finishing while events are
already being processed which lead to invalid or skipped events.

Use mutex to check for one event at a time or do post-processing.
In addition to mutex-based locking use specific event as signal.

Closes #5156

CI-fuzz: increase fuzz time to 40 minutes

Closes #5174

CI: increase Azure Pipelines timeouts due to performance issues

The current demand on Azure negatively impacts the CI performance.

runtests.pl: log host OS as detected by Perl environment