appveyor: turn disabled tests into ignored result tests

KNOWN_BUGS: fixed "USE_UNIX_SOCKETS on Windows"

Fixed with #5170 (commit 23a870f2fd041278)

test1566: verify --etag-compare that gets a 304 back

Verifies the fix in #5183

Closes #5186

CURLINFO_CONDITION_UNMET: return true for 304 http status code

In libcurl, CURLINFO_CONDITION_UNMET is used to avoid writing to the
output file if the server did not transfered a file based on time
condition. In the same manner, getting a 304 HTTP response back from the
server, for example after passing a custom If-Match-* header, also
fulfill this condition.

Fixes #5181
Closes #5183

curl: allow both --etag-compare and --etag-save with same file name

This change inverse the order of processing for the --etag-compare and
--etag-save option to process first --etag-compare. This in turn allows
to use the same file name to compare and save an etag.

The original behavior of not failing if the etag file does not exists is
conserved.

Fixes #5179
Closes #5180

windows: enable UnixSockets with all build toolchains

Extend existing unix socket support in Windows builds to be
enabled for all toolchain vendors or versions. (Previously
it was only supported with certain MSVC versions + more recent
Windows 10 SDKs)

Ref: https://devblogs.microsoft.com/commandline/af_unix-comes-to-windows/
Ref: https://github.com/curl/curl/issues/5162
Closes: https://github.com/curl/curl/pull/5170

KNOWN_BUGS: Store TLS context per transfer instead of per connection

Closes #5102

sockfilt: remove redundancy in timeout handling

And update other logmsg output in select_ws on Windows.

sockfilt: fix handling of ready closed sockets on Windows

Replace the incomplete workaround regarding FD_CLOSE
only signalling once by instead doing a pre-check with
standard select and storing the result for later use.

select keeps triggering on closed sockets on Windows while
WSAEventSelect fires only once with data still available.
By doing the pre-check we do not run in a deadlock
due to waiting forever for another FD_CLOSE event.

sockfilt: fix race-condition of waiting threads and event handling

Fix race-condition of waiting threads finishing while events are
already being processed which lead to invalid or skipped events.

Use mutex to check for one event at a time or do post-processing.
In addition to mutex-based locking use specific event as signal.

Closes #5156

CI-fuzz: increase fuzz time to 40 minutes

Closes #5174

CI: increase Azure Pipelines timeouts due to performance issues

The current demand on Azure negatively impacts the CI performance.

runtests.pl: log host OS as detected by Perl environment

ftpserver.pl: log before and after data connection is closed

RELEASE-NOTES: synced

RELEASE-PROCEDURE.md: run the copyright.pl script!

vquic/ngtcp2.h: update copyright year range

Follow-up to 0736ee73d346a52

CI: add build with ngtcp2 + gnutls on Travis CI

vquic: add support for GnuTLS backend of ngtcp2

Currently, the TLS backend used by vquic/ngtcp2.c is selected at compile
time. Therefore OpenSSL support needs to be explicitly disabled.

Signed-off-by: Daiki Ueno <dueno@redhat.com>
Closes #5148

examples/sessioninfo.c: add include to fix compiler warning

Fixes #5171

misc: copyright year updates

Follow-up to 7a71965e9

build: fixed build for systems with select() in unistd.h

Closes #5169

memdebug: don't log free(NULL)

... it serves no purpose and fills up the log.

cleanup: insert newline after if() conditions

Our code style mandates we put the conditional block on a separate
line. These mistakes are now detected by the updated checksrc.

checksrc: warn on obvious conditional blocks on the same line as if()

Closes #5164

cmake: add CMAKE_MSVC_RUNTIME_LIBRARY

Fixes #5165
Closes #5167

ngtcp2: update to git master for the key installation API change

This updates the ngtcp2 OpenSSL backend to follow the API change in
commit 32e703164 of ngtcp2.

Notable changes are:
- ngtcp2_crypto_derive_and_install_{rx,tx}_key have been added to replace
  ngtcp2_crypto_derive_and_install_key
- the 'side' argument of ngtcp2_crypto_derive_and_install_initial_key
  has been removed

Fixes #5166
Closes #5168

SECURITY.md: minor rephrase

Closes #5158

output.d: quote the URL when globbing

Some shells do globbing of their own unless the URL is quoted, so maybe
encourage this.

Co-authored-by: Jay Satiro
Closes #5160

dist: add tests/version-scan.pl to tarball

... used in test 1177.

Follow-up to a97d826f6de3

test1177: verify that all the CURL_VERSION_ bits are documented

curl.h: remnove CURL_VERSION_ESNI. Never supported nor documented

Considered experimental and therefore we can do this.

Closes #5157

KNOWN_BUGS: DoH doesn't inherit all transfer options

Closes #4578
Closes #4579

KNOWN_BUGS: DoH leaks memory after followlocation

Closes #4592

KNOWN_BUGS: "FTPS needs session reuse"

Closes #4654

KNOWN_BUGS: "stick to same family over SOCKS pro" is presumed fixed

TODO: Set custom client ip when using haproxy protocol

Closes #5125

writeout_json: Fix data type issues

Load long values correctly (e.g. for http_code).

Use curl_off_t (not long) for:
- size_download (CURLINFO_SIZE_DOWNLOAD_T)
- size_upload (CURLINFO_SIZE_UPLOAD_T)

The unit for these values is bytes/second, not microseconds:
- speed_download (CURLINFO_SPEED_DOWNLOAD_T)
- speed_upload (CURLINFO_SPEED_UPLOAD_T)

Fixes #5131
Closes #5152

mailmap: fixup a few author names/fields

Douglas Steinwand, Gökhan Şengün, Jessa Chandler, Julian Z and
Svyatoslav Mishyn

version: add 'cainfo' and 'capath' to version info struct

Suggested-by: Timothe Litt
URL: https://curl.haxx.se/mail/lib-2020-03/0090.html
Reviewed-by: Jay Satiro
Closes #5150

RELEASE-NOTES: synced

SSLCERTS.md: Fix example code for setting CA cert file

Prior to this change the documentation erroneously said use
CURLOPT_CAPATH to set a CA cert file.

Bug: https://curl.haxx.se/mail/lib-2020-03/0121.html
Reported-by: Timothe Litt
Closes https://github.com/curl/curl/pull/5151

sockfilt: add logmsg output to select_ws_wait_thread on Windows

Assisted-by: Jay Satiro
Reviewed-by: Daniel Stenberg
Closes #5086

docs/make: generate curl.1 from listed files only

Previously it rendered the page from files matching "*.d" in the correct
directory, which worked fine in git builds when the files were added but
made it easy to forget adding the files to the dist.

Now, only man page sections listed in DPAGES in Makefile.inc will be
used, thus "forcing" us to update this to get the man page right and get
it included in the dist at the same time.

Ref: #5146
Closes #5149

openssl: adapt to functions marked as deprecated since version 3

OpenSSL 3 deprecates SSL_CTX_load_verify_locations and the MD4, DES
functions we use.

Fix the MD4 and SSL_CTX_load_verify_locations warnings.

In configure, detect OpenSSL v3 and if so, inhibit the deprecation
warnings. OpenSSL v3 deprecates the DES functions we use for NTLM and
until we rewrite the code to use non-deprecated functions we better
ignore these warnings as they don't help us.

Closes #5139

dist: add mail-rcpt-allowfails.d to the tarball

Reported-by: Maksim Stsepanenka
Reviewed-by: Jat Satiro
Closes #5146

travis: update the ngtcp2 build to use the latest OpenSSL patch

... which also makes it OpenSSL 1.1.1d based and not v3.

CI: remove default Ubuntu build from GitHub Actions

We are already running a very similar Ubuntu build on Travis CI.
The macOS variant of this default build is kept on Github Actions.

CI: bring GitHub Actions fuzzing job in line with macOS jobs

Update YAML formatting, job naming and triggers.

CI: migrate macOS jobs from Azure and Travis CI to GitHub Actions

Reduce workload on Azure Pipelines and Travis CI while
consolidating macOS jobs onto less utilized GitHub Actions.

Reviewed-by: Daniel Stenberg
Closes #5124

config: remove all defines of HAVE_DES_H

As there's no code using it.

Closes #5144

copyright: fix out-of-date copyright ranges and missing headers

Reported by the new script 'scripts/copyright.pl'. The script has a
regex whitelist for the files that don't need copyright headers.

Removed three (mostly usesless) README files from docs/

Closes #5141

packages: add OS400/chkstrings.c to the dist

Reported-by: Jon Rumsey
Fixes #5142
Closes #5143

nghttp2: 1.12.0 required

since nghttp2_session_set_local_window_size is needed

Closes #5140

RELEASE-NOTES: synced

OS400: Update strings for ccsid-ifier

Fixes build.

Closes #5132

cirrus: make freebsd ignore the tests instead of skipping

To allow us to see in the CI logs how they actually behave

Closes #5091

cirrus: move the sanitizer build from freebsd 13 to freebsd 12

Revert "cirrus-ci: disable the FreeBSD 13 builds"

This reverts commit 691b71be930f0e285c8f7a76efd56bbe0576cda6.

getinfo: provide CURLINFO_HEADER_SIZE and CURLINFO_REQUEST_SIZE override

To let debug-builds return fake values, like in test 970.

Ref: #5131
Closes #5136

test970: improve the test

- send more data to make problems more obvious
- don't start the data with minus, it makes diffs harder to read
- skip the headers in the stdout comparison
- save to a file name to also verify 'filename_effective'

Ref: #5131

CURLINFO_NUM_CONNECTS: improve accuracy

The counter was not bumped in all cases correctly.

Reported-by: Marcel Raad
Ref: #5131
Closes #5135

TODO: Use "random" ports for the test servers

lib/curl_setup: adjust the copyright year range

Follow-up from d820224b8

curl_setup: define _WIN32_WINNT_[OS] symbols

.. because not all Windows build systems have those symbols, and even
those that do may be missing newer symbols (eg the Windows 7 SDK does
not define _WIN32_WINNT_WIN10).

Those symbols are used in build-time logic to decide which API to use
and prior to this change if the symbols were missing it would have
resulted in deprecated API being used when more recent functions were
available (eg GetVersionEx used instead of VerifyVersionInfo).

Reported-by: FuccDucc@users.noreply.github.com
Probably fixes https://github.com/curl/curl/issues/4995
Closes https://github.com/curl/curl/pull/5057

curl-functions.m4: remove inappropriate AC_REQUIRE

AC_REQUIRE means "if this macro hasn't been executed already, execute
it".  So in a wrapper around AC_RUN_IFELSE, AC_REQUIRE(AC_RUN_IFELSE)
isn't correct at that will execute AC_RUN_IFELSE without any arguments.

With autoconf 2.69 this is basically a no-op, but with autoconf 2.70,
AC_RUN_IFELSE without a default value when cross-compiling is fatal.
The result is that curl with autoconf 2.70 cannot cross-compile.

Fixes https://github.com/curl/curl/issues/5126
Closes https://github.com/curl/curl/pull/5130

ci/tests: fix Azure Pipelines not running Windows containers

Workaround posted here: microsoft/azure-pipelines-agent#2864

Assisted-by: Simon Chalifoux
Assisted-by: Tommy Petty
Fixes #5117
Closes #5129

tests: add test 430, 431 and 432 to verify the --config fix

Verify the fixes in 4e0b4fee4

cmdline: fix handling of OperationConfig linked list (--next)

Ensures that -K/--config inserts new items at the end of the list
instead of overwriting the second item, and that after a -K/--config
option has been parsed, the option parser's view of the current config
is update.

Fixes #5120
Closes #5123

test2100: fix static port instead of dynamic value being used

test970: fix static ip:port instead of dynamic values being used

secure transport: remove the BACKEND define kludge

Closes #5122

mbedtls: remove the BACKEND define kludge

bearssl: remove the BACKEND define kludge

wolfssl: remove the BACKEND define kludge

nss: remove the BACKEND define kludge

gnutls: remove the BACKEND define kludge

openssl: remove the BACKEND define kludge

Use a proper variable instead to make it easier to use a debugger and
read the code.

tests: make Python-based servers compatible with Python 2 and 3

Update smbserver.py and negtelnetserver.py to be compatible with
Python 3 while staying backwards-compatible to support Python 2.

Fix string encoding and handling of echoed and transferred data.

Tested with both Python 2.7.17 and Python 3.7.7

Reported-by: Daniel Stenberg
Assisted-by: Kamil Dudka
Reviewed-by: Marcel Raad
Fixes #5104
Closes #5110

writeout_json: use curl_off_t printf() option for the time output

Follow-up to: 04c03416e68fd635a15

Closes #5115

RELEASE-NOTES: synced

Uh, I missed this in 1a46b218db

RELEASE-NOTES: synced

... and bumped curlver.h to 7.70.0

http2: Fix erroneous debug message that h2 connection closed

Prior to this change in libcurl debug builds http2 stream closure was
erroneously referred to as connection closure.

Before:
* nread <= 0, server closed connection, bailing

After:
* nread == 0, stream closed, bailing

Closes https://github.com/curl/curl/pull/5118

tool_setopt: correct the copyright year range

Follow-up to 5450428491

schannel: add "best effort" revocation check option

- Implement new option CURLSSLOPT_REVOKE_BEST_EFFORT and
  --ssl-revoke-best-effort to allow a "best effort" revocation check.

A best effort revocation check ignores errors that the revocation check
was unable to take place. The reasoning is described in detail below and
discussed further in the PR.

---

When running e.g. with Fiddler, the schannel backend fails with an
unhelpful error message:

Unknown error (0x80092012) - The revocation function was unable
to check revocation for the certificate.

Sadly, many enterprise users who are stuck behind MITM proxies suffer
the very same problem.

This has been discussed in plenty of issues:
https://github.com/curl/curl/issues/3727,
https://github.com/curl/curl/issues/264, for example.

In the latter, a Microsoft Edge developer even made the case that the
common behavior is to ignore issues when a certificate has no recorded
distribution point for revocation lists, or when the server is offline.
This is also known as "best effort" strategy and addresses the Fiddler
issue.

Unfortunately, this strategy was not chosen as the default for schannel
(and is therefore a backend-specific behavior: OpenSSL seems to happily
ignore the offline servers and missing distribution points).

To maintain backward-compatibility, we therefore add a new flag
(`CURLSSLOPT_REVOKE_BEST_EFFORT`) and a new option
(`--ssl-revoke-best-effort`) to select the new behavior.

Due to the many related issues Git for Windows and GitHub Desktop, the
plan is to make this behavior the default in these software packages.

The test 2070 was added to verify this behavior, adapted from 310.

Based-on-work-by: georgeok <giorgos.n.oikonomou@gmail.com>
Co-authored-by: Markus Olsson <j.markus.olsson@gmail.com>
Signed-off-by: Johannes Schindelin <johannes.schindelin@gmx.de>
Closes https://github.com/curl/curl/pull/4981

multi: Improve parameter check for curl_multi_remove_handle

- If an easy handle is owned by a multi different from the one specified
  then return CURLM_BAD_EASY_HANDLE.

Prior to this change I assume user error could cause corruption.

Closes https://github.com/curl/curl/pull/5116

windows: suppress UI in all CryptAcquireContext() calls

Ref: https://docs.microsoft.com/windows/win32/api/wincrypt/nf-wincrypt-cryptacquirecontexta#parameters
Reviewed-by: Marc Hörsken
Closes https://github.com/curl/curl/pull/5088

writeout_json: add missing comma to fix the HTTP version

Follow-up to 04c03416e68fd635a15

test 970: verify --write-out '%{json}'

Makes curl_easy_getinfo() of "variable" numerical content instead return
the number set in the env variable `CURL_TIME`.

Makes curl_version() of "variable" textual content. This guarantees a
stable version string which can be tested against. Environment variable
`CURL_VERSION` defines the content.

Assisted-by: Mathias Gumz

writeout: support to generate JSON output

This commit adds support to generate JSON via the writeout feature:

    -w "%{json}"

It leverages the existing infrastructure as much as possible. Thus,
generating the JSON on STDERR is possible by:

    -w "%{stderr}%{json}"

This implements a variant of
https://github.com/curl/curl/wiki/JSON#--write-out-json.

Closes #4870

CI: stop ignoring 323, it is disabled

DISABLED: disable test 323

The test uses SRP to "a server not supporting it" but modern stunnel
versions will silently accept it and remain happy. The test is therefore
faulty.

I haven't figured out how to make stunnel explicitly reject SRP-using
connects.

Reported-by: Marc Hörsken
Fixes #5105
Closes #5113

ci/tests: increase timeouts for torture builds on Azure Pipelines

For some reason the torture builds have slowed down recently.

Reported-by: Daniel Stenberg

cmake: add support for building with wolfSSL

My working build cmdline:

$ cmake -DCMAKE_PREFIX_PATH=$HOME/build-wolfssl -DCMAKE_USE_WOLFSSL=ON .

Assisted-by: Brad King
Closes #5095

tool_operate: fix add_parallel_transfers when more are in queue

Trying to return early from the function if no new transfers were added
would break the "morep" argument and cause issues. This could lead to
zero content "transfers" (within quotes since they would never be
started) when parallel-max was reduced.

Reported-by: Gavin Wong
Analyzed-by: Jay Satiro
Fixes #4937
Closes #5112

vtls: free ssl_config leftovers on out-of-memory

Torture testing 2034 and 2037 found this.

Reported-by: Marc Hörsken
Fixes #5108
Closes #5109

ci/tests: fix Azure Pipelines not running for pull requests

Closes #5111

gskit: update the copyright year range

Follow-up from 083603c63a3

gskit: use our internal select wrapper for portability

Follow up to c52b342
Closes #5106

tests: fix verification of stdout in test 1452 due to newline

Fixes test1452:41:1: error: missing </stdout> tag before </verify>