test1148: tolerate progress updates better (again)

- Ignore intermediate progress updates.

- Support locales that use a character other than period as decimal
  separator (eg 100,0%).

test1148 checks that the progress finishes at 100% and has the right
bar width. Prior to this change the test assumed that the only progress
reported for such a quick transfer was 100%, however in rare instances
(like in the CI where transfer time can slow considerably) there may be
intermediate updates. For example, below is stderrlog1148 from a failed
CI run with explicit \r and \n added (it is one line; broken up so that
it's easier to understand).

\r
\r##################################                                        48.3%
\r######################################################################## 100.0%
\n

Closes https://github.com/curl/curl/pull/5194

sshserver.pl: use cached Win32 environment check variable

appveyor: partially revert 3413a110 to keep build without proxy

Ref: #5211 and #4526
Reported-by: Marcel Raad

appveyor: ignore failing 'connect to non-listening proxy' tests

Closes #5211

CI/macos: convert CRLF to LF and align indentation

url: allow non-HTTPS altsvc-matching for debug builds

This is already partly supported but this part was missing.
Reported-by: James Fuller
Closes #5205

server/resolve: remove AI_CANONNAME to make macos tell the truth

With this bit set, my mac successfully resolves "ip6-localhost" when in
fact there is no such host known to my machine! That in turn made test
241 wrongly execute and fail.

Closes #5202

runtests: fix warning about using an undefined variable

Follow-up from 4d939ef6ceb2db1

release-notes: fix the initial reference list output

github actions: run when pushed to master or */ci + PRs

Avoid double-builds when using "local" branches for PRs. For both macos
and fuzz jobs.

Closes #5201

runtests: provide nicer errormsg when protocol "dump" file is empty

schannel: support .P12 or .PFX client certificates

Used with curl command line option like this: --cert
<filename>:<password> --cert-type p12

Closes #5193

tests: verify split initial HTTP requests with CURL_SMALLREQSEND

test1294: "split request" being when the entire request isn't sent in
the first go, and the remainder is sent in the PERFORM state. A GET
request is otherwise not sending anything during PERFORM.

test1295: same kind of split but with POST

Closes #5197

http: don't consider upload done if the request isn't completely sent off

Fixes #4919
Closes #5197

http: allow Curl_add_buffer_send() to do a short first send by force

In a debug build, settting the environment variable "CURL_SMALLREQSEND"
will make the first HTTP request send not send more bytes than the set
amount, thus ending up verifying that the logic for handling a split
HTTP request send works correctly.

connect: store connection info for QUIC connections

Restores the --head functionality to the curl utility which extracts
'protocol' that is stored that way.

Reported-by: James Fuller
Fixes #5196
Closes #5198

tests/README: update the port numbers list

Since the pipelining server is long gone.
Reported-by: James Fuller

select: remove typecast from SOCKET_WRITABLE/READABLE macros

So that they don't hide conversions-by-mistake

Reviewed-by: Jay Satiro
Closes #5190

CURLOPT_WRITEFUNCTION.3: add inline example and new see-also

Closes #5192

release-notes: output trailing references sorted numerically

cleanup: correct copyright year range on a few files

configure: remove use of -vec-report0 from CFLAGS with icc

... as it apparently isn't (always) supported.
Reported-by: Alain Miniussi
Fixes #5096
Closes #5191

warnless: remove code block for icc that didn't work

Reported-by: Alain Miniussi
Fixes #5096

dist: add missing setup-win32.h

Follow up to d820224b8b

RELEASE-NOTES: synced

scripts/release-notes.pl: add helper script for RELEASE-NOTES maintenance

This script helps putting entries in the RELEASE-NOTES using a coherent
style and sorting with a minimal human editing effort - as long as the
first line in the commit message is good enough! There's a short howto
at the top of the file.

configure: don't check for Security.framework when cross-compiling

Since it checks for the local file, not the cross-compiled one.

Closes #5189

TODO: Option to make -Z merge lined based outputs on stdout

Closes #5175

lib: never define CURL_CA_BUNDLE with a getenv

- it breaks the build (since 6de756c9b1de34b7a1)
- it's not documented and not consistent across platforms
- the curl tool does that getenv magic

Bug: https://github.com/curl/curl/commit/6de756c#r38127030
Reported-by: Gisle Vanem
Closes #5187

lib670: use the same Win32 API check as all other lib tests

appveyor: use random test server ports based upon APPVEYOR_API_URL

Avoid conflicts of test server ports with AppVeyor API on localhost.

Closes #5034

appveyor: sort builds by type and add two new variants

Related to #5034 and #5063

appveyor: show failed tests in log even if test is ignored

And print API response with newline only if there is one

appveyor: turn disabled tests into ignored result tests

KNOWN_BUGS: fixed "USE_UNIX_SOCKETS on Windows"

Fixed with #5170 (commit 23a870f2fd041278)

test1566: verify --etag-compare that gets a 304 back

Verifies the fix in #5183

Closes #5186

CURLINFO_CONDITION_UNMET: return true for 304 http status code

In libcurl, CURLINFO_CONDITION_UNMET is used to avoid writing to the
output file if the server did not transfered a file based on time
condition. In the same manner, getting a 304 HTTP response back from the
server, for example after passing a custom If-Match-* header, also
fulfill this condition.

Fixes #5181
Closes #5183

curl: allow both --etag-compare and --etag-save with same file name

This change inverse the order of processing for the --etag-compare and
--etag-save option to process first --etag-compare. This in turn allows
to use the same file name to compare and save an etag.

The original behavior of not failing if the etag file does not exists is
conserved.

Fixes #5179
Closes #5180

windows: enable UnixSockets with all build toolchains

Extend existing unix socket support in Windows builds to be
enabled for all toolchain vendors or versions. (Previously
it was only supported with certain MSVC versions + more recent
Windows 10 SDKs)

Ref: https://devblogs.microsoft.com/commandline/af_unix-comes-to-windows/
Ref: https://github.com/curl/curl/issues/5162
Closes: https://github.com/curl/curl/pull/5170

KNOWN_BUGS: Store TLS context per transfer instead of per connection

Closes #5102

sockfilt: remove redundancy in timeout handling

And update other logmsg output in select_ws on Windows.

sockfilt: fix handling of ready closed sockets on Windows

Replace the incomplete workaround regarding FD_CLOSE
only signalling once by instead doing a pre-check with
standard select and storing the result for later use.

select keeps triggering on closed sockets on Windows while
WSAEventSelect fires only once with data still available.
By doing the pre-check we do not run in a deadlock
due to waiting forever for another FD_CLOSE event.

sockfilt: fix race-condition of waiting threads and event handling

Fix race-condition of waiting threads finishing while events are
already being processed which lead to invalid or skipped events.

Use mutex to check for one event at a time or do post-processing.
In addition to mutex-based locking use specific event as signal.

Closes #5156

CI-fuzz: increase fuzz time to 40 minutes

Closes #5174

CI: increase Azure Pipelines timeouts due to performance issues

The current demand on Azure negatively impacts the CI performance.

runtests.pl: log host OS as detected by Perl environment

ftpserver.pl: log before and after data connection is closed

RELEASE-NOTES: synced

RELEASE-PROCEDURE.md: run the copyright.pl script!

vquic/ngtcp2.h: update copyright year range

Follow-up to 0736ee73d346a52

CI: add build with ngtcp2 + gnutls on Travis CI

vquic: add support for GnuTLS backend of ngtcp2

Currently, the TLS backend used by vquic/ngtcp2.c is selected at compile
time. Therefore OpenSSL support needs to be explicitly disabled.

Signed-off-by: Daiki Ueno <dueno@redhat.com>
Closes #5148

examples/sessioninfo.c: add include to fix compiler warning

Fixes #5171

misc: copyright year updates

Follow-up to 7a71965e9

build: fixed build for systems with select() in unistd.h

Closes #5169

memdebug: don't log free(NULL)

... it serves no purpose and fills up the log.

cleanup: insert newline after if() conditions

Our code style mandates we put the conditional block on a separate
line. These mistakes are now detected by the updated checksrc.

checksrc: warn on obvious conditional blocks on the same line as if()

Closes #5164

cmake: add CMAKE_MSVC_RUNTIME_LIBRARY

Fixes #5165
Closes #5167

ngtcp2: update to git master for the key installation API change

This updates the ngtcp2 OpenSSL backend to follow the API change in
commit 32e703164 of ngtcp2.

Notable changes are:
- ngtcp2_crypto_derive_and_install_{rx,tx}_key have been added to replace
  ngtcp2_crypto_derive_and_install_key
- the 'side' argument of ngtcp2_crypto_derive_and_install_initial_key
  has been removed

Fixes #5166
Closes #5168

SECURITY.md: minor rephrase

Closes #5158

output.d: quote the URL when globbing

Some shells do globbing of their own unless the URL is quoted, so maybe
encourage this.

Co-authored-by: Jay Satiro
Closes #5160

dist: add tests/version-scan.pl to tarball

... used in test 1177.

Follow-up to a97d826f6de3

test1177: verify that all the CURL_VERSION_ bits are documented

curl.h: remnove CURL_VERSION_ESNI. Never supported nor documented

Considered experimental and therefore we can do this.

Closes #5157

KNOWN_BUGS: DoH doesn't inherit all transfer options

Closes #4578
Closes #4579

KNOWN_BUGS: DoH leaks memory after followlocation

Closes #4592

KNOWN_BUGS: "FTPS needs session reuse"

Closes #4654

KNOWN_BUGS: "stick to same family over SOCKS pro" is presumed fixed

TODO: Set custom client ip when using haproxy protocol

Closes #5125

writeout_json: Fix data type issues

Load long values correctly (e.g. for http_code).

Use curl_off_t (not long) for:
- size_download (CURLINFO_SIZE_DOWNLOAD_T)
- size_upload (CURLINFO_SIZE_UPLOAD_T)

The unit for these values is bytes/second, not microseconds:
- speed_download (CURLINFO_SPEED_DOWNLOAD_T)
- speed_upload (CURLINFO_SPEED_UPLOAD_T)

Fixes #5131
Closes #5152

mailmap: fixup a few author names/fields

Douglas Steinwand, Gökhan Şengün, Jessa Chandler, Julian Z and
Svyatoslav Mishyn

version: add 'cainfo' and 'capath' to version info struct

Suggested-by: Timothe Litt
URL: https://curl.haxx.se/mail/lib-2020-03/0090.html
Reviewed-by: Jay Satiro
Closes #5150

RELEASE-NOTES: synced

SSLCERTS.md: Fix example code for setting CA cert file

Prior to this change the documentation erroneously said use
CURLOPT_CAPATH to set a CA cert file.

Bug: https://curl.haxx.se/mail/lib-2020-03/0121.html
Reported-by: Timothe Litt
Closes https://github.com/curl/curl/pull/5151

sockfilt: add logmsg output to select_ws_wait_thread on Windows

Assisted-by: Jay Satiro
Reviewed-by: Daniel Stenberg
Closes #5086

docs/make: generate curl.1 from listed files only

Previously it rendered the page from files matching "*.d" in the correct
directory, which worked fine in git builds when the files were added but
made it easy to forget adding the files to the dist.

Now, only man page sections listed in DPAGES in Makefile.inc will be
used, thus "forcing" us to update this to get the man page right and get
it included in the dist at the same time.

Ref: #5146
Closes #5149

openssl: adapt to functions marked as deprecated since version 3

OpenSSL 3 deprecates SSL_CTX_load_verify_locations and the MD4, DES
functions we use.

Fix the MD4 and SSL_CTX_load_verify_locations warnings.

In configure, detect OpenSSL v3 and if so, inhibit the deprecation
warnings. OpenSSL v3 deprecates the DES functions we use for NTLM and
until we rewrite the code to use non-deprecated functions we better
ignore these warnings as they don't help us.

Closes #5139

dist: add mail-rcpt-allowfails.d to the tarball

Reported-by: Maksim Stsepanenka
Reviewed-by: Jat Satiro
Closes #5146

travis: update the ngtcp2 build to use the latest OpenSSL patch

... which also makes it OpenSSL 1.1.1d based and not v3.

CI: remove default Ubuntu build from GitHub Actions

We are already running a very similar Ubuntu build on Travis CI.
The macOS variant of this default build is kept on Github Actions.

CI: bring GitHub Actions fuzzing job in line with macOS jobs

Update YAML formatting, job naming and triggers.

CI: migrate macOS jobs from Azure and Travis CI to GitHub Actions

Reduce workload on Azure Pipelines and Travis CI while
consolidating macOS jobs onto less utilized GitHub Actions.

Reviewed-by: Daniel Stenberg
Closes #5124

config: remove all defines of HAVE_DES_H

As there's no code using it.

Closes #5144

copyright: fix out-of-date copyright ranges and missing headers

Reported by the new script 'scripts/copyright.pl'. The script has a
regex whitelist for the files that don't need copyright headers.

Removed three (mostly usesless) README files from docs/

Closes #5141

packages: add OS400/chkstrings.c to the dist

Reported-by: Jon Rumsey
Fixes #5142
Closes #5143

nghttp2: 1.12.0 required

since nghttp2_session_set_local_window_size is needed

Closes #5140

RELEASE-NOTES: synced

OS400: Update strings for ccsid-ifier

Fixes build.

Closes #5132

cirrus: make freebsd ignore the tests instead of skipping

To allow us to see in the CI logs how they actually behave

Closes #5091

cirrus: move the sanitizer build from freebsd 13 to freebsd 12

Revert "cirrus-ci: disable the FreeBSD 13 builds"

This reverts commit 691b71be930f0e285c8f7a76efd56bbe0576cda6.

getinfo: provide CURLINFO_HEADER_SIZE and CURLINFO_REQUEST_SIZE override

To let debug-builds return fake values, like in test 970.

Ref: #5131
Closes #5136

test970: improve the test

- send more data to make problems more obvious
- don't start the data with minus, it makes diffs harder to read
- skip the headers in the stdout comparison
- save to a file name to also verify 'filename_effective'

Ref: #5131

CURLINFO_NUM_CONNECTS: improve accuracy

The counter was not bumped in all cases correctly.

Reported-by: Marcel Raad
Ref: #5131
Closes #5135

TODO: Use "random" ports for the test servers

lib/curl_setup: adjust the copyright year range

Follow-up from d820224b8

curl_setup: define _WIN32_WINNT_[OS] symbols

.. because not all Windows build systems have those symbols, and even
those that do may be missing newer symbols (eg the Windows 7 SDK does
not define _WIN32_WINNT_WIN10).

Those symbols are used in build-time logic to decide which API to use
and prior to this change if the symbols were missing it would have
resulted in deprecated API being used when more recent functions were
available (eg GetVersionEx used instead of VerifyVersionInfo).

Reported-by: FuccDucc@users.noreply.github.com
Probably fixes https://github.com/curl/curl/issues/4995
Closes https://github.com/curl/curl/pull/5057

curl-functions.m4: remove inappropriate AC_REQUIRE

AC_REQUIRE means "if this macro hasn't been executed already, execute
it".  So in a wrapper around AC_RUN_IFELSE, AC_REQUIRE(AC_RUN_IFELSE)
isn't correct at that will execute AC_RUN_IFELSE without any arguments.

With autoconf 2.69 this is basically a no-op, but with autoconf 2.70,
AC_RUN_IFELSE without a default value when cross-compiling is fatal.
The result is that curl with autoconf 2.70 cannot cross-compile.

Fixes https://github.com/curl/curl/issues/5126
Closes https://github.com/curl/curl/pull/5130

ci/tests: fix Azure Pipelines not running Windows containers

Workaround posted here: microsoft/azure-pipelines-agent#2864

Assisted-by: Simon Chalifoux
Assisted-by: Tommy Petty
Fixes #5117
Closes #5129