CURLOPT_SSL_OPTIONS: add *_NATIVE_CA to use Windows CA store (with openssl)

Closes #4346

TODO: native IDN support on macOS

urlapi: accept :: as a valid IPv6 address

Text 1560 is extended to verify.

Reported-by: Pavel Volgarev
Fixes #5344
Closes #5351

THANKS-filter: Peter Wang

*_sspi: fix bad uses of CURLE_NOT_BUILT_IN

Return CURLE_AUTH_ERROR instead of CURLE_NOT_BUILT_IN for other
instances of QuerySecurityPackageInfo failing, as in
commit 2a81439553286f12cd04a4bdcdf66d8e026d8201.

Closes #5355

docs/HTTP3: add qlog to the quiche build instruction

ngtcp2: introduce qlog support

If the QLOGDIR environment variable is set, enable qlogging.

... and create Curl_qlogdir() in the new generic vquic/vquic.c file for
QUIC functions that are backend independent.

Closes #5353

ntlm_sspi: fix bad use of CURLE_NOT_BUILT_IN

That return code is reserved for build-time conditional code not being
present while this was a regular run-time error from a Windows API.

Reported-by: wangp on github
Fixes #5349
Closes #5350

runtests: show elapsed test time with higher precision (ms)

RELEASE-NOTES: synced

http2: simplify and clean up trailer handling

Triggered by a crash detected by OSS-Fuzz after the dynbuf introduction in
ed35d6590e72. This should make the trailer handling more straight forward and
hopefully less error-prone.

Deliver the trailer header to the callback already at receive-time. No
longer caches the trailers to get delivered at end of stream.

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=22030
Closes #5348

appveyor: disable test 1139 instead of ignoring it

Spending time on manpage checking makes no sense
for these builds due to lacking manpage support.

appveyor: disable flaky test 1501 and ignore broken 1056

Test 1501 is flaky on Windows CI due to being time sensitive
and the testsuite relying on taskkill.exe to check for the
existance of processes which can take to much time itself.

Test 1056 is broken in autotools-based Windows builds due
to scope ID support missing in these builds at the moment.

test613.pl: make tests 613 and 614 work with OpenSSH for Windows

OpenSSH for Windows shows group and other/world permissions as *,
because those concepts do not exist on Windows. It also does not
show the current or parent directory, so we just ignore those.

Reviewed-by: Daniel Stenberg
Closes #5328

runtests: set +x mode again

libssh2: convert over to use dynbuf

In my very basic test that lists sftp://127.0.0.1/tmp/, this patched
code makes 161 allocations compared to 194 in git master. A 17%
reduction.

Closes #5336

travis: add "qlog" as feature in the quiche build

quiche: enable qlog output

quiche has the potential to log qlog files. To enable this, you must
build quiche with the qlog feature enabled `cargo build --features
qlog`. curl then passes a file descriptor to quiche, which takes
ownership of the file. The FD transfer only works on UNIX.

The convention is to enable logging when the QLOGDIR environment is
set. This should be a path to a folder where files are written with the
naming template <SCID>.qlog.

Co-authored-by: Lucas Pardue
Replaces #5337
Closes #5341

urldata.h: remove #define HEADERSIZE, not used anymore

Follow-up to ed35d6590e72c

ngtcp2: convert to dynbuf

Closes #5335

connect: make happy eyeballs work for QUIC (again)

Follow-up from dbd16c3e256c6c (regression in 7.70.0)

Closes #5334

connect: add two asserts to clue code analyzers in a little

http_proxy: ported to use dynbuf instead of a static size buffer

Removes a 16K static buffer from the easy handle. Simplifies the code.

dynbuf: introduce internal generic dynamic buffer functions

A common set of functions instead of many separate implementations for
creating buffers that can grow when appending data to them. Existing
functionality has been ported over.

In my early basic testing, the total number of allocations seem at
roughly the same amount as before, possibly a few less.

See docs/DYNBUF.md for a description of the API.

Closes #5300

runtests: remove sleep calls

Remove many one second sleeps that were done *after* each newly started
test server already has been verified. They should not have any purpose
there.

Closes #5323

asyn-*: remove support for never-used NULL entry pointers

... and instead convert those to asserts to make sure they are truly
never NULL.

Closes #5324

doc: Rename VERSIONS to VERSIONS.md as it already has Markdown syntax

Closes #5325

asyn-thread: fix cppcheck warning

- Check for NULL entry parameter before attempting to deref entry in
  Curl_resolver_is_resolved, like is already done in asyn-ares.

This is to silence cppcheck which does not seem to understand that
asyn-ares and asyn-thread have separate Curl_resolver_is_resolved
and those units are mutually exclusive. Prior to this change it warned
of a scenario where asyn-thread's Curl_resolver_is_resolved is called
with a NULL entry from asyn-ares, but that couldn't happen.

Reported-by: rl1987@users.noreply.github.com
Fixes https://github.com/curl/curl/issues/5326

select: fix overflow protection in Curl_socket_check

Follow-up to a96c752 which changed the timeout_ms type from time_t to
timediff_t.

Ref: https://github.com/curl/curl/pull/5240

Closes https://github.com/curl/curl/pull/5286

sockfilt: make select_ws stop waiting on exit signal event

This makes sure that select_ws behaves similar to real select
which stops waiting on a signal handler being triggered.

This makes it possible to gracefully stop sockfilt.exe on
Windows with taskkill /IM sockfilt.exe (without /F force flag).

Reviewed-by: Jay Satiro
Part of #5260

tests/server/util.[ch]: add exit event to stop waiting on Windows

This commit adds a global exit event to the test servers that
Windows-specific wait routines can use to get triggered if the
program was signaled to be terminated, eg. select_ws in sockfilt.c

The exit event will be managed by the signal handling code and is
set to not reset automatically to support multiple wait routines.

Reviewed-by: Jay Satiro
Closes #5260

tests/server/util.c: fix thread handle not being closed

Reviewed-by: Jay Satiro
Part of #5260

tests/server/util.c: use raise instead of calling signal handler

Use raise to trigger signal handler instead of calling it
directly and causing potential unexpected control flow.

Reviewed-by: Jay Satiro
Part of #5260

tests: add support for SSH server variant specific transfer paths

OpenSSH for Windows requires paths in the format of /C:/
instead of the pseudo-POSIX paths /cygdrive/c/ or just /c/

Reviewed-by: Daniel Stenberg
Closes #5298

RELEASE-NOTES: synced

libssh2: set the expected total size in SCP upload init

... as otherwise the progress callback gets called without that
information, making the progress meter have less info.

Reported-by: Murugan Balraj
Bug: https://curl.haxx.se/mail/archive-2020-05/0000.html
Closes #5317

runtests: make the logmsg from the ssh server only show in verbose

tests: make test 1248 + 1249 use %NOLISTENPORT

... instead of a port of a non-running server so that it works
stand-alone.

Closes #5318

examples: remove asiohiper.cpp

This example has repeatedly been reported to contain bugs, and as users
copy and paste code from this into production, I now deem it better to
not provide the example at all.

Closes #5090
Closes #5322

doc: add missing closing parenthesis in CURLINFO_SSL_VERIFYRESULT.3

Closes #5320

KNOWN_BUGS: Remove "curl --upload-file . hang if delay in STDIN"

It was fixed in 9a2cbf3

Closes #5319

cirrus: disable SFTP and SCP tests

... as we can't seem to start the sshd server on it. Those problems
existed before d1239b50bececd (running the SSH server on a random port),
but they're more noticable now since there are more failed attempts in
the logs.

Closes #5315

runtests: fix typo in the existence of disabled tests checker

Closes #5316

test75: Remove precheck test

This has not been needed since commit 9fa42bed and often prevents it
from running at all with dynamic test ports.

tests: Stop referring to server ports when they're not used

Several tests referred to specific server ports even when the test
didn't actually use that server or specify that it's needed. In such
cases, the test harness substitutes the text "[not running]" as the port
number which causes many such tests to fail due to the inability to
parse the URL.  These tests are changed to use %NOLISTENPORT which will
always be substituted correctly.

GnuTLS: Backend support for CURLINFO_SSL_VERIFYRESULT

Closes #5287

conncache: various concept cleanups

More connection cache accesses are protected by locks.

CONNCACHE_* is a beter prefix for the connection cache lock macros.

Curl_attach_connnection: now called as soon as there's a connection
struct available and before the connection is added to the connection
cache.

Curl_disconnect: now assumes that the connection is already removed from
the connection cache.

Ref: #4915
Closes #5009

tests: tests: run stunnel for HTTPS and FTPS on dynamic ports

As stunnel is an external tool and it has no specific option to export
the actually used port number when asked to listen to 0, runtests
instead iterates over ten randomly picked high number ports and sticks
to the first one stunnel can listen to.

Closes #5267

tests: pick a random port number for SSH

Since sshd doesn't have such an option by itself, we iterate over a
series of random ports until one works.

Closes #5273

libtest/cmake: Remove commented code

These were commented out in e9dd0998706a when Makefile.inc was included
instead. 11 years have passed since then and the commented code is of
course very outdated. Remove it to avoid confusion.

Closes #5311

schannel: source code reindent

White space edits only. Conform better to standard curl source code
indenting style.

Closes #5305

test1177: look for curl.h in source directory

If we use a separate build directory, there is no copy of the header.

Closes #5310

tests: look for preprocessed tests in build directory

... which is not always the same directory as source directory

Closes #5310

RELEASE-NOTES: synced

... and bumped curlver.h to 7.70.1

RELEASE-NOTES: 7.70.0

THANKS: synced with the 7.70.0 release

headers: copyright range fix

doh: Constify some input pointers

Closes #5306

nss: check for PK11_CreateDigestContext() returning NULL

... to avoid crashes!

Reported-by: Hao Wu
Fixes #5302
Closes #5303

travis: bump the wolfssl CI build to use 4.4.0

Closes #5301

copyright updates: adjust year ranges

CI: do not include */ci branches in PR builds

Align Azure Pipelines with GitHub Actions.

runtests: check for the disabled tests relative srcdir

To make it work correctly for out-of-tree builds.

Follow-up to 75e8feb6fb08b

Bug: https://github.com/curl/curl/pull/5288#issuecomment-619346389
Reported-by: Marcel Raad
Closes #5297

runtests: revert commenting out a line I did for debugging

Follow-up to 11091cd4d. It was not meant to be pushed!

smtp: set auth correctly

Regression since 7.69.0 and 68fb25fa3fcff.

The code wrongly assigned 'from' instead of 'auth' which probably was a
copy and paste mistake from other code, leading to that auth could
remain NULL and later cause an error to be returned.

Assisted-by: Eric Sauvageau
Fixes #5294
Closes #5295

lib: clean up whitespace

This fixes CodeFactor warnings.

libssh: avoid options override by configuration files

Previously, options set explicitly through command line options could be
overridden by the configuration files parsed automatically when
ssh_connect() was called.

By calling ssh_options_parse_config() explicitly, the configuration
files are parsed before setting the options, avoiding the options
override.  Once the configuration files are parsed, the automatic
configuration parsing is not executed.

Fixes #4972
Closes #5283
Signed-off-by: Anderson Toshiyuki Sasaki <ansasaki@redhat.com>

runtests: when <killserver> mentions http, kill http/2 too

Since the http2 test server is a mere proxy that needs to know about the
dynamic port the HTTP server is using, it too needs to get restarted
when the http server is killed.

A regression caused by 80d6515.

Fixes #5289
Closes #5291

docs: fix two typos

Closes #5292

tests/git: ignore mqttd and port files

Closes #5290

tests: make runtests check that disabled tests exists

... and error out if so. Removed '536' from DISABLED as there is no such
test file.

Closes #5288

test1154: set a proper name

select: make Curl_socket_check take timediff_t timeout

Coverity found CID 1461718:

Integer handling issues (CONSTANT_EXPRESSION_RESULT) "timeout_ms >
9223372036854775807L" is always false regardless of the values of its
operands. This occurs as the logical second operand of "||".

Closes #5240

libcurl-multi.3: added missing full stop

Closes #5285

transfer: Switch PUT to GET/HEAD on 303 redirect

Prior to this change if there was a 303 reply to a PUT request then
the subsequent request to respond to that redirect would also be a PUT.
It was determined that was most likely incorrect based on the language
of the RFCs. Basically 303 means "see other" resource, which implies it
is most likely not the same resource, therefore we should not try to PUT
to that different resource.

Refer to the discussions in #5237 and #5248 for more information.

Fixes https://github.com/curl/curl/issues/5237
Closes https://github.com/curl/curl/pull/5248

lib/mk-ca-bundle: skip empty certs

Reviewed-by: Emil Engler
Reported-by: Ashwin Metpalli
Fixes #5278
Closes #5280

version: skip idn2_check_version() check and add precaution

A gcc-10's -fanalyze complaint made me spot and do these improvements.

Closes #5281

RELEASE-NOTES: synced

curl.h: update comment typo

"routines with be invoked" -> "routines will be invoked"

Closes #5279

GnuTLS: Don't skip really long certificate fields

Closes #5271

gnutls: bump lowest supported version to 3.1.10

GnuTLS 3.1.10 added new functions we want to use. That version was
released on Mar 22, 2013. Removing support for older versions also
greatly simplifies the code.

Ref: #5271
Closes #5276

mqtt: make NOSTATE get within the debug name array

tests: run the RTSP test server on a dynamic port number

To avoid port collisions.

Closes #5272

tests: add %NOLISTENPORT and use it

The purpose with this variable is to provide a port number that is
reasonably likely to not have a listener on the local host so that tests
can try connect failures against it. It uses port 47 - "reserved"
according to IANA.

Updated six tests to use it instead of the previous different ports.

Assisted-by: Emil Engler
Closes #5270

mqtt: remove code with no purpose

Detected by Coverity. CID 1462319.

"The same code is executed when the condition result is true or false,
because the code in the if-then branch and after the if statement is
identical."

Closes #5275

mqtt: fix Curl_read()  error handling while reading remaining length

Detected by Coverity. CID 1462320.

Closes #5274

server/tftpd: fix compiler warning

Follow-up from 369ce38ac1d
Reported-by: Marc Hörsken

http: free memory when Alt-Used header creation fails due to OOM

Reported-by: James Fuller
Fixes #5268
Closes #5269

lib: fix typos in comments and errormessages

This fixes a few randomly spotted typos in recently merged code, most
notably one in a userfacing errormessage the schannel code.

tests: run the SOCKS test server on a dynamic port number

Closes #5266

multi-ssl: reset the SSL backend on `Curl_global_cleanup()`

When cURL is compiled with support for multiple SSL backends, it is
possible to configure an SSL backend via `curl_global_sslset()`, but
only *before* `curl_global_init()` was called.

If another SSL backend should be used after that, a user might be
tempted to call `curl_global_cleanup()` to start over. However, we did
not foresee that use case and forgot to reset the SSL backend in that
cleanup.

Let's allow that use case.

Fixes #5255
Closes #5257
Reported-by: davidedec on github
Signed-off-by: Johannes Schindelin <johannes.schindelin@gmx.de>

tests: run the TFTP test server on a dynamic port number

Picking a dynamic unused port is better than a fixed to avoid the
collision risk.

Closes #5265

mqtt: improve the state machine

To handle PUBLISH before SUBACK and more.

Updated the existing tests and added three new ones.

Reported-by: Christoph Krey
Bug: https://curl.haxx.se/mail/lib-2020-04/0021.html
Closes #5246

runtests: always put test number in servercmd file

RELEASE-NOTES: synced

release-notes.pl: fix parsing typo

ensure all references to ports are replaced by vars

add more alt-svc test coverage

test1247: use http server to get the port number set

Follow-up to 0f5db7b263f

runtests: use a unix domain socket path with the pid in the name

To make it impossible for test cases to access the file name without
using the proper variable for the purpose.

Closes #5264