dynbuf: introduce internal generic dynamic buffer functions

A common set of functions instead of many separate implementations for
creating buffers that can grow when appending data to them. Existing
functionality has been ported over.

In my early basic testing, the total number of allocations seem at
roughly the same amount as before, possibly a few less.

See docs/DYNBUF.md for a description of the API.

Closes #5300

runtests: remove sleep calls

Remove many one second sleeps that were done *after* each newly started
test server already has been verified. They should not have any purpose
there.

Closes #5323

asyn-*: remove support for never-used NULL entry pointers

... and instead convert those to asserts to make sure they are truly
never NULL.

Closes #5324

doc: Rename VERSIONS to VERSIONS.md as it already has Markdown syntax

Closes #5325

asyn-thread: fix cppcheck warning

- Check for NULL entry parameter before attempting to deref entry in
  Curl_resolver_is_resolved, like is already done in asyn-ares.

This is to silence cppcheck which does not seem to understand that
asyn-ares and asyn-thread have separate Curl_resolver_is_resolved
and those units are mutually exclusive. Prior to this change it warned
of a scenario where asyn-thread's Curl_resolver_is_resolved is called
with a NULL entry from asyn-ares, but that couldn't happen.

Reported-by: rl1987@users.noreply.github.com
Fixes https://github.com/curl/curl/issues/5326

select: fix overflow protection in Curl_socket_check

Follow-up to a96c752 which changed the timeout_ms type from time_t to
timediff_t.

Ref: https://github.com/curl/curl/pull/5240

Closes https://github.com/curl/curl/pull/5286

sockfilt: make select_ws stop waiting on exit signal event

This makes sure that select_ws behaves similar to real select
which stops waiting on a signal handler being triggered.

This makes it possible to gracefully stop sockfilt.exe on
Windows with taskkill /IM sockfilt.exe (without /F force flag).

Reviewed-by: Jay Satiro
Part of #5260

tests/server/util.[ch]: add exit event to stop waiting on Windows

This commit adds a global exit event to the test servers that
Windows-specific wait routines can use to get triggered if the
program was signaled to be terminated, eg. select_ws in sockfilt.c

The exit event will be managed by the signal handling code and is
set to not reset automatically to support multiple wait routines.

Reviewed-by: Jay Satiro
Closes #5260

tests/server/util.c: fix thread handle not being closed

Reviewed-by: Jay Satiro
Part of #5260

tests/server/util.c: use raise instead of calling signal handler

Use raise to trigger signal handler instead of calling it
directly and causing potential unexpected control flow.

Reviewed-by: Jay Satiro
Part of #5260

tests: add support for SSH server variant specific transfer paths

OpenSSH for Windows requires paths in the format of /C:/
instead of the pseudo-POSIX paths /cygdrive/c/ or just /c/

Reviewed-by: Daniel Stenberg
Closes #5298

RELEASE-NOTES: synced

libssh2: set the expected total size in SCP upload init

... as otherwise the progress callback gets called without that
information, making the progress meter have less info.

Reported-by: Murugan Balraj
Bug: https://curl.haxx.se/mail/archive-2020-05/0000.html
Closes #5317

runtests: make the logmsg from the ssh server only show in verbose

tests: make test 1248 + 1249 use %NOLISTENPORT

... instead of a port of a non-running server so that it works
stand-alone.

Closes #5318

examples: remove asiohiper.cpp

This example has repeatedly been reported to contain bugs, and as users
copy and paste code from this into production, I now deem it better to
not provide the example at all.

Closes #5090
Closes #5322

doc: add missing closing parenthesis in CURLINFO_SSL_VERIFYRESULT.3

Closes #5320

KNOWN_BUGS: Remove "curl --upload-file . hang if delay in STDIN"

It was fixed in 9a2cbf3

Closes #5319

cirrus: disable SFTP and SCP tests

... as we can't seem to start the sshd server on it. Those problems
existed before d1239b50bececd (running the SSH server on a random port),
but they're more noticable now since there are more failed attempts in
the logs.

Closes #5315

runtests: fix typo in the existence of disabled tests checker

Closes #5316

test75: Remove precheck test

This has not been needed since commit 9fa42bed and often prevents it
from running at all with dynamic test ports.

tests: Stop referring to server ports when they're not used

Several tests referred to specific server ports even when the test
didn't actually use that server or specify that it's needed. In such
cases, the test harness substitutes the text "[not running]" as the port
number which causes many such tests to fail due to the inability to
parse the URL.  These tests are changed to use %NOLISTENPORT which will
always be substituted correctly.

GnuTLS: Backend support for CURLINFO_SSL_VERIFYRESULT

Closes #5287

conncache: various concept cleanups

More connection cache accesses are protected by locks.

CONNCACHE_* is a beter prefix for the connection cache lock macros.

Curl_attach_connnection: now called as soon as there's a connection
struct available and before the connection is added to the connection
cache.

Curl_disconnect: now assumes that the connection is already removed from
the connection cache.

Ref: #4915
Closes #5009

tests: tests: run stunnel for HTTPS and FTPS on dynamic ports

As stunnel is an external tool and it has no specific option to export
the actually used port number when asked to listen to 0, runtests
instead iterates over ten randomly picked high number ports and sticks
to the first one stunnel can listen to.

Closes #5267

tests: pick a random port number for SSH

Since sshd doesn't have such an option by itself, we iterate over a
series of random ports until one works.

Closes #5273

libtest/cmake: Remove commented code

These were commented out in e9dd0998706a when Makefile.inc was included
instead. 11 years have passed since then and the commented code is of
course very outdated. Remove it to avoid confusion.

Closes #5311

schannel: source code reindent

White space edits only. Conform better to standard curl source code
indenting style.

Closes #5305

test1177: look for curl.h in source directory

If we use a separate build directory, there is no copy of the header.

Closes #5310

tests: look for preprocessed tests in build directory

... which is not always the same directory as source directory

Closes #5310

RELEASE-NOTES: synced

... and bumped curlver.h to 7.70.1

RELEASE-NOTES: 7.70.0

THANKS: synced with the 7.70.0 release

headers: copyright range fix

doh: Constify some input pointers

Closes #5306

nss: check for PK11_CreateDigestContext() returning NULL

... to avoid crashes!

Reported-by: Hao Wu
Fixes #5302
Closes #5303

travis: bump the wolfssl CI build to use 4.4.0

Closes #5301

copyright updates: adjust year ranges

CI: do not include */ci branches in PR builds

Align Azure Pipelines with GitHub Actions.

runtests: check for the disabled tests relative srcdir

To make it work correctly for out-of-tree builds.

Follow-up to 75e8feb6fb08b

Bug: https://github.com/curl/curl/pull/5288#issuecomment-619346389
Reported-by: Marcel Raad
Closes #5297

runtests: revert commenting out a line I did for debugging

Follow-up to 11091cd4d. It was not meant to be pushed!

smtp: set auth correctly

Regression since 7.69.0 and 68fb25fa3fcff.

The code wrongly assigned 'from' instead of 'auth' which probably was a
copy and paste mistake from other code, leading to that auth could
remain NULL and later cause an error to be returned.

Assisted-by: Eric Sauvageau
Fixes #5294
Closes #5295

lib: clean up whitespace

This fixes CodeFactor warnings.

libssh: avoid options override by configuration files

Previously, options set explicitly through command line options could be
overridden by the configuration files parsed automatically when
ssh_connect() was called.

By calling ssh_options_parse_config() explicitly, the configuration
files are parsed before setting the options, avoiding the options
override.  Once the configuration files are parsed, the automatic
configuration parsing is not executed.

Fixes #4972
Closes #5283
Signed-off-by: Anderson Toshiyuki Sasaki <ansasaki@redhat.com>

runtests: when <killserver> mentions http, kill http/2 too

Since the http2 test server is a mere proxy that needs to know about the
dynamic port the HTTP server is using, it too needs to get restarted
when the http server is killed.

A regression caused by 80d6515.

Fixes #5289
Closes #5291

docs: fix two typos

Closes #5292

tests/git: ignore mqttd and port files

Closes #5290

tests: make runtests check that disabled tests exists

... and error out if so. Removed '536' from DISABLED as there is no such
test file.

Closes #5288

test1154: set a proper name

select: make Curl_socket_check take timediff_t timeout

Coverity found CID 1461718:

Integer handling issues (CONSTANT_EXPRESSION_RESULT) "timeout_ms >
9223372036854775807L" is always false regardless of the values of its
operands. This occurs as the logical second operand of "||".

Closes #5240

libcurl-multi.3: added missing full stop

Closes #5285

transfer: Switch PUT to GET/HEAD on 303 redirect

Prior to this change if there was a 303 reply to a PUT request then
the subsequent request to respond to that redirect would also be a PUT.
It was determined that was most likely incorrect based on the language
of the RFCs. Basically 303 means "see other" resource, which implies it
is most likely not the same resource, therefore we should not try to PUT
to that different resource.

Refer to the discussions in #5237 and #5248 for more information.

Fixes https://github.com/curl/curl/issues/5237
Closes https://github.com/curl/curl/pull/5248

lib/mk-ca-bundle: skip empty certs

Reviewed-by: Emil Engler
Reported-by: Ashwin Metpalli
Fixes #5278
Closes #5280

version: skip idn2_check_version() check and add precaution

A gcc-10's -fanalyze complaint made me spot and do these improvements.

Closes #5281

RELEASE-NOTES: synced

curl.h: update comment typo

"routines with be invoked" -> "routines will be invoked"

Closes #5279

GnuTLS: Don't skip really long certificate fields

Closes #5271

gnutls: bump lowest supported version to 3.1.10

GnuTLS 3.1.10 added new functions we want to use. That version was
released on Mar 22, 2013. Removing support for older versions also
greatly simplifies the code.

Ref: #5271
Closes #5276

mqtt: make NOSTATE get within the debug name array

tests: run the RTSP test server on a dynamic port number

To avoid port collisions.

Closes #5272

tests: add %NOLISTENPORT and use it

The purpose with this variable is to provide a port number that is
reasonably likely to not have a listener on the local host so that tests
can try connect failures against it. It uses port 47 - "reserved"
according to IANA.

Updated six tests to use it instead of the previous different ports.

Assisted-by: Emil Engler
Closes #5270

mqtt: remove code with no purpose

Detected by Coverity. CID 1462319.

"The same code is executed when the condition result is true or false,
because the code in the if-then branch and after the if statement is
identical."

Closes #5275

mqtt: fix Curl_read()  error handling while reading remaining length

Detected by Coverity. CID 1462320.

Closes #5274

server/tftpd: fix compiler warning

Follow-up from 369ce38ac1d
Reported-by: Marc Hörsken

http: free memory when Alt-Used header creation fails due to OOM

Reported-by: James Fuller
Fixes #5268
Closes #5269

lib: fix typos in comments and errormessages

This fixes a few randomly spotted typos in recently merged code, most
notably one in a userfacing errormessage the schannel code.

tests: run the SOCKS test server on a dynamic port number

Closes #5266

multi-ssl: reset the SSL backend on `Curl_global_cleanup()`

When cURL is compiled with support for multiple SSL backends, it is
possible to configure an SSL backend via `curl_global_sslset()`, but
only *before* `curl_global_init()` was called.

If another SSL backend should be used after that, a user might be
tempted to call `curl_global_cleanup()` to start over. However, we did
not foresee that use case and forgot to reset the SSL backend in that
cleanup.

Let's allow that use case.

Fixes #5255
Closes #5257
Reported-by: davidedec on github
Signed-off-by: Johannes Schindelin <johannes.schindelin@gmx.de>

tests: run the TFTP test server on a dynamic port number

Picking a dynamic unused port is better than a fixed to avoid the
collision risk.

Closes #5265

mqtt: improve the state machine

To handle PUBLISH before SUBACK and more.

Updated the existing tests and added three new ones.

Reported-by: Christoph Krey
Bug: https://curl.haxx.se/mail/lib-2020-04/0021.html
Closes #5246

runtests: always put test number in servercmd file

RELEASE-NOTES: synced

release-notes.pl: fix parsing typo

ensure all references to ports are replaced by vars

add more alt-svc test coverage

test1247: use http server to get the port number set

Follow-up to 0f5db7b263f

runtests: use a unix domain socket path with the pid in the name

To make it impossible for test cases to access the file name without
using the proper variable for the purpose.

Closes #5264

src: Remove C99 constructs to ensure C89 compliance

This fixes the error: 'for' loop initial declaration used outside C99
mode by declaring the loop increment variable in the beginning of the
block instead of inside the for loop.

Fixes #5254
Reviewed-by: Daniel Gustafsson <daniel@yesql.se>

runtests: dummy init the ports variables to avoid warnings

... and generate something that can help debug test cases.

mime: properly check Content-Type even if it has parameters

New test 669 checks this fix is effective.

Fixes #5256
Closes #5258
Reported-by: thanhchungbtc on github

tests/FILEFORMAT: converted to markdown and extended

Closes #5261

test1245: make it work with dynamic FTP server port

test1055: make it work with dynamic FTP port

test1028: make it run on dynamic FTP server port

tests: move pingpong server to dynamic listening port

FTP, IMAP, POP3, SMTP and their IPv6 versions are now all on dynamic
ports

Test 842-845 are unfortunately a bit hard to move over to this concept
right now and require "default port" still...

test1056: work with dynamic HTTP ipv6 port

test1448: work with dynamic HTTP server port

tests: introduce preprocessed test cases

The runtests script now always performs variable replacement on the
entire test source file before the test gets executed, and saves the
updated version in a temporary file (log/test[num]) so that all test
case readers/servers can use that version (if present) and thus enjoy
the powers of test case variable substitution.

This is necessary to allow complete port number freedom.

Test 309 is updated to work with a non-fixed port number thanks to this.

tests: make 2006-2010 handle different port number lengths

tests: run the sws server on "any port"

Makes the test servers for HTTP and Gopher pop up on a currently unused
port and runtests adapts to that!

Closes #5247

sockfilt: tidy variable naming and data structure in select_ws

This commit does not introduce any logical changes to the code.

Reviewed-by: Jay Satiro and Marcel Raad
Closes #5238

libssh: Use new ECDSA key types to check known hosts

From libssh 0.9.0, ssh_key_type() returns different key types for ECDSA
keys depending on the curve.

Signed-off-by: Anderson Toshiyuki Sasaki <ansasaki@redhat.com>
Fixes #5252
Closes #5253

appveyor: add Unicode winbuild jobs

These are cheap as they don't build tests.

Closes https://github.com/curl/curl/pull/5063

mqttd: s/errno/SOCKERRNO

To behave proper on Windows
Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/5e855bbd18f84a02c951be7cac6188276818cdac#r38507132
Closes #5241

buildconf: use find -execdir instead, remove -print and the ares files

Follow-up to 1e41bec96a6e

Suggested-by: Marc Hörsken

buildconf: avoid using tempfile when removing files

Closes #5213

copyright: bump the copyright year range

scripts/release-notes.pl: accept colon after the Fixes/Closes keywords

docs/MQTT: replace confusing 80 by 75

I was a bit surprised by the `80`: first thought: what's HTTP doing
here? ;)

Closes #5236

cmake: Avoid MSVC C4273 warnings in send/recv checks

We use `check_c_source_compiles` to check possible send/recv signatures
by reproducing the forward declarations from system headers.  On Windows
the `winsock2.h` header adds dll linkage settings to its forward
declaration.  If ours does not match the compiler warns:

    warning C4273: 'recv': inconsistent dll linkage

Add `WINSOCK_API_LINKAGE` to our test signatures when it is defined so
that our linkage is consistent with that from `winsock2.h`.

Fixes #4764
Closes #5232