ci/tests: Make it possible to still run but ignore failing tests

This enables the development of a solution for the failing tests by
running them on CI while ignoring their result for the overall status.

Closes #4994

README.md: add Azure DevOps Pipelines build status badge

ci/tests: Move CI test result creation above environment setup

This avoids using our test servers as proxy to the AppVeyor API.

Closes #5022

ci/tests: Send test results to AppVeyor for status overview

Closes #5021

Revert "sha256: Added SecureTransport implementation"

This reverts commit 4feb38deed33fed14ff7c370a6a9153c661dbb9c (from #4956)

That commit broke test 1610 on macos builds without TLS.

Closes #5027

dist: include tests/azure.pm in the tarball

Bug: https://github.com/curl/curl/commit/ada581f2cc32f48c1629b729707ac19208435b27#commitcomment-37601589
Reported-by: Marcel Raad

configure.ac: Disable metalink if mbedTLS is specified

Follow up to cdcc9df1 and #5006. Even though I mentioned mbedTLS as
being one of the backends that metalink needs to be disabled for, I
seem to have included it in the list of allowed SSL/TLS backends in
comnfigure.ac :(

Closes #5013

sha256: Tidy up following recent changes

Reviewed-by: Daniel Stenberg
Closes #4956

sha256: Added WinCrypt implementation

sha256: Added SecureTransport implementation

sha256: Added mbedtls implementation

sha256: Added GNU TLS gcrypt implementation

sha256: Added GNU TLS Nettle implementation

curl_escape.3: Add a link to curl_free

Ref: https://github.com/curl/curl/pull/5016#issuecomment-593628582

curl_getenv.3: Fix the memory handling description

- Tell the user to call curl_free() to free the pointer returned by
  curl_getenv().

Prior to this change the user was directed to call free(), but that
would not work in cases where the library and application use separate C
runtimes and therefore have separate heap memory management.

Closes https://github.com/curl/curl/pull/5016

md4: use init/update/final functions in Secure Transport

We can use CC_MD4_Init/Update/Final without having to allocate memory
directly.

Closes #4979

ci/tests: some MacOS builds randomly take longer than 20min

multi_wait: stop loop when sread() returns zero

It's unclear why it would ever return zero here, but this change fixes
Robert's problem and it shouldn't loop forever...

Reported-by: Robert Dunaj
Bug: https://curl.haxx.se/mail/archive-2020-02/0011.html
Closes #5019

http: mark POSTs with no body as "upload done" from the start

As we have logic that checks if we get a >= 400 reponse code back before
the upload is done, which then got confused since it wasn't "done" but
yet there was no data to send!

Reported-by: IvanoG on github
Fixes #4996
Closes #5002

tests: disable 962, 963 and 964 on Windows

These tests are also doing UTF-8 SMTP.

Follow-up to df207d2dd93b9e73

ci/tests: fine-tune Azure Pipeline timeouts with a small puffer

configure: bump the AC_COPYRIGHT year range

tests: disable SMTP UTF-8 tests on Windows

Fixes #4988
Closes #4992

formdata/mime: copyright year range update

Due to the merge/revert cycle

Revert "mime: latch last read callback status."

This reverts commit 87869e38d7afdec3ef1bb4965711458b088e254f.

Fixes #5014
Closes #5015
Reopens #4833

Revert "mime: do not perform more than one read in a row"

This reverts commit ed0f357f7d25566110d4302f33759f4ffb5a6f83.

Revert "mime: fix the binary encoder to handle large data properly"

This reverts commit b2caaa0681f329eed317ffb6ae6927f4a539f0c1.

altsvc: both h3 backends now speak h3-27

... also updated the HTTP3 build description for ngtcp2 accordingly.

mime: fix the binary encoder to handle large data properly

New test 666 checks this is effective.
As upload buffer size is significant in this kind of tests, shorten it
in similar test 652.

Fixes #4860
Reported-by: RuurdBeerstra on github

mime: do not perform more than one read in a row

Input buffer filling may delay the data sending if data reads are slow.
To overcome this problem, file and callback data reads do not accumulate
in buffer anymore. All other data (memory data and mime framing) are
considered as fast and still concatenated in buffer.
As this may highly impact performance in terms of data overhead, an early
end of part data check is added to spare a read call.
When encoding a part's data, an encoder may require more bytes than made
available by a single read. In this case, the above rule does not apply
and reads are performed until the encoder is able to deliver some data.

Tests 643, 644, 645, 650 and 654 have been adapted to the output data
changes, with test data size reduced to avoid the boredom of long lists of
1-byte chunks in verification data.
New test 664 checks mimepost using single-byte read callback with encoder.
New test 665 checks the end of part data early detection.

Fixes #4826
Reported-by: MrdUkk on github

mime: latch last read callback status.

In case a read callback returns a status (pause, abort, eof,
error) instead of a byte count, drain the bytes read so far but
remember this status for further processing.
Takes care of not losing data when pausing, and properly resume a
paused mime structure when requested.
New tests 670-673 check unpausing cases, with easy or multi
interface and mime or form api.

Fixes #4813
Reported-by: MrdUkk on github
Closes #4833

unit1651: Fixed conversion compilation warning

371:17: warning: conversion to 'unsigned char' from 'int' may alter its
        value [-Wconversion]

Closes #5008

configure.ac: Disable metalink support if an incompatible SSL/TLS specified

tool_metalink only supports cryptography from OpenSSL, GnuTLS, NSS,
The Win32 Crypto library and Apple's Common Crypto library.

If an TLS backend such as mbedTLS or WolfSSL is specified then the
following error is given during compilation along, with a load of
unresolved extern errors:

Can't compile METALINK support without a crypto library.

Reviewed-by: Daniel Stenberg
Closes #5006

ci/tests: Update Azure DevOps pipeline job display names

Make the configure step more descriptive and align others.

ci/tests: Fix typo in previous commit 597cf2

ci/tests: Make sure that the AZURE_ACCESS_TOKEN is available

For security reasons the access token is not available to PR builds.
Therefore we should not try to use the DevOps API with an empty token.

build: remove all HAVE_OPENSSL_ENGINE_H defines

... as there's nothing in the code that actually uses the define! The
last reference was removed in 38203f158.

Closes #5007

CMake: clean up and improve build procedures

- remove check for unsupported old CMake versions

- do not link to c-ares library twice

- modernize custom Find modules

    - FindLibSSH2:
        - pass version to FPHSA to show it in the output
        - use LIBSSH2_VERSION define to extract the version number in
          one shot. This variable exists in the header for 10 years.
        - remove unneeded code

    - FindNGHTTP2.cmake:
        - drop needless FPHSA argument
        - mark found variables as advanced

    - FindNSS.cmake:
        - show version number

    - FindCARES.cmake:
        - drop default paths
        - use FPHSA instead of checking things by hand

- remove needless explict variable dereference

- simplify count_true()

- allow all policies up to version 3.16 to be set to NEW

- do not rerun check for -Wstrict-aliasing=3 every time

In contrast to every other compiler flag this has a = in it, which CMake
can't have in a variable name.

- only read the interesting strings from curlver.h

Reviewed-by: Peter Wu
Closes https://github.com/curl/curl/pull/4975

runtests: fix output to command log

- Record only the command of the most recently ran test in the command
  log.

This is a follow-up to 02988b7 from several weeks ago which fixed
writing to the command log, however it saved all commands for all tests
instead of just the most recently ran test as we would now expect.

Fixes https://github.com/curl/curl/commit/02988b7#commitcomment-37546876
Closes https://github.com/curl/curl/pull/5001

polarssl: Additional removal

Follow up to 6357a19f.

Reviewed-by: Daniel Stenberg
Closes #5004

docs: fix typo on CURLINFO_RETRY_AFTER - alwaus -> always

Reviewed-by: Steve Holme
Closes #5005

md5: Added implementation for mbedTLS

Reviewed-by: Jay Satiro
Closes #4980

md5: Use pointer notation for array parameters in GnuTLS implementation

md4: Use non-deprecated functions in mbedTLS >= 2.7.0

Closes #4983

ci/tests: Send test results to Azure DevOps for reporting

pause: force-drain the transfer on unpause

... since the socket might not actually be readable anymore when for
example the data is already buffered in the TLS layer.

Fixes #4966
Reported-by: Anders Berg
Closes #5000

TODO: curl --proxycommand

Suggested-by: Kristian Mide
Closes #4941

smtp: overwriting 'from' leaks memory

Detected by Coverity. CID 1418139.

Also, make sure to return error if the new 'from' allocation fails.

Closes #4997

CIfuzz: switch off 'dry_run' mode

Follow-up from #4960: now make it fail if it detects problems.

Closes #4998

ci/tests: Increase timeouts of Windows builds due to new tests

Recently added tests increased their runtime above the limit of 60min.

ci/tests: align Azure Pipeline job names with each other

ci/tests: Add Windows builds via Azure Pipelines using Docker

tests: fix Python 3 compatibility of smbserver.py

runtests: restore the command log

The log file with all command lines for the invoked command lines is now
called logs/commands.log

Fixes #4911
Closes #4989

smtp: fix memory leak on exit path

Detected by Coverity. CID 1418139. "leaked_storage: Variable 'from'
going out of scope leaks the storage it points to"

Closes #4990

gtls: Fixed compilation when using GnuTLS < 3.5.0

Reverts the functionality from 41fcb4f when compiling with GnuTLS older
than 3.5.0.

Reviewed-by: Daniel Stenberg
Closes #4984

RELEASE-NOTES: Corrected the link to issue #4892

Curl_is_ASCII_name: handle a NULL argument

Make the function tolerate a NULL pointer input to avoid dereferencing
that pointer.

Follow-up to efce3ea5a85126d
Detected by OSS-Fuzz
Reviewed-By: Steve Holme
Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=20907
Fixes #4985
Closes #4986

RELEASE-NOTES: synced

http2: make pausing/unpausing set/clear local stream window

This reduces the HTTP/2 window size to 32 MB since libcurl might have to
buffer up to this amount of data in memory and yet we don't want it set
lower to potentially impact tranfer performance on high speed networks.

Requires nghttp2 commit b3f85e2daa629
(https://github.com/nghttp2/nghttp2/pull/1444) to work properly, to end
up in the next release after 1.40.0.

Fixes #4939
Closes #4940

libssh: improve known hosts handling

Previously, it was not possible to get a known hosts file entry due to
the lack of an API.  ssh_session_get_known_hosts_entry(), introduced in
libssh-0.9.0, allows libcurl to obtain such information and behave the
same as when compiled with libssh2.

This also tries to avoid the usage of deprecated functions when the
replacements are available.  The behaviour will not change if versions
older than libssh-0.8.0 are used.

Signed-off-by: Anderson Toshiyuki Sasaki <ansasaki@redhat.com>
Fixes #4953
Closes #4962

tests: Automatically deduce the tool name from the test case for unit tests

It is still possible to override the executable to run during the test,
using the <tool> tag, but this patch removes the requirement that the
tag must be present for unit tests.

It also removes the possibility of human error when existing test cases
are used as the basis for new tests, as recently witnessed in 81c37124.

Reviewed-by: Daniel Stenberg
Closes #4976

test1323: Added the missing 'unit test' feature requirement in the test case

cookie: remove unnecessary check for 'out != 0'

... as it will always be non-NULL at this point.

Detected by Coverity: CID 1459009

http: added 417 response treatment

When doing a request with a body + Expect: 100-continue and the server
responds with a 417, the same request will be retried immediately
without the Expect: header.

Added test 357 to verify.

Also added a control instruction to tell the sws test server to not read
the request body if Expect: is present, which the new test 357 uses.

Reported-by: bramus on github
Fixes #4949
Closes #4964

smtp: Tidy up, following recent changes, to maintain the coding style

Closes #4892

smtp: Support the SMTPUTF8 extension for the EXPN command

Simply notify the server we support the SMTPUTF8 extension if it does.

smtp: Support the SMTPUTF8 extension in the VRFY command

smtp: Support the SMTPUTF8 extension in the RCPT TO command

Note: The RCPT TO command isn't required to advertise to the server that
it contains UTF-8 characters, instead the server is told that a mail may
contain UTF-8 in any envelope command via the MAIL command.

smtp: Support the SMTPUTF8 extension in the MAIL command

Support the SMTPUTF8 extension when sending mailbox information in the
MAIL command (FROM and AUTH parameters). Non-ASCII domain names will
be ACE encoded, if IDN is supported, whilst non-ASCII characters in
the local address part are passed to the server.

Reported-by: ygthien on github
Fixes #4828

smtp: Detect server support for the UTF-8 extension as defined in RFC-6531

smtp: Support UTF-8 based host names in the VRFY command

smtp: Support UTF-8 based host names in the RCPT TO command

smtp: Support UTF-8 based host names in the MAIL command

Non-ASCII host names will be ACE encoded if IDN is supported.

url: Make the IDN conversion functions available to others

smtp: Added UTF-8 mailbox tests to verify existing behaviour

ftpserver: Updated VRFY_smtp() so the response isn't necessary in the test case

ftpserver: Corrected the e-mail address regex in MAIL_smtp() and RCTP_smtp()

The dot character between the host and the tld was not being escaped,
which meant it specified a match of 'any' character rather than an
explicit dot separator.

Additionally removed the dot character from the host name as it allowed
the following to be specified as a valid address in our test cases:

<bad@example......com>

Both are typos from 98f7ca7 and 8880f84 :(

I can't remember whether my intention was to allow sub-domains to be
specified in the host or not with these additional dots, but by placing
it outside of the host means it can only be specified once per domain
and by placing a + after the new grouping support for sub-domains is
kept.

Closes #4912

hmac: Added a unit test for the HMAC hash generation

Closes #4973

ntlm: Moved the HMAC MD5 function into the HMAC module as a generic function

tests: Added a unit test for MD4 digest generation

Closes #4970

md4: Use const for the length input parameter

This keeps the interface the same as md5 and sha256.

test1610: Fixed the link to the unit test

Typo from 81c37124.

ntlm: Removed the dependency on the TLS libaries when using MD5

As we have our own MD5 implementation use the MD5 wrapper to remove the
TLS dependency.

Closes #4967

md5/sha256: Updated the functions to allow non-string data to be hashed

digest: Corrected the name of the local HTTP digest function

Follow up to 2b5b37cb. Local static functions do not require the Curl
prefix.

tests: Added a unit test for SHA256 digest generation

Follow up to 2b5b37c.

Closes #4968

md4: Fixed compilation issues when using GNU TLS gcrypt

* Don't include 'struct' in the gcrypt MD4_CTX typedef
* The call to gcry_md_read() should use a dereferenced ctx
* The call to gcry_md_close() should use a dereferenced ctx

Additional minor whitespace issue in the USE_WIN32_CRYPTO code.

Closes #4959

RELEASE-NOTES: synced

http2: now require nghttp2 >= 1.12.0

To simplify our code and since earlier versions lack important function
calls libcurl needs to function correctly.

nghttp2 1.12.0 was relased on June 26, 2016.

Closes #4961

gtls: fix the copyright year

Follow-up from 41fcb4f609

GnuTLS: Always send client cert

TLS servers may request a certificate from the client. This request
includes a list of 0 or more acceptable issuer DNs. The client may use
this list to determine which certificate to send. GnuTLS's default
behavior is to not send a client certificate if there is no
match. However, OpenSSL's default behavior is to send the configured
certificate. The `GNUTLS_FORCE_CLIENT_CERT` flag mimics OpenSSL
behavior.

Authored-by: jethrogb on github
Fixes #1411
Closes #4958

github action: add CIFuzz

Closes #4960

cleanup: comment typos

Spotted by 'codespell'

Closes #4957

win32: USE_WIN32_CRYPTO to enable Win32 based MD4, MD5 and SHA256 functions

Whilst lib\md4.c used this pre-processor, lib\md5.c and
src\tool_metalink.c did not and simply relied on the WIN32
pre-processor directive.

Reviewed-by: Marcel Raad
Closes #4955

connect: remove some spurious infof() calls

As they were added primarily for debugging, they provide little use for
users.

Closes #4951

HTTP-COOKIES: mention that a trailing newline is required

... so that we know we got the whole and not a partial line.

Also, changed the formatting of the fields away from a table again since
the table format requires a github-markdown tool version that we don't
run on the web server atm.

Reported-by: Sunny Bean
Fixes #4946
Closes #4947

nit: Copyright year out of date

Follow-up to 1fc0617dcc

tool_util: Improve Windows version of tvnow()

- Change tool_util.c tvnow() for Windows to match more closely to
  timeval.c Curl_now().

- Create a win32 init function for the tool, since some initialization
  is required for the tvnow() changes.

Prior to this change the monotonic time function used by curl in Windows
was determined at build-time and not runtime. That was a problem because
when curl was built targeted for compatibility with old versions of
Windows (eg _WIN32_WINNT < 0x0600) it would use GetTickCount which wraps
every 49.7 days that Windows has been running.

This change makes curl behave similar to libcurl's tvnow function, which
determines at runtime whether the OS is Vista+ and if so calls
QueryPerformanceCounter instead. (Note QueryPerformanceCounter is used
because it has higher resolution than the more obvious candidate
GetTickCount64). The changes to tvnow are basically a copy and paste but
the types in some cases are different.

Ref: https://github.com/curl/curl/issues/3309

Closes https://github.com/curl/curl/pull/4847

SOCKS: fix typo in printf formatting

Follow-up to 4a4b63daa

Reported-by: Peter Piekarski
Bug: https://github.com/curl/curl/commit/4a4b63daaa01ef59b131d91e8e6e6dfe275c0f08#r37351330