man pages: switch to https://example.com URLs

Since HTTPS is "the new normal", this update changes a lot of man page
examples to use https://example.com instead of the previous "http://..."

Closes #5969

github: remove the duplicate "Security vulnerability" entry

... since github adds an entry automatically by itself.

Closes #5970

github: use new issue template feature

This helps us to avoid getting feature requests as well as security
bugs reported into the issue tracker.

Closes #5936

urlapi: use more Curl_safefree

Closes #5968

multi: align WinSock mask variables in Curl_multi_wait

Also skip pre-checking sockets to set timeout_ms to 0
after the first socket has been detected to be ready.

Reviewed-by: rcombs on github
Reviewed-by: Daniel Stenberg
Follow up to #5886

multi: reuse WinSock events variable in Curl_multi_wait

Since the struct is quite large (1 long and 10 ints) we
declare it once at the beginning of the function instead
of multiple times inside loops to avoid stack movements.

Reviewed-by: Viktor Szakats
Reviewed-by: Daniel Stenberg
Closes #5886

TODO: dynamically decide to use socketpair

Suggested-by: Anders Bakken
Closes #4829

TODO: add PR reference for native IDN support on macOS

As there was work started on this that never got completed.

Closes #5371

tool_help.h: update copyright year range

Follow-up from aa8777f63febca

CI/azure: disable test 571 in the msys2 builds

It's just too flaky there

Reviewed-by: Marc Hoersken
Closes #5954

tool_writeout: protect fputs() from NULL

When the code was changed to do fputs() instead of fprintf() it got
sensitive for NULL pointers; add checks for that.

Follow-up from 0c1e767e83ec66

Closes #5963

test3015: verify stdout "as text"

Follow-up from 0c1e767e83e to please win32 tests

Closes #5962

travis: use libressl v3.1.4 instead of master

... as their git master seems too fragile to use (and 3.2.1 which is the
latest has a build failure).

Closes #5964

tests/FILEFORMAT: document type=shell for <command>

tests/FILEFORMAT: document nonewline support for <file>

The one in <client>, that creates files.

Follow-up from b83947c8df7

tool_writeout: add new writeout variable, %{num_headers}

This variable gives the number of headers.

Closes #5947

tool_urlglob: fix compiler warning "unreachable code"

(On Windows builds.)

Follow-up to 70a3b003d9

vtls: deduplicate client certificates in ssl_config_data

Closes #5629

ftp: a 550 response to SIZE returns CURLE_REMOTE_FILE_NOT_FOUND

This is primarily interesting for cases where CURLOPT_NOBODY is set as
previously curl would not return an error for this case.

MDTM getting 550 now also returns this error (it returned
CURLE_FTP_COULDNT_RETR_FILE before) in order to unify return codes for
missing files across protocols and specific FTP commands.

libcurl already returns error on a 550 as a MDTM response (when
CURLOPT_FILETIME is set). If CURLOPT_NOBODY is not set, an error would
happen subsequently anyway since the RETR command would fail.

Add test 1913 and 1914 to verify. Updated several tests accordingly due
to the updated SIZE behavior.

Reported-by: Tomas Berger
Fixes #5953
Closes #5957

curl: make checkpasswd use dynbuf

Closes #5952

curl: make glob_match_url use dynbuf

Closes #5952

curl: make file2memory use dynbuf

Closes #5952

curl: make file2string use dynbuf

Closes #5952

imap: set cselect_bits to CURL_CSELECT_IN initially

... when continuing a transfer from a FETCH response.

When the size of the file was small enough that the entirety of the
transfer happens in a single go and schannel buffers holds the entire
data. However, it wasn't completely read in Curl_pp_readresp since a
line break was found before that could happen. So, by the time we are in
imap_state_fetch_resp - there's data in buffers that needs to be read
via Curl_read but nothing to read from the socket. After we setup a
transfer (Curl_setup_transfer), curl just waits on the socket state to
change - which doesn't happen since no new data ever comes.

Closes #5961

RELEASE-NOTES: synced

test434: test -K use in a single line without newline

Closes #5946

runtests: allow creating files without newlines

Closes #5946

curl: use curlx_dynbuf for realloc when loading config files

... fixes an integer overflow at the same time.

Reported-by: ihsinme on github
Assisted-by: Jay Satiro
Closes #5946

dynbuf: provide curlx_ names for reuse by the curl tool

Closes #5946

dynbuf: make sure Curl_dyn_tail() zero terminates

Closes #5959

tests: add test1912 to the dist

Follow-up to 70984ce1be4cab6c

docs/LICENSE-MIXING: remove

This document is not maintained and I feel that it doesn't provide much
value to users anymore (if it ever did).

Closes #5955

http: consolidate nghttp2_session_mem_recv() call paths

Previously there were several locations that called
nghttp2_session_mem_recv and handled responses slightly differently.
Those have been converted to call the existing
h2_process_pending_input() function.

Moved the end-of-session check to h2_process_pending_input() since the
only place the end-of-session state can change is after nghttp2
processes additional input frames.

This will likely fix the fuzzing error. While I don't have a root cause
the out-of-bounds read seems like a use after free, so moving the
nghttp2_session_check_request_allowed() call to a location with a
guaranteed nghttp2 session seems reasonable.

Also updated a few nghttp2 callsites to include error messages and added
a few additional error checks.

Closes #5648

HISTORY: mention alt-svc added in 2019

... and make 1996 the first year subtitle

base64: also build for pop3 and imap

Follow-up to the fix in 20417a13fb8f83

Reported-by: Michael Olbrich
Fixes #5937
Closes #5948

base64: enable in build with SMTP

The oauth2 support is used with SMTP and it uses base64 functions.

Reported-by: Michael Olbrich
Fixes #5937
Closes #5938

curl_mime_headers.3: fix the example's use of curl_slist_append

Reported-by: sofaboss on github
Fixes #5942
Closes #5943

lib583: fix enum mixup

grrr the previous follow-up to 17fcdf6a31 was wrong

libtest: fix build errors

Follow-up from 17fcdf6a310d4c8076

lib: fix -Wassign-enum warnings

configure --enable-debug now enables -Wassign-enum with clang,
identifying several enum "abuses" also fixed.

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/879007f8118771f4896334731aaca5850a154675#commitcomment-42087553

Closes #5929

RELEASE-NOTES: synced

url: use blank credentials when using proxy w/o username and password

Fixes proxy regression brought in commit ad829b21ae (7.71.0)

Fixed #5911
Closes #5914

travis: add a build using libressl (from git master)

The v3.2.1 tag (latest release atm) results in a broken build.

Closes #5932

configure: let --enable-debug set -Wenum-conversion with gcc >= 10

Unfortunately, this option is not detecting the same issues as clang's
-Wassign-enum flag, but should still be useful to detect future
mistakes.

Closes #5930

openssl: consider ALERT_CERTIFICATE_EXPIRED a failed verification

If the error reason from the lib is
SSL_R_SSLV3_ALERT_CERTIFICATE_EXPIRED, libcurl will return
CURLE_PEER_FAILED_VERIFICATION and not CURLE_SSL_CONNECT_ERROR.

This unifies the libcurl return code and makes libressl run test 313
(CRL testing) fine.

Closes #5934

FAQ: refreshed some very old language

cmake: make HTTP_ONLY also disable MQTT

... and alphasort the order of disabling protocols to make it easier to
browse.

Closes #5931

libtest: remove lib1541 leftovers

Caused automake errors.

Follow-up to 8ca54a03ea08a

tests/libtests: remove test 1900 and 2033

We already remove the test files, now remove the libtest codes as well.

Follow-up to e50a877df74

CI/azure: add test number to title for display in analytics

To ease identification of tests the test number is added to
the test case title in order to have it on the Azure DevOps
Analytics pages and reports which currently do not show it.

Bump test case revision to make Azure DevOps update titles.

Closes #5927

altsvc: clone setting in curl_easy_duphandle

The cache content is not duplicated, like other caches, but the setting
and specified file name are.

Test 1908 is extended to verify this somewhat. Since the duplicated
handle gets the same file name, the test unfortunately overwrites the
same file twice (with different contents) which makes it hard to check
automatically.

Closes #5923

test1541: remove since it is a known bug

A shared connection cache is not thread-safe is a known issue. Stop
testing this until we believe this issue is addressed. Reduces
occasional test failures we don't care about.

The test code in lib1541.c is left in git to allow us to restore it when
we get to fix this.

Closes #5922

tests: remove pipelining tests

Remove the tests 530, 584, 1900, 1901, 1902, 1903 and 2033. They were
previously disabled.

The Pipelining code was removed from curl in commit 2f44e94efb3df8e,
April 2019.

Closes #5921

curl: retry delays in parallel mode no longer sleeps blocking

The previous sleep for retries would block all other concurrent
transfers. Starting now, the retry will instead be properly marked to
not get restarted until after the delay time but other transfers can
still continue in the mean time.

Closes #5917

curl:parallel_transfers: make sure retry readds the transfer

Reported-by: htasta on github
Fixes #5905
Closes #5917

build: drop support for building with Watcom

These files are not maintained, they seem to have no users, Watcom
compilers look like not having users nor releases anymore.

Closes #5918

winbuild/rundebug.cmd: remove

Seems to have been added by mistake? Not included in dists.

Closes #5919

curl: in retry output don't call all problems "transient"

... because when --retry-all-errors is used, the error isn't necessarily
transient at all.

Closes #5916

easygetopt: pass a valid enum to avoid compiler warning

"integer constant not in range of enumerated type 'CURLoption'"

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/6ebe63fac23f38df911edc348e8ccc72280f9434#commitcomment-42042843

Closes #5915

tests: Add tests for new --help

This commit is a part of "--help me if you can"

Closes #5680

tool: update --help with categories

This commit is a part of "--help me if you can"

Closes #5680

docs: add categories to all cmdline opts

Adapted gen.pl with 'listcats'

This commit is a part of "--help me if you can"

Closes #5680

RELEASE-NOTES: synced

connect.c: remove superfluous 'else' in Curl_getconnectinfo

Closes #5912

CMake: remove explicit `CMAKE_ANSI_CFLAGS`

This variable was removed from cmake in commit
https://gitlab.kitware.com/cmake/cmake/commit/5a834b0bb0bc288. A later
CMake commit removes the variable from the tests, claiming that it was
removed in CMake 2.6

Reviewed-By: Peter Wu
Closes #5439

libssh2: pass on the error from ssh_force_knownhost_key_type

Closes #5909

scripts/delta: add diffstat summary

... and make output more table-like

http_proxy: do not crash with HTTPS_PROXY and NO_PROXY set

... in case NO_PROXY takes an effect

Without this patch, the following command crashes:

    $ GIT_CURL_VERBOSE=1 NO_PROXY=github.com HTTPS_PROXY=https://example.com \
        git clone https://github.com/curl/curl.git

Minimal libcurl-based reproducer:

    #include <curl/curl.h>

    int main() {
      CURL *curl = curl_easy_init();
      if(curl) {
        CURLcode ret;
        curl_easy_setopt(curl, CURLOPT_URL, "https://github.com/");
        curl_easy_setopt(curl, CURLOPT_PROXY, "example.com");
        /* set the proxy type */
        curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTPS);
        curl_easy_setopt(curl, CURLOPT_NOPROXY, "github.com");
        curl_easy_setopt(curl, CURLOPT_VERBOSE, 1L);
        ret = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
        return ret;
      }
      return -1;
    }

Assisted-by: Kamil Dudka
Bug: https://bugzilla.redhat.com/1873327
Closes #5902

travis: add a CI job with openssl3 (from git master)

Closes #5908

openssl: avoid error conditions when importing native CA

The code section that is OpenSSL 3+ specific now uses the same logic as
is used in the version < 3 section. It caused a compiler error without
it.

Closes #5907

setopt: avoid curl_ on local variable

Closes #5906

mqtt.c: avoid curl_ prefix on local variable

Closes #5906

wildcard: strip "curl_" prefix from private symbols

Closes #5906

vtls: make it 'struct Curl_ssl_session'

Use uppercase C for internal symbols.

Closes #5906

curl_threads: make it 'struct Curl_actual_call'

Internal names should not be prefixed "curl_"

Closes #5906

schannel: make it 'struct Curl_schannel*'

As internal global names should use captical C.

Closes #5906

hash: make it 'struct Curl_hash'

As internal global names should use captical C.

Closes #5906

llist: make it "struct Curl_llist"

As internal global names should use captical C.

Closes #5906

telnet.c: depend on static requirement of WinSock version 2

Drop dynamic loading of ws2_32.dll and instead rely on the
imported version which is now required to be at least 2.2.

Reviewed-by: Marcel Raad
Reviewed-by: Jay Satiro
Reviewed-by: Daniel Stenberg
Reviewed-by: Viktor Szakats
Closes #5854

win32: drop support for WinSock version 1, require version 2

IPv6, telnet and now also the multi API require WinSock
version 2 which is available starting with Windows 95.

Therefore we think it is time to drop support for version 1.

Reviewed-by: Marcel Raad
Reviewed-by: Jay Satiro
Reviewed-by: Daniel Stenberg
Reviewed-by: Viktor Szakats
Follow up to #5634
Closes #5854

select: align poll emulation to return all relevant events

The poll emulation via select already consumes POLLRDNORM,
POLLWRNORM and POLLRDBAND as input events. Therefore it
should also return them as output events if signaled.

Also fix indentation in input event handling block.

Assisted-by: Jay Satiro
Reviewed-by: Daniel Stenberg
Replaces #5852
Closes #5883

CI/azure: MQTT is now enabled by default

Reviewed-by: Daniel Stenberg
Follow up to #5858
Closes #5903

copyright.pl: ignore buildconf

test971: show test mismatches "inline"

lib/Makefile.am: bump VERSIONINFO due to new functions

... we're generally bad at this, but we are adding new functions for
this release.

Closes #5899

optiontable: use DEBUGBUILD

Follow-up to commit 6e18568ba38 (#5877)

cmdline-opts/gen.pl: generate nicer "See Also" in curl.1

If there are more than two items in the list, use commas for all but the
last separator which is set to 'and'. Reads better.

Closes #5898

curl.1: add see also no-progress-meter on two spots

Ref: #5894

Closes #5897

RELEASE-NOTES: synced

mqtt: enable by default

No longer considered experimental.

Closes #5858

tls: add CURLOPT_SSL_EC_CURVES and --curves

Closes #5892

url: remove funny embedded comments in Curl_disonnect calls

conn: check for connection being dead before reuse

Prevents incorrect reuse of an HTTP connection that has been prematurely
shutdown() by the server.

Partial revert of 755083d00deb16

Fixes #5884
Closes #5893

buildconf: exec autoreconf to avoid additional process

Also make buildconf exit with the return code of autoreconf.

Reviewed-by: Daniel Stenberg
Follow up to #5853
Closes #5890

CI/azure: no longer ignore results of test 1013

Follow up to #5771
Closes #5889

docs: add description about CI platforms to CONTRIBUTE.md

Reviewed-by: Daniel Stenberg
Reviewed-by: Marcel Raad
Reviewed-by: Jay Satiro
Closes #5882

tests/getpart: use MIME::Base64 instead of home-cooked

Since we already use the base64 package since a while back, we can just
as well switch to that here too.

It also happens to use the exact same function name, which otherwise
causes a run-time warning.

Reported-by: Marc Hörsken
Fixes #5885
Closes #5887

ntlm: fix condition for curl_ntlm_core usage

`USE_WINDOWS_SSPI` without `USE_WIN32_CRYPTO` but with any other DES
backend is fine, but was excluded before.

This also fixes test 1013 as the condition for SMB support in
configure.ac didn't match the condition in the source code. Now it
does.

Fixes https://github.com/curl/curl/issues/1262
Closes https://github.com/curl/curl/pull/5771

AppVeyor: switch 64-bit Schannel Debug CMake builds to Unicode

The Schannel builds are the most useful to verify as they make the most
use of the Windows API. Classic MinGW doesn't support Unicode at all,
only MinGW-w64 and MSVC do.

Closes https://github.com/curl/curl/pull/5843

CMake: add option to enable Unicode on Windows

As already existing for winbuild.

Closes https://github.com/curl/curl/pull/5843