c-hyper: make Digest and NTLM work

Test 64, 65, 67, 68, 69, 70, 72

Closes #6390

examples/curlgtk.c: fix the copyright year range

... and make private functions static.

docs/examples: adjust prototypes for CURLOPT_READFUNCTION

The type of the buffer in curl_read_callback is 'char *', not 'void *'.

Signed-off-by: Olaf Hering <olaf@aepfle.de>
Closes #6392

examples: fix more empty expression statement has no effect

Follow-up to 26e46617b9

cleanup: fix two empty expression statement has no effect

Follow-up to 26e46617b9

configure: set -Wextra-semi-stmt for clang with --enable-debug

To have it properly complain on empty statements with no effect.

Ref: #6376
Closes #6378

tests/unit: fix empty statements with no effect

... by making macros use "do {} while(0)"

dns: extend CURLOPT_RESOLVE syntax for adding non-permanent entries

Extend the syntax of CURLOPT_RESOLVE strings: allow using a '+' prefix
(similar to the existing '-' prefix for removing entries) to add
DNS cache entries that will time out just like entries that are added
by libcurl itself.

Append " (non-permanent)" to info log message in case a non-permanent
entry is added.

Adjust relevant comments to reflect the new behavior.

Adjust documentation.

Extend unit1607 to test the new functionality.

Closes #6294

schannel: fix "empty expression statement has no effect"

Bug: https://github.com/curl/curl/commit/8ab78f720ae478d533e30b202baec4b451741579#commitcomment-45445950
Reported-by: Gisle Vanem
Closes #6381

docs: remove redundant "better" in --fail help

Closes #6385

curl.1: fix typo microsft -> microsoft

Closes #6380

misc: assorted typo fixes

Closes #6375

RELEASE-NOTES: synced

tool_operate: avoid NULL dereference of first_arg

Follow-up to 6a5e020d4d2b04a
Identified by OSS-Fuzz
Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=28999
Closes #6377

misc: fix "warning: empty expression statement has no effect"

Turned several macros into do-while(0) style to allow their use to work
find with semicolon.

Bug: https://github.com/curl/curl/commit/08e8455dddc5e48e58a12ade3815c01ae3da3b64#commitcomment-45433279
Follow-up to 08e8455dddc5e4
Reported-by: Gisle Vanem
Closes #6376

KNOWN_BUGS: 6.10 curl never completes Negotiate over HTTP

Closes #5235
Closes #6370

writeout: fix NULL dereference for "this url"

Detected by torture test 1029

Follow-up to 7a90ddf88f5a

Closes #6374

failf: remove newline from formatting strings

... as failf adds one itself.

Also: add an assert() to failf() that triggers on a newline in the
format string!

Closes #6365

CI: fix warning with the latest versions

`git checkout HEAD^2` is no longer needed

Closes #6369

INSTALL: update the list known OSes and CPU archs curl has run on

Closes #6366

curl: fix handling of -q option

The match of the "-q" option (short for "--disable") should:
a) allow concatenation with other single-letters; and
b) be case-sensitive, lest confusing with "-Q" ("--quote")

Closes #6364

tests/badsymbols.pl: ignore stand-alone single hash lines

Bug: https://curl.se/mail/lib-2020-12/0084.html
Reported-by: Dennis Clarke
Assisted-by: Jay Satiro
Closes #6355

curl_easy_pause.3: add multiplexed pause effects

and generally refresh and update. Remove details for ancient versions.

Reviewed-by: Jay Satiro
Closes #6360

curl_easy_pause.3: fix man page reference

Follow-up to ac9a724 from earlier today.

Ref: https://github.com/curl/curl/pull/6359

EXPERIMENTAL: add the Hyper backend to the list

... of current experimental features in curl.

speedcheck: exclude paused transfers

Paused transfers should not be stopped due to slow speed even when
CURLOPT_LOW_SPEED_LIMIT is set. Additionally, the slow speed timer is
now reset when the transfer is unpaused - as otherwise it would easily
just trigger immediately after unpausing.

Reported-by: Harry Sintonen
Fixes #6358
Closes #6359

h2: do not wait for RECV on paused transfers

... as the socket might be readable all the time when paused and thus
causing a busy-loop.

Reported-by: Harry Sintonen
Reviewed-by: Jay Satiro
Fixes #6356
Closes #6357

RELEASE-NOTES: synced

cmdline-opts/gen.pl: return hard on errors

... as the warnings tend to go unnoticed otherwise!

Closes #6354

examples/libtest: add .checksrc to dist

... so that (auto)builds from tarballs also get the correct instructions.

Fixes #6176
Closes #6353

test: verify new --write-out variables

Extended test 1029 and added 1188

test970: adapted to the new internal order of variables

curl: add variables to --write-out

In particular, these ones can help a user to create its own error
message when one or transfers fail.

writeout: add 'onerror', 'url', 'urlnum', 'exitcode', 'errormsg'

onerror - lets a user only show the rest on non-zero exit codes

url - the input URL used for this transfer

urlnum - the numerical URL counter (0 indexed) for this transfer

exitcode - the numerical exit code for the transfer

errormsg - obvious

Reported-by: Earnestly on github
Fixes #6199
Closes #6207

tests: add very simple AWS HTTP v4 Signature test

Signed-off-by: Matthias Gatto <matthias.gatto@outscale.com>

docs: add AWS HTTP v4 Signature

tool: add AWS HTTP v4 Signature support

Signed-off-by: Matthias Gatto <matthias.gatto@outscale.com>

http: Make the call to v4 signature

This patch allow to call the v4 signature introduce in previous commit

Signed-off-by: Matthias Gatto <matthias.gatto@outscale.com>

http: introduce AWS HTTP v4 Signature

It is a security process for HTTP.

It doesn't seems to be standard, but it is used by some cloud providers.

Aws:
https://docs.aws.amazon.com/general/latest/gr/signature-version-4.html
Outscale:
https://wiki.outscale.net/display/EN/Creating+a+Canonical+Request
GCP (I didn't test that this code work with GCP though):
https://cloud.google.com/storage/docs/access-control/signing-urls-manually

most of the code is in lib/http_v4_signature.c

Information require by the algorithm:
- The URL
- Current time
-  some prefix that are append to some of the signature parameters.

The data extracted from the URL are: the URI, the region,
the host and the API type

example:
https://api.eu-west-2.outscale.com/api/latest/ReadNets
        ~~~ ~~~~~~~~               ~~~~~~~~~~~~~~~~~~~
        ^       ^                          ^
       /         \                        URI
   API type     region

Small description of the algorithm:
- make canonical header using content type, the host, and the date
- hash the post data
- make canonical_request using custom request, the URI,
  the get data, the canonical header, the signed header
  and post data hash
- hash canonical_request
- make str_to_sign using one of the prefix pass in parameter,
  the date, the credential scope and the canonical_request hash
- compute hmac from date, using secret key as key.
- compute hmac from region, using above hmac as key
- compute hmac from api_type, using above hmac as key
- compute hmac from request_type, using above hmac as key
- compute hmac from str_to_sign using above hmac as key
- create Authorization header using above hmac, prefix pass in parameter,
  the date, and above hash

Signed-off-by: Matthias Gatto <matthias.gatto@outscale.com>
Closes #5703

http: add hmac support for sha256

It seems current hmac implementation use md5 for the hash,
V4 signature require sha256, so I've added the needed struct in
this commit.

I've added the functions that do the hmac in v4 signature file
as a static function ,in the next patch of the serie,
because it's used only by this file.

Signed-off-by: Matthias Gatto <matthias.gatto@outscale.com>

connect: on linux, enable reporting of all ICMP errors on UDP sockets

The linux kernel does not report all ICMP errors back to userspace due
to historical reasons.

IP*_RECVERR sockopt must be turned on to have the correct behaviour
which is to pass all ICMP errors to userspace.

See https://bugzilla.kernel.org/show_bug.cgi?id=202355

Closes #6341

curl: add --create-file-mode [mode]

This option sets the (octal) mode to use for the remote file when one is
created, using the SFTP, SCP or FILE protocols. When not set, the
default is 0644.

Closes #6244

c-hyper: fix compiler warnings

Identified by clang on windows.

Reported-by: Gisle Vanem
Bug: 58974d25d8173aec154e593ed9d866da566c9811

Closes #6351

KNOWN_BUGS: Remote recursive folder creation with SFTP

Closes #5204

badsymbols.pl: Add verbose mode -v

Use -v as the first option to enable verbose mode which will show source
input, extracted symbol and line info. For example:

Source: ./../include/curl/typecheck-gcc.h
Symbol: curlcheck_socket_info(info)
Line #423: #define curlcheck_socket_info(info)                     \

Ref: https://curl.se/mail/lib-2020-12/0084.html

Closes https://github.com/curl/curl/pull/6349

KNOWN_BUGS: Secure Transport disabling hostname validation also disables SNI

That behavior is a limitation of Apple's Secure Transport.

Reported-by: Cory Benfield
Reported-by: Ian Spence
Confirmed-by: Nick Zitzmann
Ref: https://github.com/curl/curl/issues/998

Closes https://github.com/curl/curl/issues/6347
Closes https://github.com/curl/curl/pull/6348

TODO: alt-svc should fallback if alt-svc doesn't work

Closes #4908

travis: restrict the openssl3 job to only run https and ftps tests

... as it runs too long otherwise and the other tests are verified in
other builds anyway.

Closes #6345

build: repair http disabled but mqtt enabled build

... as the mqtt code reuses the "method" originally used for HTTP.

Closes #6344

cookie: avoid the C1001 internal compiler error with MSVC 14

Fixes #6112
Closes #6135

RELEASE-NOTES: synced

mqtt: handle POST/PUBLISH without a set POSTFIELDSIZE

Detected by OSS-Fuzz
Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=28735

Added test 1916 and 1917 to verify.

Closes #6338

travis: add CI job for Hyper build

tests: updated tests for Hyper

lib: introduce c-hyper for using Hyper

... as an alternative HTTP backend within libcurl.

tool_setopt: provide helper output in debug builds

... for when setopt() returns error.

setopt: adjust to Hyper and disabled HTTP builds

rtsp: disable if Hyper is used

getinfo: build with disabled HTTP support

version: include hyper version

docs: add HYPER.md

configure: add --with-hyper

As the first (optional) HTTP backend alternative instead of native

Close #6110

test1522: add debug tracing

I used this to track down some issues and I figured I could just as well
keep this extra logging in here for future needs.

Closes #6331

http: show the request as headers even when split-sending

When the initial request isn't possible to send in its entirety, the
remainder of request would be delivered to the debug callback as data
and would wrongly be counted internally as body-bytes sent.

Extended test 1295 to verify.

Closes #6328

multi: when erroring in TOOFAST state, act as for PERFORM

When failing in TOOFAST, the multi_done() wasn't called so the same
cleanup and handling wasn't done like when it fails in PERFORM, which in
the case of FTP could mean that the control connection wouldn't be
marked as "dead" for the CURLE_ABORTED_BY_CALLBACK case. Which caused
ftp_disconnect() to use it to send "QUIT", which could end up waiting
for a response a long time before giving up!

Reported-by: Tomas Berger
Fixes #6333
Closes #6337

cmake: enable gophers correctly in curl-config

Closes #6336

test1198/9: add two mqtt publish tests without payload lengths

Closes #6335

tests/mqttd: extract the client id from the correct offset

Closes #6334

TODO: Prevent terminal injection when writing to terminal

Closes #6150

Revert "CI/github: work-around for brew breakage on macOS"

This reverts commit 4cbb17a2cbbbe6337142d39479e21c3990b9c22f.

... as the work-around now causes failures.

Closes #6332

examples: remove superfluous asterisk uses

... for function pointers. Breaks in ancient compilers.

RELEASE-NOTES: synced

test1272: fix line ending

Follow-up to f24784f9143

URL-SYNTAX: add gophers details

test1272: test gophers

runtests: add support for gophers, gopher over TLS

gopher: Implement secure gopher protocol.

This commit introduces a "gophers" handler inside the gopher protocol if
USE_SSL is defined. This protocol is no different than the usual gopher
prococol, with the added TLS encapsulation upon connecting. The protocol
has been adopted in the gopher community, and many people have enabled
TLS in their gopher daemons like geomyidae(8), and clients, like clic(1)
and hurl(1).

I have not implemented test units for this protocol because my knowledge
of Perl is sub-par. However, for someone more knowledgeable it might be
fairly trivial, because the same test that tests the plain gopher
protocol can be used for "gophers" just by adding a TLS listener.

Signed-off-by: parazyd <parazyd@dyne.org>
Closes #6208

TODO: Package curl for Windows in a signed installer

Closes #5424

mqtt: deal with 0 byte reads correctly

OSS-Fuzz found it
Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=28676

Closes #6327

BUG-BOUNTY: minor language update

... and remove the wording about entries from before 2019 as the "within
12 months" is still there and covers that.

Closes #6318

tooĺ_writeout: fix the -w time output units

Fix regression from commit fc813f80e1bcac (#6248) that changed the unit
to microseconds instead of seconds with fractions

Reported-by: 不确定
Fixes #6321
Closes #6322

quiche: remove fprintf() leftover

KNOWN_BUGS: SHA-256 digest not supported in Windows SSPI builds

Closes https://github.com/curl/curl/issues/6302

digest_sspi: Show InitializeSecurityContext errors in verbose mode

The error is shown with infof rather than failf so that the user will
see the extended error message information only in verbose mode, and
will still see the standard CURLE_AUTH_ERROR message. For example:

---

* schannel: InitializeSecurityContext failed: SEC_E_QOP_NOT_SUPPORTED
(0x8009030A) - The per-message Quality of Protection is not supported by
the security package
* multi_done
* Connection #1 to host 127.0.0.1 left intact
curl: (94) An authentication function returned an error

---

Ref: https://github.com/curl/curl/issues/6302

Closes https://github.com/curl/curl/pull/6315

URL-SYNTAX: add default port numbers and IDNA details

Closes #6316

URL-SYNTAX: mention how FILE:// access can access network on windows

Closes #6314

URL-SYNTAX: Document default SMTP port 25

Note that ports 25 and 587 are common ports for smtp, the former being
the default.

Closes https://github.com/curl/curl/pull/6310

CURLOPT_URL.3: remove scheme specific details

... that are now found in URL-SYNTAX.md

Closes #6307

docs: Fix some typos

[skip ci]

URL-SYNTAX: mention all supported schemes

Closes #6311

URL-SYNTAX.md: minor language improvements

Closes #6308

docs/URL-SYNTAX: the URL syntax curl accepts and works with

Closes #6285

docs: enable syntax highlighting in several docs files

... for better readability

Closes #6286

test1564/1565: require the 'wakeup' feature to run

Fixes #6299
Fixes #6300
Closes #6301

runtests: add 'wakeup' as a feature

tests/server/disabled: add "wakeup"

To allow the test suite to know if wakeup support is disabled in the
build.

lib1564/5: verify that curl_multi_wakeup returns OK

tests: make --libcurl tests only test FTP options if ftp enabled

Adjust six --libcurl tests to only check the FTP option if FTP is
actually present in the build.

Fixes #6303
Closes #6305

runtests.pl: fix "uninitialized value" warning

follow-up to e12825c642a88774

runtests: add support for %if [feature] conditions

... to make tests run differently or expect different results depending
on what features that are present or not in curl.

Bonus: initial minor 'Hyper' awareness but nothing is using that yet

Closes #6304

OS400: update ccsidcurl.c

Add 'struct' to cast and declaration of cfcdata to fix compilation
error.

Fixes #6292
Closes #6297