transfer: clear credentials when redirecting to absolute URL

Make sure the user and password for the second request is taken from the
redirected-to URL.

Add test case 899 to verify.

Reported-by: James Lucas
Fixes #11410
Closes #11412

hyper: fix EOF handling on input

We ran out of disc space due to an infinite loop with debug logging

Fixes #11377
Closes #11385
Reported-by: Dan Fandrich

http2: raise header limitations above and beyond

- not quite to infinity
- rewrote the implementation of our internal HTTP/1.x request
  parsing to work with very large lines using dynbufs.
- new default limit is `DYN_HTTP_REQUEST`, aka 1MB, which
  is also the limit of curl's general HTTP request processing.

Fixes #11405
Closes #11407

curl_easy_nextheader.3: add missing open parenthesis examples

Closes #11409
Signed-off-by: Juan Cruz Viotti <jv@jviotti.com>

CI: enable verbose test output on pytest

This shows individual pass/fail status on tests and makes this output
consistent with other jobs' pytest invocations.

http2: fix crash in handling stream weights

- Delay the priority handling until the stream has been opened.

- Add test2404 to reproduce and verify.

Weights may change "on the run", which is why there are checks in
general egress handling. These must not trigger when the stream has not
been opened yet.

Reported-by: jbgoog@users.noreply.github.com
Fixes https://github.com/curl/curl/issues/11379
Closes https://github.com/curl/curl/pull/11384

tests/http: Add mod_h2 directive `H2ProxyRequests`

master of mod_h2 now requires H2ProxyRequests directives for forward
proxying with HTTP/2 to work.

Ref: https://github.com/icing/mod_h2/commit/3897a7086

Closes https://github.com/curl/curl/pull/11392

CI: make Appveyor job names unique

Two otherwise identical mingw-w64 jobs now have their differing compiler
versions mentioned in their names.

curl.h: include <sys/select.h> for vxworks

Closes #11356

CI: enable parallel make in more builds

Most CI services provide at least two cores, so enable parallel make
jobs to take advantage of that for builds. Some dependencies aren't safe
to build in parallel so leave those as-is.  Also, rename a few
workflows to eliminate duplicate names and provide a better idea what
they're about.

CI: don't install impacket if tests are not run

It just wastes time and bandwidth and isn't even used.

configure: the --without forms of the options are also gone

--without-darwin-ssl and --without-metalink

Closes #11378

configure: add check for ldap_init_fd

... as otherwise the configure script will say it is OpenLDAP in the
summary, but not set the USE_OPENLDAP define, therefor not using the
intended OpenLDAP code paths.

Regression since 4d7385446 (7.85.0)
Fixes #11372
Closes #11374
Reported-by: vlkl-sap on github

cmake: stop CMake from quietly ignoring missing Brotli

The CMake project was set to `QUIET` for Brotli instead of
`REQUIRED`. This makes builds unexpectedly ignore missing Brotli even
when `CURL_BROTLI` is enabled.

Closes #11376

docs: add more .IP after .RE to fix indentation of generate paragraphs

follow-up from 099f41e097c030077b8ec078f2c2d4038d31353b

I just thought of checking all the other files with .RE, and I found 6
other files that were missing .IP at the end.

Closes #11375

http2: h2 and h2-PROXY connection alive check fixes

- fix HTTP/2 check to not declare a connection dead when
  the read attempt results in EAGAIN
- add H2-PROXY alive check as for HTTP/2 that was missing
  and is needed
- add attach/detach around Curl_conn_is_alive() and remove
  these in filter methods
- add checks for number of connections used in some test_10
  proxy tunneling tests

Closes #11368

http2: error stream resets with code CURLE_HTTP2_STREAM

- refs #11357, where it was reported that HTTP/1.1 downgrades
  no longer works
- fixed with suggested change
- added test_05_03 and a new handler in the curltest module
  to reproduce that downgrades work

Fixes #11357
Closes #11362
Reported-by: Jay Satiro

connect-timeout.d: mention that the DNS lookup is included

Closes #11370

quote.d: fix indentation of generated paragraphs

quote.d was missing a .IP at the end which caused the paragraphs
generated for See-also, Multi, and Example to not be indented correctly.

I also remove a redundant "This option can be used multiple times.", and
replaced .IP "item" with .TP .B "item" to make more clear which lines
are part of the list of commands and which aren't.

Closes #11371

checksrc: modernise perl file open

Use regular variables and separate file open modes from filenames.

Suggested by perlcritic

Copied from https://github.com/curl/trurl/commit/f2784a9240f47ee28a845

Closes #11358

runtests: work around a perl without SIGUSR1

At least msys2 perl v5.32.1 doesn't seem to define this signal. Since
this signal is only used for debugging, just ignore if setting it fails.

Reported-by: Marcel Raad
Fixes #11350
Closes #11366

runtests: include missing valgrind package

use valgrind was missing which caused torture tests with valgrind
enabled to fail.

Reported-by: Daniel Stenberg
Fixes #11364
Closes #11365

runtests: use more consistent failure lines

After a test failure log a consistent log message to make it easier to
parse the log file.  Also, log a consistent message with "ignored" for
failures that cause the test to be not considered at all. These should
perhaps be counted in the skipped category, but this commit does not
change that behaviour.

runtests: consistently write the test check summary block

The memory check character was erroneously omitted if the memory
checking file was not available for some reason, making the block of
characters an inconsistent length.

test2600: fix the description

It looks like it was cut-and-pasted.

Closes #11354

TODO: "Support HTTP/2 for HTTP(S) proxies" *done*

cf-socket: move ctx declaration under HAVE_GETPEERNAME

Closes #11352

RELEASE-NOTES: synced

example/connect-to: show CURLOPT_CONNECT_TO

Closes #11340

hyper: unslow

- refs #11203 where hyper was reported as being slow
- fixes hyper_executor_poll to loop until it is out of
  tasks as advised by @seanmonstar in https://github.com/hyperium/hyper/issues/3237
- added a fix in hyper io handling for detecting EAGAIN
- added some debug logs to see IO results
- pytest http/1.1 test cases pass
- pytest h2 test cases fail on connection reuse. HTTP/2
  connection reuse does not seem to work. Hyper submits
  a request on a reused connection, curl's IO works and
  thereafter hyper declares `Hyper: [1] operation was canceled: connection closed`
  on stderr without any error being logged before.

Fixes #11203
Reported-by: Gisle Vanem
Advised-by: Sean McArthur
Closes #11344

HTTP/2: upload handling fixes

- fixes #11242 where 100% CPU on uploads was reported
- fixes possible stalls on last part of a request body when
  that information could not be fully send on the connection
  due to an EAGAIN
- applies the same EGAIN handling to HTTP/2 proxying

Reported-by: Sergey Alirzaev
Fixed #11242
Closes #11342

example/opensslthreadlock: remove

This shows how to setup OpenSSL mutex callbacks, but this is not
necessary since OpenSSL 1.1.0 - meaning that no currently supported
OpenSSL version requires this anymore

Closes #11341

libtest: display the times after a test timeout error

This is to help with test failure debugging.

Ref: #11328
Closes #11329

test2600: bump a test timeout

Case 1 failed at least once on GHA by going 30 msec too long.

Ref: #11328

runtests: better detect and handle pipe errors in the controller

Errors reading and writing to the pipes are now better detected and
propagated up to the main test loop so it can be cleanly shut down. Such
errors are usually due to a runner dying so it doesn't make much sense
to try to continue the test run.

runtests: cleanly abort the runner if the controller dies

If the controller dies unexpectedly, have the runner stop its servers
and exit cleanly. Otherwise, the orphaned servers will stay running in
the background.

runtests: improve error logging

Give more information about test harness error conditions to help figure
out what might be wrong. Print some internal test state when SIGUSR1 is
sent to runtests.pl.

Ref: #11328

runtests: better handle ^C during slow tests

Since the SIGINT handler now just sets a flag that must be checked in the
main controller loop, make sure that runs periodically.  Rather than
blocking on a response from a test runner near the end of the test run,
add a short timeout to allow it.

runtests: rename server command file

The name ftpserver.cmd was historical and has been used for more than
ftp for many years now. Rename it to plain server.cmd to reduce
confusion.

tests: improve reliability of TFTP tests

Stop checking the timeout used by the client under test (for most
tests). The timeout will change if the TFTP test server is slow (such as
happens on an overprovisioned CI server) because the client will retry
and reduce its timeout, and the actual value is not important for most
tests.

test285 is changed a different way, by increasing the connect timeout.
This improves test coverage by allowing the changed timeout value to be
checked, but improves reliability with a carefully-chosen timeout that
not only allows twice the time to respond as before, but also allows
several retries before the client will change its timeout value.

Ref: #11328

cf-socket: skip getpeername()/getsockname for TFTP

Since the socket is not connected then the call fails. When the call
fails, failf() is called to write an error message that is then
surviving and is returned when the *real* error occurs later. The
earlier, incorrect, error therefore hides the actual error message.

This could be seen in stderr for test 1007

Test 1007 has now been extended to verify the stderr message.

Closes #11332

example/crawler: make it use a few more options

For show, but reasonable

libcurl-ws.3: mention raw mode

Closes #11339

example/default-scheme: set the default scheme for schemeless URLs

Closes #11338

example/hsts-preload: show one way to HSTS preload

Closes #11337

examples/http-options: show how to send "OPTIONS *"

With CURLOPT_REQUEST_TARGET.

Also add use of CURLOPT_QUICK_EXIT to show.

Closes #11333

examples: make use of CURLOPT_(REDIR_|)PROTOCOLS_STR

To show how to use them

Closes #11334

examples/smtp-mime: use CURLOPT_MAIL_RCPT_ALLOWFAILS

For show

Closes #11335

http: rectify the outgoing Cookie: header field size check

Previously it would count the size of the entire outgoing request and
not just the size of only the Cookie: header field - which was the
intention.

This could make the check be off by several hundred bytes in some cases.

Closes #11331

lib: fix some format specifiers

- Use CURL_FORMAT_CURL_OFF_T where %zd was erroneously used for some
  curl_off_t variables.

- Use %zu where %zd was erroneously used for some size_t variables.

Prior to this change some of the Windows CI tests were failing because
in Windows 32-bit targets have a 32-bit size_t and a 64-bit curl_off_t.
When %zd was used for some curl_off_t variables then only the lower
32-bits was read and the upper 32-bits would be read for part or all of
the next specifier.

Fixes https://github.com/curl/curl/issues/11327
Closes https://github.com/curl/curl/pull/11321

test427: add `cookies` feature and keyword

This test doesn't work with `--disable-cookies`.

Closes https://github.com/curl/curl/pull/11320

imap: Provide method to disable SASL if it is advertised

- Implement AUTH=+LOGIN for CURLOPT_LOGIN_OPTIONS to prefer plaintext
  LOGIN over SASL auth.

Prior to this change there was no method to be able to fall back to
LOGIN if an IMAP server advertises SASL capabilities. However, this may
be desirable for e.g. a misconfigured server.

Per: https://www.ietf.org/rfc/rfc5092.html#section-3.2

";AUTH=<enc-auth-type>" looks to be the correct way to specify what
authenication method to use, regardless of SASL or not.

Closes https://github.com/curl/curl/pull/10041

RELEASE-NOTES: synced

examples/multi-debugcallback.c: avoid the bool typedef

Apparently this cannot be done in c23

Reported-by: Cristian Rodríguez
Fixes #11299
Closes #11319

docs/libcurl/libcurl.3: cleanups and improvements

Closes #11317

libcurl-ws.3: fix typo

curl_ws_*.3: enhance

- all: SEE ALSO the libcurl-ws man page
- send: add example and return value information
- meta: mention that the returned data is read-only

Closes #11318

docs/libcurl/libcurl-ws.3: see also CURLOPT_WS_OPTIONS

docs/libcurl/libcurl-ws.3: minor polish

libcurl-ws.3. WebSocket API overview

Closes #11314

libcurl-url.3: also mention CURLUPART_ZONEID

... and sort the two part-using lists alphabetically

fopen: fix conversion warning on 32-bit Android

When building for 32-bit ARM or x86 Android, `st_mode` is defined as
`unsigned int` instead of `mode_t`, resulting in a
-Wimplicit-int-conversion clang warning because `mode_t` is
`unsigned short`. Add a cast to silence the warning.

Ref: https://android.googlesource.com/platform/bionic/+/refs/tags/ndk-r25c/libc/include/sys/stat.h#86
Closes https://github.com/curl/curl/pull/11313

http2: fix variable type

`max_recv_speed` is `curl_off_t`, so using `size_t` might result in
-Wconversion GCC warnings for 32-bit `size_t`. Visible in the NetBSD
ARM autobuilds.

Closes https://github.com/curl/curl/pull/11312

vtls: fix potentially uninitialized local variable warnings

Follow-up from a4a5e438ae533c

Closes #11310

timeval: use CLOCK_MONOTONIC_RAW if available

Reported-by: Harry Sintonen
Ref: #11288
Closes #11291

tool: add curl command line option `--trace-ids`

- added and documented --trace-ids to prepend (after the timestamp)
  the transfer and connection identifiers to each verbose log line
- format is [n-m] with `n` being the transfer id and `m` being the
  connection id. In case there is not valid connection id, print 'x'.
- Log calls with a handle that has no transfer id yet, are written
  without any ids.

Closes #11185

lib: add CURLINFO_CONN_ID and CURLINFO_XFER_ID

- add an `id` long to Curl_easy, -1 on init
- once added to a multi (or its own multi), it gets
  a non-negative number assigned by the connection cache
- `id` is unique among all transfers using the same
  cache until reaching LONG_MAX where it will wrap
  around. So, not unique eternally.
- CURLINFO_CONN_ID returns the connection id attached to
  data or, if none present, data->state.lastconnect_id
- variables and type declared in tool for write out

Closes #11185

CURLOPT_INFILESIZE.3: mention -1 triggers chunked

Ref: #11300
Closes #11304

CI: openssl-3.0.9+quic

Closes #11296

HTTP3.md: update openssl version

Closes #11297

vtls: avoid memory leak if sha256 call fails

... in the pinned public key handling function.

Reported-by: lizhuang0630 on github
Fixes #11306
Closes #11307

examples/ipv6: disable on win32

I can't make if_nametoindex() work there

Follow-up to c23dc42f3997acf23

Closes #11305

tool_operate: allow cookie lines up to 8200 bytes

Since this option might set multiple cookies in the same line, it does
not make total sense to cap this at 4096 bytes, which is the limit for a
single cookie name or value.

Closes #11303

test427: verify sending more cookies than fit in a 8190 bytes line

curl will then only populate the header with cookies that fit, dropping
ones that otherwise would have been sent

Ref: https://curl.se/mail/lib-2023-06/0020.html

Closes #11303

testutil: allow multiple %-operators on the same line

Closes #11303

docs: update CURLOPT_UPLOAD.3

The behavior of CURLOPT_UPLOAD differs from what is described in the
documentation. The option automatically adds the 'Transfer-Encoding:
chunked' header if the upload size is unknown.

Closes #11300

RELEASE-NOTES: synced

CURLOPT_AWS_SIGV4.3: remove unused variable from example

Closes #11302

examples/https.c: use CURLOPT_CA_CACHE_TIMEOUT

for demonstration purposes

Closes #11290

example/ipv6: feature CURLOPT_ADDRESS_SCOPE in use

Closes #11282

docs: Update HTTP3.md for newer ngtcp2 and nghttp3

Follow-up to fb9b9b58

Ref: #11184
Closes #11295

docs: update the supported ngtcp2 and nghttp3 versions

Follow-up to cae9d10b

Ref: #11184
Closes #11294

tests: fix error messages & handling around sockets

The wrong error code was checked on Windows on UNIX socket failures,
which could have caused all UNIX sockets to be reported as having
errored and the tests therefore skipped. Also, a useless error message
was displayed on socket errors in many test servers on Windows because
strerror() doesn't work on WinSock error codes; perror() is overridden
there to work on all errors and is used instead.

Ref #11258
Closes #11265

CURLOPT_SSH_PRIVATE_KEYFILE.3: expand on the file search

Reported-by: atjg on github
Ref: #11287
Closes #11289

ngtcp2: use ever increasing timestamp in io

- ngtcp2 v0.16.0 asserts that timestamps passed to its function
  will only ever increase.
- Use a context shared between ingress/egress operations that
  uses a shared timestamp, regularly updated during calls.

Closes #11288

GHA: use nghttp2 1.54.0 for the ngtcp2 jobs

GHA: ngtcp2: use 0.16.0 and nghttp3 0.12.0

ngtcp2: build with 0.16.0 and nghttp3 0.12.0

- moved to qlog_write
- crypto => encryption
- CRYPTO => ENCRYPTION
- removed "_is_"
- ngtcp2_conn_shutdown_stream_read and
  ngtcp2_conn_shutdown_stream_write got flag arguments
- the nghttp3_callbacks struct got a recv_settings callback

Closes #11184

example/http2-download: set CURLOPT_BUFFERSIZE

Primarily because no other example sets it, and remove the disabling of
the certificate check because we should not recommend that.

Closes #11284

example/crawler: also set CURLOPT_AUTOREFERER

Could make sense, and it was not used in any example before.

Closes #11283

tls13-ciphers.d: include Schannel

Closes #11271

curl_pushheader_byname/bynum.3: document in their own man pages

These two functions were added in 7.44.0 when CURLMOPT_PUSHFUNCTION was
introduced but always lived a life in the shadows, embedded in the
CURLMOPT_PUSHFUNCTION man page. Until now.

It makes better sense and gives more visibility to document them in
their own stand-alone man pages.

Closes #11286

curl_mprintf.3: minor fix of the example

curl_url_set: enforce the max string length check for all parts

Update the docs and test 1559 accordingly

Closes #11273

examples/ftpuploadresume.c: add use of CURLOPT_ACCEPTTIMEOUT_MS

For show

Closes #11277

examples/unixsocket.c: example using CURLOPT_UNIX_SOCKET_PATH

and alternatively CURLOPT_ABSTRACT_UNIX_SOCKET

Closes #11276

docs: fix missing parameter names in examples

Closes #11278

urlapi: have *set(PATH) prepend a slash if one is missing

Previously the code would just do that for the path when extracting the
full URL, which made a subsequent curl_url_get() of the path to
(unexpectedly) still return it without the leading path.

Amend lib1560 to verify this. Clarify the curl_url_set() docs about it.

Bug: https://curl.se/mail/lib-2023-06/0015.html
Closes #11272
Reported-by: Pedro Henrique

runtests; give each server a unique log lock file

Logs are written by several servers and all of them must be finished
writing before the test results can be determined. This means each
server must have its own lock file rather than sharing a single one,
which is how it was done up to now. Previously, the first server to
complete a test would clear the lock before the other server was done,
which caused flaky tests.

Lock files are now all found in their own directory, so counting locks
equals counting the files in that directory.  The result is that the
proxy logs are now reliably written which actually changes the expected
output for two tests.

Fixes #11231
Closes #11259

runtests: make test file directories in log/N

Test files in subdirectories were not created after parallel test log
directories were moved down a level due to a now-bad comparison.

Follow-up to 92d7dd39

Ref #11264
Closes #11267