http_proxy: fix typo in http_proxy.c

settting -> setting

Closes #6583

tests/server: Bump MAX_TAG_LEN to 200

This is useful for tests containing HTML inside of <data> sections.
For <img> tags it's not uncommon to be longer than the previous
limit of 79 bytes.

An example of a previously problem-causing tag is:
<img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-http://www.privoxy.org/images/privoxy.png-by-size" width="88" height="31">
which is needed for a Privoxy test for the banners-by-size filter.

Previously it caused server failures like:
12:29:05.786961 ====> Client connect
12:29:05.787116 accept_connection 3 returned 4
12:29:05.787194 accept_connection 3 returned 0
12:29:05.787285 Read 119 bytes
12:29:05.787345 Process 119 bytes request
12:29:05.787407 Got request: GET /banners-by-size/9 HTTP/1.1
12:29:05.787464 Requested test number 9 part 0
12:29:05.787686 getpart() failed with error: -2
12:29:05.787744 - request found to be complete (9)
12:29:05.787912 getpart() failed with error: -2
12:29:05.788048 Wrote request (119 bytes) input to log/server.input
12:29:05.788157 Send response test9 section <data>
12:29:05.788443 getpart() failed with error: -2
12:29:05.788498 instructed to close connection after server-reply
12:29:05.788550 ====> Client disconnect 0
12:29:05.871448 exit_signal_handler: 15
12:29:05.871714 signalled to die
12:29:05.872040 ========> IPv4 sws (port 21108 pid: 51758) exits with signal (15)

tests/badsymbols.pl: when opening '$incdir' fails include it in the error message

runtests.1: document -o, -P, -L, and -E

runtests.pl: add %TESTNUMBER variable to make copying tests more convenient

runtests.pl: add an -o option to change internal variables

runtests.pl has lots of internal variables one might want to
change in certain situations, but adding a dedicated option
for every single one of them isn't practical.

Usage:
./runtests.pl -o TESTDIR=$privoxy_curl_test_dir -o HOSTIP=10.0.0.1 ...

runtests.pl: cleanups

- show the summarized test result in the last line of the report
- do not use $_ after mapping it to a named variable
  Doing that makes the code harder to follow.
- log the restraints sorted by the number of their occurrences
- fix language when logging restraints that only occured once
- let runhttpserver() use $TESTDIR instead of $srcdir
  ... so it works if a non-default $TESTDIR is being used.

runtests.pl: add an -E option to specify an exclude file

It can contain additional restraints for test numbers,
keywords and tools.

The idea is to let third parties like the Privoxy project
distribute an exclude file with their tarballs that specifies
which curl tests are not expected to work when using Privoxy
as a proxy, without having to fork the whole curl test suite.

The syntax could be changed to be extendable and maybe
more closely reflect the "curl test" syntax. Currently
it's a bunch of lines like these:

test:$TESTNUMBER:Reason why this test with number $TESTNUMBER should be skipped
keyword:$KEYWORD:Reason why tests whose keywords contain the $KEYWORD should be skipped
tool:$TOOL:Reason why tests with tools that contain $TOOL should be skipped

To specify multiple $TESTNUMBERs, $KEYWORDs and $TOOLs
on a single line, split them with commas.

runtests.pl: add -L parameter to require additional perl libraries

This is useful to change the behaviour of the script without
having to modify the file itself, for example to use a custom
compareparts() function that ignores header differences that
are expected to occur when an external proxy is being used.

Such differences are proxy-specific and thus the modifications
should be maintained together with the proxy.

runtests.pl: add a -P option to specify an external proxy

... that should be used when executing the tests.

The assumption is that the proxy is an HTTP proxy.

This option should be used together with -L to provide
a customized compareparts() version that knows which
proxy-specific header differences should be ignored.

This option doesn't work for all test types yet.

tests: fixup several tests

missing CRs and modified %hostip

lib556/test556: use a real HTTP version to make test reuse more convenient

make sure the weekday in Date headers matches the date

test61: replace stray "^M" (5e 4d) at the end of a cookie with a '^M' (0d)

Gets the test working with external proxies like Privoxy again.

Closes #6463

ftp: never set data->set.ftp_append outside setopt

Since the set value then risks getting used like that when the easy
handle is reused by the application.

Also: renamed the struct field from 'ftp_append' to 'remote_append'
since it is also used for SSH protocols.

Closes #6579

urldata: remove the 'rtspversion' field

from struct connectdata and the corresponding code in http.c that set
it. It was never used for anything!

Closes #6581

CURLOPT_QUOTE.3: clarify that libcurl doesn't parse what's sent

... so passed in commands may confuse libcurl's knowledge of state.

Reported-by: Bodo Bergmann
Fixes #6577
Closes #6580

vtls: factor out Curl_ssl_getsock to field of Curl_ssl

Closes #6558

RELEASE-PROCEDURE: remove old release dates, add new

docs/SSL-PROBLEMS: enhanced

Elaborate on the intermediate cert issue, and mention that anything
below TLS 1.2 is generally considered insecure these days.

Closes #6572

THANKS: remove a Jon Rumsey dupe

docs: fix FILE example url in --metalink documentation

In a url after <scheme>:// follows the possibly empty authority part
till the next /, so that url missed a /.

Closes #6573
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Daniel Gustafsson <daniel@yesql.se>

hostip: fix build with sync resolver

Reported-by: David Goerger
Follow-up from 8335c6417
Fixes #6566
Closes #6568

mailmap: Jon Rumsey

gskit: correct the gskit_send() prototype

gskit_send() first paramater is a pointer to Curl_easy not connectdata
struct.

Closes #6570
Fixes #6569

urldata: fix build without HTTP and MQTT

Reported-by: Joseph Chen
Fixes #6562
Closes #6563

ftp: avoid SIZE when asking for a TYPE A file

... as we ignore it anyway because servers don't report the correct size
and proftpd even blatantly returns a 550.

Updates a set of tests accordingly.

Reported-by: awesomenode on github
Fixes #6564
Closes #6565

pingpong: rename the curl_pp_transfer enum to use PP prefix

Using an FTP prefix for PP provided functionality was misleading.

RELEASE-NOTES: synced

... and bump pending version to 7.75.1 (for now)

build: fix --disable-http-auth

Broken since 215db08 (precedes 7.75.0).

Reported-by: Benbuck Nason
Fixes https://github.com/curl/curl/issues/6567

build: fix --disable-dateparse

Broken since 215db08 (precedes 7.75.0).

Bug: https://curl.se/mail/lib-2021-02/0008.html
Reported-by: Firefox OS

OS400: update for CURLOPT_AWS_SIGV4

chkstrings fails because a new string option that could require codepage
conversion has been added.

Closes #6561
Fixes #6560

BUG-BOUNTY: removed the cooperation mention

RELEASE-NOTES: synced

THANKS: added contributors from 7.75.0

copyright: fix year ranges in need of updates

TODO: remove items for next SONAME bump etc

We want to avoid that completely, so we don't plan for things after such
an event.

ngtcp2: Fix build error due to change in ngtcp2_settings

- Separate ngtcp2_transport_params.

ngtcp2/ngtcp2@05d7adc made ngtcp2_transport_params separate from
ngtcp2_settings.

ngtcp2 master is required to build curl with http3 support.

Closes #6554

vtls: remove md5sum

As it is not used anymore.

Reported-by: Jacob Hoffman-Andrews
Bug: https://curl.se/mail/lib-2021-02/0000.html

Closes #6557

quiche: don't use primary_ip / primary_port

Closes #6555

travis: enable quiche's FFI feature

http: improve AWS HTTP v4 Signature auth

- Add support services without region and service prefixes in
the URL endpoint (ex. Min.IO, GCP, Yandex Cloud, Mail.Ru Cloud Solutions, etc)
by providing region and service parameters via aws-sigv4 option.
- Add [:region[:service]] suffix to aws-sigv4 option;
- Fix memory allocation errors.
- Refactor memory management.
- Use Curl_http_method instead() STRING_CUSTOMREQUEST.
- Refactor canonical headers generating.
- Remove repeated sha256_to_hex() usage.
- Add some docs fixes.
- Add some codestyle fixes.
- Add overloaded strndup() for debug - curl_dbg_strndup().
- Update tests.

Closes #6524

hyper: fix CONNECT to set 'data' as userdata

Follow-up to 14e075d1a7fd

connect: fix compile errors in `Curl_conninfo_local`

.. for the `#else` (`!HAVE_GETSOCKNAME`) case

Fixes https://github.com/curl/curl/issues/6548
Closes #6549

Signed-off-by: Layla <layla@insightfulvr.com>

transfer: fix GCC 10 warning with flag '-Wint-in-bool-context'

... and return the error code from the Curl_mime_rewind call.

Closes #6537

avoid warning: enum constant in boolean context

copyright: fix missing year (range) updates

RELEASE-NOTES: synced

openssl: lowercase the hostname before using it for SNI

... because it turns out several servers out there don't actually behave
correctly otherwise in spite of the fact that the SNI field is
specifically said to be case insensitive in RFC 6066 section 3.

Reported-by: David Earl
Fixes #6540
Closes #6543

KNOWN_BUGS: cmake: ExternalProject_Add does not set CURL_CA_PATH

Closes #6313

KNOWN_BUGS: Multi perform hangs waiting for threaded resolver

Closes #4852

KNOWN_BUGS: "pulseUI VPN client" is known to be buggy

First entry in the new section "applications" for known problems in
libcurl using applications.

Closes #6306

tool_writeout: make %{errormsg} blank for no errors

Closes #6539

build: fix djgpp builds

- Update build instructions in packages/DOS/README

- Extend 'VPATH' with 'vquic' and 'vssh'.

- Allow 'Makefile.dist' to build both 'lib' and 'src'.

- Allow using the Windows hosted djgpp cross compiler to build for MSDOS
  under Windows.

- 'USE_SSL' -> 'USE_OPENSSL'

- Added a 'link_EXE' macro. Etc, etc.

- Linking 'curl.exe' needs '$(CURLX_CFILES)' too.

- Do not pick-up '../lib/djgpp/*.o' files. Recompile locally.

- Generate a gzipped 'tool_hugehelp.c' if 'USE_ZLIB=1'.

- Remove 'djgpp-clean'

- Adapt to new C-ares directory structure

- Use conditional variable assignments

Clarify the 'conditional variable assignment' in 'common.dj'.

Closes https://github.com/curl/curl/pull/6382

hyper: fix typo in c-hyper.c

settting -> setting

Closes #6538

libssh2: fix CURL_LIBSSH2_DEBUG-enabled build

Follow-up to 2dcc940959772a

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/2dcc940959772a652f6813fb6bd3092095a4877b#commitcomment-46420088

asyn-thread: fix build for when getaddrinfo missing

This is a follow-up to 8315343 which several days ago moved the resolver
pointer into the async struct but did not update the code that uses it
when getaddrinfo is not present.

Closes https://github.com/curl/curl/pull/6536

urldata: move 'ints' to the end of 'connectdata'

To optimize storage slightly.

Closes #6534

urldata: store ip version in a single byte

Closes #6534

urldata: remove duplicate 'upkeep_interval_ms' from connectdata

... and rely only on the value already set in Curl_easy.

Closes #6534

urldata: remove 'local_ip' from the connectdata struct

As the info is already stored in the transfer handle anyway, there's no
need to carry around a duplicate buffer for the life-time of the handle.

Closes #6534

urldata: remove duplicate port number storage

... and use 'int' for ports. We don't use 'unsigned short' since -1 is
still often used internally to signify "unknown value" and 0 - 65535 are
all valid port numbers.

Closes #6534

urldata: remove the duplicate 'ip_addr_str' field

... as the numerical IP address is already stored and kept in 'primary_ip'.

Closes #6534

select: convert Curl_select() to private static function

The old function should not be used anywhere anymore (the only remaining
gskit use has to be fixed to instead use Curl_poll or none at all).

The static function version is now called our_select() and is only built
if necessary.

Closes #6531

Curl_chunker: shrink the struct

... by removing a field, converting the hex index into a byte and
rearranging the order. Cuts it down from 48 bytes to 32 on x86_64.

Closes #6527

curl: include the file name in --xattr/--remote-time error msgs

curl: s/config->global/global/ in single_transfer()

curl: move fprintf outputs to warnf

For setting and getting time of the download. To make the outputs
respect --silent etc.

Reported-by: Viktor Szakats
Fixes #6533
Closes #6535

ngtcp2: Fix http3 upload stall

Closes #6521

ngtcp2: Fix stack buffer overflow

Closes #6521

warnless.h: remove the prototype for curlx_ultosi

Follow-up to 217552503ff3

warnless: remove curlx_ultosi

... not used anywhere

Closes #6530

lib: remove conn->data uses

Closes #6515

pingpong: remove the 'conn' struct member

... as it's superfluous now when Curl_easy is passed in and we can
derive the connection from that instead and avoid the duplicate copy.

Closes #6525

hostip/proxy: remove conn->data use

Closes #6513

url: reduce conn->data references

... there are a few left but let's keep them to last

Closes #6512

scripts/singleuse: add curl_easy_option*

test410: fix for windows

- Pass the very long request header via file instead of command line.

Prior to this change the 49k very long request header string was passed
via command line and on Windows that is too long so it was truncated and
the test would fail (specifically msys CI).

Closes https://github.com/curl/curl/pull/6516

libssh2: move data from connection object to transfer object

Readdir data, filenames and attributes are strictly related to the
transfer and not the connection. This also reduces the total size of the
fixed connectdata struct.

Closes #6519

RELEASE-NOTES: synced

lib: remove conn->data uses

Closes #6499

hyper: remove the conn->data references

Closes #6508

travis: build ngtcp2 --with-gnutls

... since they disable it by default since a few days back.

Closes #6506
Fixes #6493

hostip: remove conn->data from resolver functions

This also moves the 'async' struct from the connectdata struct into the
Curl_easy struct, which seems like a better home for it.

Closes #6497

strerror: skip errnum >= 0 assertion on windows

On Windows an error number may be greater than INT_MAX and negative once
cast to int.

The assertion is checked only in debug builds.

Closes https://github.com/curl/curl/pull/6504

doh: make Curl_doh_is_resolved survive a NULL pointer

... if Curl_doh() returned a NULL, this function gets called anyway as
in a asynch procedure. Then the doh struct pointer is NULL and signifies
an OOM situation.

Follow-up to 6246a1d8c6776

wolfssh: remove conn->data references

... and repair recent build breakage

Closes #6507

http: empty reply connection are not left intact

... so mark the connection as closed in this condition to prevent that
verbose message to wrongly appear.

Reported-by: Matt Holt
Bug: https://twitter.com/mholt6/status/1352130240265375744
Closes #6503

chunk/encoding: remove conn->data references

... by anchoring more functions on Curl_easy instead of connectdata

Closes #6498

lib: save a bit of space with some structure packing

- Reorder some internal struct members so that less padding is used.

This is an attempt at saving a bit of space by packing some structs
(using pahole to find the holes) where it might make sense to do
so without losing readability.

I.e., I tried to avoid separating fields that seem grouped
together (like the cwd... fields in struct ftp_conn for instance).
Also abstained from touching fields behind conditional macros as
that quickly can get complicated.

Closes https://github.com/curl/curl/pull/6483

INSTALL.md: fix typo

Found-by: Marcel Raad

http: get CURLOPT_REQUEST_TARGET working with a HTTP proxy

Added test 1613 to verify.

Closes #6490

Merge branch 'bagder/curl_range-data-conn'

ftp: remove conn->data leftover

curl_range: remove conn->data

Closes #6496

INSTALL: now at 85 operating systems

quiche: fix unused parameter ‘conn’

Follow-up to 2bdec0b3

transfer: fix ‘conn’ undeclared mistake for iconv build

Follow-up to 219d9f8620d

doh: allocate state struct on demand

... instead of having it static within the Curl_easy struct. This takes
away 1176 bytes (18%) from the Curl_easy struct that aren't used very
often and instead makes the code allocate it when needed.

Closes #6492

socks: use the download buffer instead

The SOCKS code now uses the generic download buffer for temporary
storage during the connection procedure, instead of having its own
private 600 byte buffer that adds to the connectdata struct size. This
works fine because this point the buffer is allocated but is not use for
download yet since the connection hasn't completed.

This reduces the connection struct size by 22% on a 64bit arch!

The SOCKS buffer needs to be at least 600 bytes, and the download buffer
is guaranteed to never be smaller than 1000 bytes.

Closes #6491

urldata: make magic be the first struct field

By making the `magic` identifier the same size and at the same place
within the structs (easy, multi, share), libcurl will be able to more
reliably detect and safely error out if an application passes in the
wrong handle to APIs. Easier to detect and less likely to cause crashes
if done.

Such mixups can't be detected at compile-time due to them being
typedefed void pointers - unless `CURL_STRICTER` is defined.

Closes #6484

http_chunks: correct and clarify a comment on hexnumber length

... and also rename the define for max length.

Closes #6489

curl_path: remove conn->data use

Closes #6487