CURLOPT_ALTSVC.3: document the file format

Closes #9033

runtests: add "threadsafe" to detected features

Follow-up to recent commits which added thread-safety support.

Bug: https://github.com/curl/curl/pull/9012#discussion_r902018782
Reported-by: Marc Hörsken
Closes https://github.com/curl/curl/pull/9030

easy: remove dead code

Follow-up from 5912da253b64d

Detected by Coverity (CID 1506519)

Closes #9029

transfer: upload performance; avoid tiny send

Append to the upload buffer when only small amount remains in buffer
rather than performing a separate tiny send to empty buffer.

Avoid degenerative upload behavior which might cause curl to send mostly
1-byte DATA frames after exhausing the h2 send window size

Related discussion: https://github.com/nghttp2/nghttp2/issues/1722

Signed-off-by: Glenn Strauss <gstrauss@gluelogic.com>
Closes #8965

projects: fix third-party SSL library build paths for Visual Studio

The paths used by the build batch files were inconsistent with those in
the Visual Studio project files.

Closes #8991

urlapi: make curl_url_set(url, CURLUPART_URL, NULL, 0) clear all parts

As per the documentation :

> Setting a part to a NULL pointer will effectively remove that
> part's contents from the CURLU handle.

But currently clearing CURLUPART_URL does nothing and returns
CURLUE_OK. This change will clear all parts of the URL at once.

Closes #9028

CI: bump FreeBSD 13.0 to 13.1

Signed-off-by: Philip H <47042125+pheiduck@users.noreply.github.com>
Closes #8815

RELEASE-NOTES: synced

and updated release date in RELEASE-PROCEDURE.md

CURLOPT_HTTPHEADER.3: improve comment in example

Closes #9025

CI/azure: reduce flakiness by retrying install/prepare steps

Closes #9010

CI/cirrus: align Windows timeout with Azure CI at 120 minutes

Closes #9009

vtls: make curl_global_sslset thread-safe

.. and update some docs to explain curl_global_* is now thread-safe.

Follow-up to 23af112 which made curl_global_init/cleanup thread-safe.

Closes https://github.com/curl/curl/pull/9016

curl_easy_pause.3: remove explanation of progress function

- Remove misleading text that says progress function "gets called at
  least once per second, even if the connection is paused."

The progress function behavior is more nuanced and the user is better
served reading the progress function doc rather than attempt to explain
it in the curl_easy_pause doc.

The progress function can only be called at least once per second if an
appropriate multi transfer function is called (eg curl_multi_perform) in
that time. For a paused transfer there may not be such a call. Rather
than explain this in detail in the curl_easy_pause doc, rely on the user
reading the CURLOPT_PROGRESSFUNCTION doc.

Ref: https://github.com/curl/curl/issues/8983

Closes https://github.com/curl/curl/pull/9015

libssh: skip the fake-close when libssh does the right thing

Starting in libssh 0.10.0 ssh_disconnect() will no longer close our
socket. Instead it will be kept alive as we want it, and it is our
responsibility to close it later.

Ref: #8718
Ref: https://gitlab.com/libssh/libssh-mirror/-/merge_requests/240
Closes #9021

configure: warn about rustls being experimental

Right now a dozen test cases are disabled because they don't work with
rustls.

Closes #9019

runtests: skip starting the ssh server if user name is lacking

Because the ssh server startup script *requires* a user name there's no
point in invoking it if no name was found.

Reported-by: Ricardo M. Correia
Ref: #9007
Closes #9013

copyright.pl: parse and use .reuse/dep5 for skips

Also scan skipped files to be able to find superfluous ignores, shown with -v.

Closes #9006

reuse/dep5: adjusted to parse better

... adjusted a few files to contain copyright and license info.

Closes #9006

buildconf.bat: update copyright year range

Closes #9006

README.md: use the common "Copyright" style formatting

Closes #9006

reuse: move license info from .mailmap.license to .reuse/dep5

Closes #9006

README.md: add a REUSE badge

Closes #9004

.reuse/dep5: remove recursive docs ignore, only skip markdown files

... and some additional non-markdown individual files in docs/

Closes #9005

docs/cmdline-opts: add copyright and license identifier to each file

gen.pl now insists on C: and SPDX-License-Identifier: fields to be
present in all files.

Closes #9002

copyright: info for/ignore .github/ISSUE_TEMPLATE/bug_report.md

Follow-up from 448f7ef9ab2afb7. The adding of the copyright text in that
file broke site functionality.

Closes #9001

bug_report.md: revert the REUSE template to see if it works again

version: rename threadsafe-init to threadsafe

Referring to Daniel's article [1], making the init function thread-safe
was the last bit to make libcurl thread-safe as a whole. So the name of
the feature may as well be the more concise 'threadsafe', also telling
the story that libcurl is now fully thread-safe, not just its init
function. Chances are high that libcurl wants to remain so in the
future, so there is little likelihood of ever needing any other distinct
`threadsafe-<name>` feature flags.

For consistency we also shorten `CURL_VERSION_THREADSAFE_INIT` to
`CURL_VERSION_THREADSAFE`, update its description and reference libcurl's
thread safety documentation.

[1]: https://daniel.haxx.se/blog/2022/06/08/making-libcurl-init-more-thread-safe/

Reviewed-by: Daniel Stenberg
Reviewed-by: Jay Satiro
Closes #8989

test3026: disable on win32

... as it's not likely to have working pthreads

Closes #8996

GHA: shorten the reuse CI job name

"REUSE compliance / check" should be good enough

Closes #9000

misc: add missing SPDX-License-Identifier info

For some reason the REUSE CI job did not find these.

Closes #8999

copyright: verify SPDX-License-Identifier presence as well

easy_lock: add SPDX license identifier

Closes #8998

mailmap: Max Mehl

git: ignore large commit making the curl REUSE compliant

copyright: make repository REUSE compliant

Add licensing and copyright information for all files in this repository. This
either happens in the file itself as a comment header or in the file
`.reuse/dep5`.

This commit also adds a Github workflow to check pull requests and adapts
copyright.pl to the changes.

Closes #8869

curl_url_set.3: clarify by default using known schemes only

Closes #8994

scripts/copyright.pl: ignore leading spaces

ngtcp2: fix typo in preprocessor condition

Ref: 927ede7edcb7b05b8e8bbf9ced6aed523ae594a7

Bug: https://github.com/curl/curl/pull/8981#discussion_r894312185
Reported-by: Emil Engler
Closes #8987

RELEASE-NOTES: synced

ngtcp2: build without sendmsg

Closes #8981

ngtcp2: use handshake helper funcs to simplify TLS handshake integration

Closes #8968

test390: verify --parallel

Closes #8985

test1543: verify CURLINFO_EFFECTIVE_URL with CURLOPT_CURLU set

Triggered by a bug report from Adam Light:
https://curl.se/mail/lib-2022-06/0013.html - which ended up being mostly
a misunderstanding of how CURLINFO_EFFECTIVE_URL works.

Closes #8971

url: URL encode the path when extracted, if spaces were set

urlapi: support CURLU_URLENCODE for curl_url_get()

server/sws: support spaces in the HTTP request path

tests/getpart: fix getpartattr to work with "data" and "data2"

select: return error from "lethal" poll/select errors

Adds two new error codes: CURLE_UNRECOVERABLE_POLL and
CURLM_UNRECOVERABLE_POLL one each for the easy and the multi interfaces.

Reported-by: Harry Sintonen
Fixes #8921
Closes #8961

test3026: add missing control file

Follow-up from 2ed101256414ea5

Makes the test run, makes 'make dist' work

This single test takes 24-25 seconds on my machine (with valgrind). For
this reason I tag it with a "slow" keyword.

Closes #8976

runtests: fix skipping tests not done event-based

... and call timestampskippedevents() to avoid the flood of
uninitialized variable warnings.

Closes #8977

transfer: maintain --path-as-is after redirects

Reported-by: Marcus T
Fixes #8974
Closes #8975

test391: verify --path-as-is with redirect

curl_global_init.3: Separate the Windows loader lock warning

This is a slight correction of the parent commit which implied the
loader lock warning only applied if not thread-safe. In fact the loader
lock warning applies either way.

Ref: https://github.com/curl/curl/pull/8972#discussion_r891987030

curl_global_init.3: this is now (usually) thread-safe

Follow-up to 23af112f5556

Closes #8972

libcurl-security.3: Document CRLF header injection

- Document that user input to header options is not sanitized, which
  could result in CRLF used to modify the request in a way other than
  what was intended.

Ref: https://hackerone.com/reports/1589877
Ref: https://medium.com/@tomnomnom/crlf-injection-into-phps-curl-options-e2e0d7cfe545

Closes https://github.com/curl/curl/pull/8964

CURLOPT_RANGE.3: remove ranged upload advice

The e-mail link in the advice contains instructions that are prone to
error. We need an example that works and can demonstrate how to properly
perform a ranged upload, and then we can refer to that example instead.

Bug: https://github.com/curl/curl/issues/8969
Reported-by: Simon Berger
Closes https://github.com/curl/curl/pull/8970

curl_version_info: add CURL_VERSION_THREADSAFE_INIT

This flag can be used to make sure that curl_global_init() is
thread-safe.

This can be useful for libraries that can't control what other
dependencies are doing with Curl.

Closes #8680

lib: make curl_global_init() threadsafe when possible

Use a posix pthread or a Windows SRWLOCK to lock curl_global_init*() and
curl_global_cleanup().

Closes #8680

RELEASE-NOTES: synced

test414: add the '--resolve' keyword

... so the test can be automatically skipped when
using an external proxy like Privoxy.

Closes #8959

test{440,441,493,977}: add "HTTP proxy" keywords

... so the tests can be automatically skipped when
using an external proxy like Privoxy.

Closes #8959

runtests.pl: add the --repeat parameter to the --help output

Closes #8959

test 2081: add a valid reply for the second request

... so the test works when using a HTTP proxy like
Privoxy that sends an error message if the server
doesn't send data.

Closes #8959

test 675: add missing CR so the test passes when run through Privoxy

Closes #8959

ftp: when failing to do a secure GSSAPI login, fail hard

... instead of switching to cleartext. For the sake of security.

Reported-by: Harry Sintonen
Bug: https://hackerone.com/reports/1590102
Closes #8963

http2: reject overly many push-promise headers

Getting more than a thousand of them is rather a sign of some kind of
attack.

Reported-by: Harry Sintonen
Bug: https://hackerone.com/reports/1589847
Closes #8962

misc: spelling improvements

Closes #8956

ngtcp2: fix assertion failure on EMSGSIZE

Closes #8958

easy/transfer: fix cookie-disabled build

Follow-up from 45de940cebf6a
Reported-by: Marcel Raad
Fixes #8953
Closes #8954

examples/crawler.c: use the curl license

With permission from Jeroen Ooms

URL: https://github.com/curl/curl/pull/8869#issuecomment-1144742731
Closes #8950

speed-limit/time.d: mention these affect transfers in either direction

Reported-by: Ladar Levison
Fixes #8948
Closes #8951

scripts/copyright.pl: fix the exclusion to not ignore man pages

Ref: #8869
Closes #8952

examples: remove fopen.c and rtsp.c

To simplify the license situation, as they were the only files in the
source tree using these specific BSD-3 clause licenses.

For an fopen style API, we recommend instead going
https://github.com/curl/fcurl

Ref: #8869
Closes #8949

netrc: check %USERPROFILE% as well on Windows

Closes #8855

CURLOPT_SSH_HOSTKEYDATA/FUNCTION.3: minor polish

libssh2: add CURLOPT_SSH_HOSTKEYFUNCTION

The callback set by CURLOPT_SSH_HOSTKEYFUNCTION is called to check
wether or not the connection should continue.

The host key is passed in argument with a custom handle for the
application.

It overrides CURLOPT_SSH_KNOWNHOSTS

Closes #7959

docs/CONTRIBUTE.md: document the 'needs-votes' concept

A pull request sent to the project might get labeled `needs-votes` by a
project maintainer. This label means that in addition to meeting all
other checks and qualifications this pull request must also receive
proven support/thumbs-ups from more community members to be considered
for merging.

Closes #8910

digest: tolerate missing "realm"

Server headers may not define "realm", avoid NULL pointer dereference
in such cases.

Closes #8912

digest: added detection of more syntax error in server headers

Invalid headers should not be processed otherwise they may create
a security risk.

Closes #8912

digest: unquote realm and nonce before processing

RFC 7616 (and 2617) requires values to be "unquoted" before used for
digest calculations. The only place where unquoting can be done
correctly is header parsing function (realm="DOMAIN\\host" and
realm=DOMAN\\host are different realms).

This commit adds unquoting (de-escaping) of all values during header
parsing and quoting of the values during header forming. This approach
should be most straightforward and easy to read/maintain as all values
are processed in the same way as required by RFC.

Closes #8912

headers: handle unfold of space-cleansed headers

Detected by OSS-fuzz

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=47767

Updated test 1274

Closes #8947

lib: make more protocol specific struct fields #ifdefed

... so that they don't take up space if the protocols are disabled in
the build.

Closes #8944

DISABLED: disable 1021 for hyper again

due to flakiness in the CI builds

urldata: store tcp_keepidle and tcp_keepintvl as ints

They can't be set larger than INT_MAX in the setsocket API calls.

Also document the max values in their respective man pages.

Closes #8940

urldata: reduce size of a few struct fields

When the values are never larger than 32 bit, ints are better than longs.

Closes #8940

urldata: remove three unused booleans from struct UserDefined

- is_fwrite_set
- free_referer
- strip_path_slash

Closes #8940

remote-name.d: mention --output-dir

plus add two see-alsos

Closes #8945

configure: skip libidn2 detection when winidn is used

Prior to this change --with-winidn could be overridden by libidn2
detection.

Closes https://github.com/curl/curl/pull/8934

CURLOPT_FILETIME.3: fix the protocols this works with

test681: verify --no-remote-name

Follow-up to 83ee5c428d960 (from #8931)

Closes #8942

ngtcp2: enable Linux GSO

Enable Linux GSO in ngtcp2 QUIC.  In order to recover from the
EAGAIN/EWOULDBLOCK by sendmsg with multiple packets in one GSO write,
packet buffer is now held by struct quicsocket.  GSO write might fail in
runtime depending on NIC.  Disable GSO if sendmsg returns EIO.

Closes #8909

CURLOPT_PORT.3: We discourage using this option

Closes #8941

RELEASE-NOTES: synced

headers_push: error out if a folded header has no previous header

As that would indicate an illegal header. The fuzzer reached the assert
in unfold_value() proving that this case can happen.

Follow-up to c9b60f005358a364

Closes #8939

curl: re-enable --no-remote-name

Closes #8931

test680: require 'http' since it uses such a URL

Follow-up to d1b376c03524

CURLOPT_NETRC.3: document the .netrc file format

test680: verify rejection of malformatted .netrc quoted password

test679: verify netrc quoted string

netrc: support quoted strings

The .netrc parser now accepts strings within double-quotes in order to
deal with for example passwords containing white space - which
previously was not possible.

A password that starts with a double-quote also ends with one, and
double-quotes themselves are escaped with backslashes, like \". It also
supports \n, \r and \t for newline, carriage return and tabs
respectively.

If the password does not start with a double quote, it will end at first
white space and no escaping is performed.

WARNING: this change is not entirely backwards compatible. If anyone
previously used a double-quote as the first letter of their password,
the parser will now get it differently compared to before. This is
highly unfortunate but hard to avoid.

Reported-by: ImpatientHippo on GitHub
Fixes #8908
Closes #8937