multi: alter transfer timeout ordering

- Check whether a connection has succeded before checking whether it's
  timed out.

  This means if we've connected quickly, but subsequently been
  descheduled, we allow the connection to succeed. Note, if we timeout,
  but between checking the timeout, and connecting to the server the
  connection succeeds, we will allow it to go ahead. This is viewed as
  an acceptable trade off.

- Add additional failf logging around failed connection attempts to
  propogate the cause up to the caller.

Co-Authored-by: Martin Howarth
Closes #7178

test677: IMAP CONNECT_ONLY, custom command and then exit

Adjusted ftpserver.pl to add support for the IMAP IDLE command

Adjusted test 660 to sync with the fix

multi: do not switch off connect_only flag when closing

... as it made protocol specific disconnect commands wrongly get used.

Bug: https://curl.se/mail/lib-2021-06/0024.html
Reported-by: Aleksander Mazur
Closes #7288

http: make the haproxy support work with unix domain sockets

... it should then pass on "PROXY UNKNOWN" since it doesn't know the
involved IP addresses.

Reported-by: Valentín Gutiérrez
Fixes #7290
Closes #7291

curl.h: include sys/select.h for NuttX RTOS

Closes #7287

curl.h: remove the execution bit

The execution bit of curl.h file was wrongly added:

  commit 2621025d6f96 ("curl.h: <sys/select.h> is supported by VxWorks7")

and should be removed.

Follow-up to 2621025d6f96 ("curl.h: <sys/select.h> is supported by VxWorks7")
Signed-off-by: Bin Meng <bmeng.cn@gmail.com>
Closes #7286

curl.h: <sys/select.h> is supported by VxWorks7

Closes #7285

quiche: use send() instead of sendto() to avoid macOS issue

sendto() always returns "Socket is already connected" error on macos

Closes #7260

cmake: fix support for UnixSockets feature on Win32

Move the definition of sockaddr_un struct from config-win32.h to
curl_setup.h, so that it could be shared by all build systems.

Add ADDRESS_FAMILY typedef for old mingw, now old mingw can also use
unix sockets.

Also fix the build of tests/server/sws.c on Win32 when USE_UNIX_SOCKETS
is defined.

Closes #7034

hostip: (macOS) free returned memory of SCDynamicStoreCopyProxies

From Apples documentation on SCDynamicStoreCopyProxies, "Return Value: A
dictionary of key-value pairs that represent the current internet proxy
settings, or NULL if no proxy settings have been defined or if an error
occurred. You must release the returned value."

Failure to release the returned value of SCDynamicStoreCopyProxies can
result in a memory leak.

Source: https://developer.apple.com/documentation/systemconfiguration/1517088-scdynamicstorecopyproxies

Closes #7265

RELEASE-NOTES: synced

vtls: fix warning due to function prototype mismatch

b09c8ee changed the function prototype. Caught by Visual Studio.

curl_multibyte: Remove local encoding fallbacks

- If the UTF-8 to UTF-16 conversion fails in Windows Unicode builds then
  no longer fall back to assuming the string is in a local encoding.

Background:

Some functions in Windows Unicode builds must convert UTF-8 to UTF-16 to
pass to the Windows CRT API wide-character functions since in Windows
UTF-8 is not a valid locale (or at least 99% of the time right now).

Prior to this change if the Unicode encoding conversion failed then
libcurl would assume, for backwards compatibility with applications that
may have written their code for non-Unicode builds, attempt to convert
the string from local encoding to UTF-16.

That type of "best effort" could theoretically cause some type of
security or other problem if a string that was locally encoded was also
valid UTF-8, and therefore an unexpected UTF-8 to UTF-16 conversion
could occur.

Ref: https://github.com/curl/curl/pull/7246

Closes https://github.com/curl/curl/pull/7257

curl_endian: remove the unused Curl_write64_le function

The last usage was removed in cca455a36

Closes #7280

vtls: only store TIMER_APPCONNECT for non-proxy connect

Introducing a 'isproxy' argument to the connect function so that it
knows wether to store the time stamp or not.

Reported-by: Yongkang Huang
Fixes #7274
Closes #7274

gnutls: set the preferred TLS versions in correct order

Regression since 781864bedbc57 (curl 7.77.0)

Reported-by: civodul on github
Assisted-by: Nikos Mavrogiannopoulos
Fixes #7277
Closes #7278

configure/cmake: remove checks for unused gethostbyaddr and gethostbyaddr_r

Closes #7276

configure/cmake: remove checks for unused inet_ntoa and inet_ntoa_r

Closes #7276

configure/cmake: remove unused define HAVE_PERROR

Closes #7276

configure: remove unused check for gai_strerror

Closes #7276

configure/cmake: remove unused define HAVE_FREEIFADDRS

Closes #7276

configure/cmake: remove unused define HAVE_FORK

Closes #7276

configure/cmake: remove unused define HAVE_FDOPEN

Closes #7276

configure/cmake: remove checks for unused sgtty.h

Closes #7276

configure/cmake: remove remaining checks for rsa.h

Closes #7276

configure/cmake: remove remaining checks for err.h

Closes #7276

configure/cmake: remove remaining checks for crypto.h

Closes #7276

configure/cmake: remove checks for unused getservbyport_r

Closes #7276

--socks4[a]: clarify where the host name is resolved

Closes #7273

libcurl-security.3: mention file descriptors and forks

... and move the security report section last.

Reported-by: Harry Sintonen
Closes #7270

configure.ac: make non-executable

it needs to be processed by autoconf or autoreconf, and doesn't have a
suitable shebang to be directly executed. other projects normally set
configure.ac -x.

Closes #7272

configure: do not strip out debug flags

To allow users to set them when invoking configure without using
--with-debug.

Reported-by: Alex Xu
Fixes #7216
Closes #7267

libssh2: limit time a disconnect can take to 1 second

Closes #7271

TLS: prevent shutdown loops to get stuck

... by making sure the loops are only allowed to read the shutdown
traffic a limited number of times.

Reported-by: Harry Sintonen
Closes #7271

hyper: propagate errors back up from read callbacks

Makes test 513 work with hyper

Closes #7266

KNOWN_BUGS: Negotiate on Windows fails

Closes #5881

KNOWN_BUGS: renames instead of locking for atomic operations

Closes #6882
Closes #6884

zuul: add two missing CI jobs

... that were configured, just not run

Closes #7261

idn: fix libidn2 with windows unicode builds

Unicode Windows builds use UTF-8 strings internally in libcurl,
so make sure to call the UTF-8 flavour of the libidn2 API. Also
document that Windows builds with libidn2 and UNICODE do expect
CURLOPT_URL as an UTF-8 string.

Reported-by: dEajL3kA on github
Assisted-by: Jay Satiro
Reviewed-by: Marcel Raad
Closes #7246
Fixes #7228

curl_url_set: reject spaces in URLs w/o CURLU_ALLOW_SPACE

They were never officially allowed and slipped in only due to sloppy
parsing. Spaces (ascii 32) should be correctly encoded (to %20) before
being part of a URL.

The new flag bit CURLU_ALLOW_SPACE when a full URL is set, makes libcurl
allow spaces.

Updated test 1560 to verify.

Closes #7073

RELEASE-NOTES: synced

... and bump to version 7.78.0 for the next planned release.

docs: Remove outdated curl tool limitation

- Document that HTTP/2 multiplexing is supported by the curl tool when
  parallel transfers are used.

Supported since 7.66.0 via --parallel, but the doc wasn't updated.

Closes https://github.com/curl/curl/pull/7259

http2: Clarify 'Using HTTP2' verbose message

- Change phrasing from multi-use to multiplexing since the former may
  not be as well understood.

Before: * Using HTTP2, server supports multi-use

After: * Using HTTP2, server supports multiplexing

Bug: https://github.com/curl/curl/discussions/7255
Reported-by: David Hu
Closes https://github.com/curl/curl/pull/7258

winbuild/README: VC should be set to 6 'or larger'

Previously it listed all versions up to 15 (missing 16) but this new
phrasing is more open ended.

Reported-by: Hugh Macdonald
Fixes #7253
Closes #7254

rustls: remove native_roots fallback

For the commandline tool, we expect to be passed
SSL_CONN_CONFIG(CAfile); for library use, the use should pass a set of
trusted roots (like in other TLS backends).

This also removes a dependency on Security.framework when building on
macOS.

Closes #7250

travis: remove jobs that have migrated to zuul

Closes #7245

CI: add jobs using Zuul

It also includes a few changes to get the builds going:
- Added autoconf to common dependencies
- Added automake to common dependencies
- Added libtool to common dependencies
- Added libssl-dev to common dependencies

Co-authored-by: Albin Vass
Closes #7245

netrc: skip 'macdef' definitions

Add test 494 to verify

Reported-by: Harry Sintonen
Fixes #7238
Closes #7244

multi: add scan-build-6 work-around in curl_multi_fdset

scan-build-6 otherwise warns, saying: warning: The left operand of '>='
is a garbage value otherwise, which is false.

Later scan-builds don't claim this on the same code.

Closes #7248

asyn-ares: remove check for 'data' in Curl_resolver_cancel

It implied it would survive a NULL in there which it won't. Instead do
an assert.

Pointed out by scan-build.

Closes #7248

url.c: remove two variable assigns that are never read

Pointed out by scan-build

Closes #7248

mqtt: add support for username and password

Minor-edits-by: Daniel Stenberg
Added test 2200 to 2205

Closes #7243

travis: remove the arm job

We do it on circle CI instead

CI: add .circleci/config.yml

Assisted-by: Gabriel Simmer
Closes #7239

RELEASE-NOTES: synced

runtests: init $VERSION to avoid warnings when using -l

openssl: don't remove session id entry in disassociate

When a connection is disassociated from a transfer, the Session ID entry
should remain.

Regression since 7f4a9a9 (shipped in libcurl 7.77.0)
Reported-by: Gergely Nagy
Reported-by: Paul Groke
Fixes #7222
Closes #7230

single_transfer: ignore blank --output-dir

... as otherwise it creates a rather unexpected target directory with a
leading slash.

Reported-by: Harry Sintonen
Fixes #7218
Closes #7233

tests: update README about servers and port numbers

Closes #7242

conn_shutdown: if closed during CONNECT cleanup properly

Reported-by: Alex Xu
Reported-by: Phil E. Taylor
Fixes #7236
Closes #7237

sws: malloc request struct instead of using stack

... 2MB requests is otherwise just too big for some systems.

(The allocations are not freed properly.)

Bug: https://curl.se/mail/lib-2021-06/0018.html

Closes #7235

lib: don't compare fd to FD_SETSIZE when using poll

FD_SETSIZE is irrelevant when using poll. So ensuring that the file
descriptor is smaller than FD_SETSIZE in VALID_SOCK, can cause
multi_wait to ignore perfectly valid file descriptors and simply wait
for 1s to avoid hammering the CPU in a busy loop.

Fixes #7240
Closes #7241

doh: fix wrong DEBUGASSERT for doh private_data

Closes #7227

tests: update README.md with a missing single quote

Closes #7231

GHA: run all tests for hyper too

As it lists disabled ones in DISABLED now

Closes #7209

tests/data/DISABLED: add tests not working with hyper

The goal is to remove them all from here over time.

Closes #7209

runtests: also find the last test in Makefile.inc

Closes #7209

test3010: work with hyper mode

Closes #7209

configure: disable RTSP when hyper is selected

Makes test 1013 work

Closes #7209

test1594/1595/1596: fix to work in hyper mode

Closes #7209

test1438/1457: add HTTP keyword to make hyper mode work

Closes #7209

test1340/1341: adjusted for hyper mode

Closes #7209

test1218: adjusted for hyper mode

Closes #7209

test1216: adjusted for hyper mode

Closes #7209

test1230: adjust to work in hyper mode

Closes #7209

c-hyper: abort CONNECT response reading early on non 2xx responses

Fixes test 493

Closes #7209

test434: add HTTP keyword

Closes #7209

test599: adjusted to work in hyper mode

Closes #7209

c-hyper: fix the uploaded field in progress callbacks

Makes test 578 work

Closes #7209

test566: adjust to work with hyper mode

Closes #7209

CURLOPT_WRITEFUNCTION.3: minor update of the example

Safely avoid chunk.size garbage value if declared non globally.

Closes #7219

configure: rename get-easy-option configure option to get-easy-options

"get-easy-options" is the configure option advertised by the help text
anyway, so use that.

Fixes #7211
Closes #7213

Follow-up to ad691b191 ("configure: added --disable-get-easy-options")
Suggested-by: Daniel Stenberg <daniel@haxx.se>
Signed-off-by: Bastian Krause <bst@pengutronix.de>

runtests: skip disabled tests unless -f is used

To make it easier to write ranges like '115 to 229' without that
explicitly enabling tests that are listed in DISABLED, this makes
runtests always skip disabled tests unless the -f command line option is
used.

Previously the code attempted to not run such tests, but didn't do it
correctly.

Closes #7212

ngtcp2: disable TLSv1.3 compatible mode when using GnuTLS

The latest GnuTLS-3.7.2 implements disable switch for TLSv1.3 compatible
mode for middle box but it is enabled by default, which is unnecessary
for QUIC.

Fixes #6896
Closes #7202

test644: remove as duplicate of test 587

Closes #7208

RELEASE-NOTES: synced

cookies: track expiration in jar to optimize removals

Removing expired cookies needs to be a fast operation since we want to
be able to perform it often and speculatively. By tracking the timestamp
of the next known expiration we can exit early in case the timestamp is
in the future.

Closes: #7172
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

GHA: add several libcurl tests to the hyper job

500 to 512

test500: adjust to work with hyper mode

c-hyper: support CURLINFO_STARTTRANSFER_TIME

Closes #7204

c-hyper: support CURLOPT_HEADER

When enabled, the headers are passed to the body write callback as well.

Like in test 500

Closes #7204

GHA: run the newly fixed tests with hyper

Closes #7205

test433: adjust for hyper mode

Closes #7205

test395: hyper cannot work around > 64 bit content-lengths like built-in

Closes #7205

test394: hyper returns a different error

Closes #7205

test393: make Content-Length fit within 64 bit for hyper

Closes #7205

test347: CRLFify to work in hyper mode

Closes #7205

test339: CRLFify better to work in hyper mode

Closes #7205

travis: remove the hyper build

GHA: add a linux-hyper job

Closes #7206