cyassl: define build macros before including ssl.h

cyassl/ssl.h needs the macros from cyassl/options.h, so define them
before including cyassl/ssl.h the first time, which happens in
urldata.h.
This broke the build on Ubuntu Xenial, which comes with WolfSSL 3.4.8
and therefore redefines the symbols from cyassl/options.h instead of
including the header.

Closes https://github.com/curl/curl/pull/1536

tool_util: remove unused tvdiff_secs and remove tool_ prefix

Closes #1532

dedotdot: fixed output for ".." and "." only input

Found when updating test 1395, which I did to increase test coverage of
this source file...

Closes #1535

mbedtls: make TU-local variable static

mbedtls_x509_crt_profile_fr is only used locally.
This fixes a missing-variable-declarations warning with clang.

MD(4|5): silence cast-align clang warning

Unaligned access is on purpose here and the warning is harmless on
affected architectures. GCC knows that, while clang warns on all
architectures.

test1538: fix typo

test1538: verify the libcurl strerror API calls

curl_endian: remove unused functions

Closes #1529

test1537: dedicated tests of the URL (un)escape API calls

Closes #1530

coverage: run event tests too

... the torture ones are commented out only because they are slooooow.

build: provide easy code coverage measuring

Closes #1528

typecheck-gcc.h: check CURLINFO_CERTINFO

... and update the certinfo.c example accordingly.

Fixes https://github.com/curl/curl/issues/846

typecheck-gcc.h: check CURLINFO_TLS_SSL_PTR and CURLINFO_TLS_SESSION

... so that they get the required "struct curl_tlssessioninfo **"
arguments.

typecheck-gcc.h: separate getinfo slist checks from other pointers

Fixes #1524

curl-compilers.m4: escape square brackets in regex

Otherwise, they are removed in the final configure file.
Also changed sed to "$SED" like in most other calls in this file.

curl-compilers.m4: fix compiler_num for clang

"clang -dumpversion" always returns "4.2.1", the GCC version that clang
was initially compatible to. Use "clang -v" instead, which returns the
actual clang version.

Fixes https://github.com/curl/curl/issues/1522
Closes https://github.com/curl/curl/pull/1523

examples/externalsocket.c: s/closesocket/closecb

... since closesocket is a function in WinSock.

Reported-by: Marcel Raad
Bug: https://github.com/curl/curl/commit/55fcb8485914700132fd1854c9509b66c955efbe#co
mmitcomment-22347818

lib583: fix compiler warning

Use CURLMcode for variable 'res' and cast to int where necessary
instead of the other way around. Other tests do the same.

This fixes the following clang warning:
lib583.c:68:15: warning: cast from function call of type 'CURLMcode' to
non-matching type 'int' [-Wbad-function-cast]

CURLOPT_SSH_KEY*.3: typos

Reported-by: Gisle Vanem

CURLOPT_STREAM_DEPENDS.3: typo

CURLOPT_FNMATCH_FUNCTION.3: also modified example to avoid fcpp issues

CURLOPT_FNMATCH_DATA.3: modified example to avoid fcpp issues

opts: more than 100 more examples for man pages...

libtest/lib574.c: use correct callback proto

examples/sampleconv.c: indent changes, made callbacks static

example/externalsocket.c: make it use CLOSESOCKETFUNCTION too

curl-compilers.m4: enable -Wshift-sign-overflow for clang

clang 2.9+ supports -Wshift-sign-overflow, which warns about undefined
behavior on signed left shifts when shifting by too many places.

Ref: https://github.com/curl/curl/issues/1516
Closes https://github.com/curl/curl/pull/1517

CURLOPT_PROXY.3: fix test 1140 breakage

build-wolfssl: Sync config with wolfSSL 3.11

wolfSSL configure script relevant changes from 3.10 to 3.11:

- Async threading support added; disabled by default without async
  crypto, which continues to be disabled by default.

wolfSSL configure script relevant changes from 3.11 to 3.11.1 (beta):

- TLS 1.3 beta support added; disabled by default.

For experimenting I put in a comment block the defines needed to enable
TLS 1.3 support (ie the equivalent of --enable-tls13).

opts: more examples added to man pages

docs: clarify NO_PROXY further

Fixes #1208

CURLOPT_PROXY.3: describe the environment variables more

transfer: init the infilesize from the postfields...

... with a strlen() if no size was set, and do this in the pretransfer
function so that the info is set early. Otherwise, the default strlen()
done on the POSTFIELDS data never sets state.infilesize.

Reported-by: Vincas Razma
Bug: #1294

test557: fix ubsan runtime error due to int left shift

- Test curl_msnprintf negative int width arg using INT_MIN instead of
  1 << 31 which is undefined behavior.

Closes https://github.com/curl/curl/issues/1516

mbedtls: fix variable shadow warning

vtls/mbedtls.c:804:69: warning: declaration of 'entropy' shadows a global declaration [-Wshadow]
 CURLcode Curl_mbedtls_random(struct Curl_easy *data, unsigned char *entropy,
                                                                     ^~~~~~~

RELEASE-NOTES: synced with 3aaac8c2f

tests: removed some redundant empty <stdout> sections

runtests.pl: removed <precommand> feature

This hasn't been used in over a decade. <precheck> can still be used to
run commands before the main test.

opts: more examples added in option man pages

runtests.pl: removed unused arguments to valgrindparse

TODO: 6.4 is done, send telnet data in chunks

docs/CURLOPT_SSLVERSION.3: Correct define name in example

Closes #1509

ssh: fix 'left' may be used uninitialized

follow-up to f31760e63b4e

Reported-by: Michael Kaufmann
Bug: https://github.com/curl/curl/pull/1495#issuecomment-303982793

time: fix type conversions and compiler warnings

Fix bugs and compiler warnings on systems with 32-bit long and
64-bit time_t.

Reviewed-by: Daniel Stenberg
Closes #1499

examples: fix Wimplicit-fallthrough warnings

This is contained in -Wextra with GCC 7.

winbuild: fix the nghttp2 build

Closes #1321

LDAP: documentation update per #878 changes (#1506)

redirect: store the "would redirect to" URL when max redirs is reached

Test 1261 added to verify.

Reported-by: Lloyd Fournier
Fixes #1489
Closes #1497

LDAP: fixed checksrc issue

LDAP: using ldap_bind_s on Windows with methods (#878)

* LDAP: using ldap_bind_s on Windows with methods(BASIC/DIGEST/NTLM/AUTONEG)

* ldap: updated per build options handling

* ldap: fixed logic for auth selection

cmake: fix build on Ubuntu 14.04

Fixed a syntax error with setting cache variables (The type and
docstring were missing), resulting in build errors.  Quoted the
CURL_CA_PATH and CURL_CA_BUNDLE otherwise the path was written without
quotes in C code, resulting in build errors.

Closes #1503

Signed-off-by: Akhil <akhil.kedia@samsung.com>

url: fix declaration of 'pipe' shadows a global declaration

follow-up to 4cdb1be8246c

memdebug: fix compilation failure

.... caused by a typo in the last commit (fixing issue #1504):

memdebug.c: In function ‘curl_fclose’:
memdebug.c:444:3: error: implicit declaration of function
‘DEBUGDEBUGASSERT’ [-Werror=implicit-function-declaration]

assert: avoid, use DEBUGASSERT instead!

... as it does extra checks to actually work.

Reported-by: jonrumsey at github
Fixes #1504

cmake: remove unused variables: GNUTLS_ENABLED, NSS_ENABLED

cmake: remove CURL_CA_BUNDLE from cmake TODO

cmake: auto detection of CURL_CA_BUNDLE/CURL_CA_PATH

Closes #1461

cmake: add CURL_CA_BUNDLE/CURL_CA_FALLBACK/CURL_CA_PATH options

cmake: Add CURL_CA_FALLBACK to curl_config.h.cmake

This is for symmetry with the autoconf generated curl_config.h.in

RELEASE-NOTES: synced with 052a14e3c

tests: stabilize test 1034

Pass the invalid domain name on stdin. On some systems, the test
framework cannot pass invalid UTF-8 sequences on the command line.

Closes #1488

ssh: ignore timeouts during disconnect

... as otherwise it risks not cleaning up the libssh2 handle properly
which leads to memory leak!

Assisted-by: Joel Depooter
Closes #1495
Closes #1479

Bug: https://curl.haxx.se/mail/lib-2017-04/0024.html

ghiper.c/hiperfifo.c: add comment about missing timer functionality

It takes someone to read up on the APIs of these libraries to figure out
how to do this correctly.

Reported-by: Michael Kaufmann
Closes #1253

asiohiper.cpp / evhiperfifo.c: deal with negative timerfunction input

That means delete the timer.

Reported-by: Michael Kaufmann
Ref: #1253

cmdline-opts/write-out.d: s/-L/--location

Since the man page generator wants the long option name version to
generate the proper output.

mkhelp.pl: do not add current time into curl binary

... as part of hugehelpgz rodata to make build reproducible.

See https://reproducible-builds.org/ for why this is good

Closes #1490

oauth2-bearer.d: mention the <token> argument

darwinssl: Fix exception when processing a client-side certificate file
if no error was raised by the API but the SecIdentityRef was null

Fixes #1450

curl_sasl: fix build error with CURL_DISABLE_CRYPTO_AUTH + USE_NTLM

Reported-by: wyattoday at github
Fixes #1487

docs/cmdline-opts/config.d: edit for language

RELEASE-NOTES: synced with eb16305e6

SecureTransport/DarwinSSL: Implement public key pinning

Closes #1400

man pages: fix example syntax errors

follow-up to 5ddad099b42b50

docs/libcurl/opts: added more examples in man pages

CURLOPT_HTTPPROXYTUNNEL: clarify, add example

curl: show the libcurl release date in --version output

... and support and additional "security patched" date for those who
enhance older versions that way. Pass on the define CURL_PATCHSTAMP with
a date for that.

Building with non-release headers shows the date as [unreleased].

Also: this changes the date format generated in the curlver.h file to be
"YYYY-MM-DD" (no name of the day or month, no time, no time zone) to
make it easier on the eye and easier to parse. Example (new) date
string: 2017-05-09

Suggested-by: Brian Childs
Closes #1474

url.c: add a compile-time check that CURL_MAX_WRITE_SIZE is large enough

Some code (e.g. Curl_fillreadbuffer) assumes that this buffer is not
exceedingly tiny and will break if it is. This same check is already
done at run time in the CURLOPT_BUFFERSIZE option.

lib510: don't write past the end of the buffer if it's too small

tests: added missing keywords "chunked Transfer-Encoding"

THANKS: add a few missing names

... I found them in the commit logs from the early years

tests: made a couple of prechecks consistent with others

Also removed a TODO suggesting caching the precheck results. Tests
showed this would save about 0.1 sec on the total test run time on a
relatively modern system, an unnoticeable gain at the cost of longer and
more complicated code. There would also be a danger that a cached test
result would be inappropriately returned, such as when other test
dependencies (like environment variables) are different or when the
precheck causes side effects (like filesystem changes).

FAQ: add 7.4 to toc

... and delete trailing whitespace

Fixes #1484

multi: remove leftover debug infof() calls from e9fd794a6

pipeline: fix mistakenly trying to pipeline POSTs

The function IsPipeliningPossible() would return TRUE if either
pipelining OR HTTP/2 were possible on a connection, which would lead to
it returning TRUE even for POSTs on HTTP/1 connections.

It now returns a bitmask so that the caller can differentiate which kind
the connection allows.

Fixes #1481
Closes #1483
Reported-by: stootill at github

mbedtls: Support server renegotiation request

Tested with servers: IIS 7.5; OpenSSL 1.0.2.

Closes https://github.com/curl/curl/pull/1475

cookie_interface: fix -Wcomma warning

clang 5.0 complains:
possible misuse of comma operator here [-Wcomma]

formdata: fix -Wcomma warning

clang 5.0 complains:
possible misuse of comma operator here [-Wcomma]

Change the comma to a semicolon to fix that.

multi: use a fixed array of timers instead of malloc

... since the total amount is low this is faster, easier and reduces
memory overhead.

Also, Curl_expire_done() can now mark an expire timeout as done so that
it never times out.

Closes #1472

multi: assign IDs to all timers and make each timer singleton

 A) reduces the timeout lists drastically

 B) prevents a lot of superfluous loops for timers that expires "in vain"
    when it has actually already been extended to fire later on

tests: remove superfluous test 1399

@MarcelRaad noted that `test1399` causes infinite loop on MinGW.
Looking into this, seems like it is related to how Windows handles
CRLF. See https://github.com/curl/curl/commit/9e093f by @mback2k.
Removing `test1399` as it's identical to `test1326` then with such a
fix.

Test 1399 was broughy by commit 862b02f8947039e

Closes #1478

tests: make test file names more unique

Include the test number in the names of files written out by tests to
reduce the chance of accidental duplication and to make it more clear
which test is associated with which file.

tests: removed redundant --trace-ascii arguments

This is already added by the test suite; it's not clear why all these
tests had it, unless it's cargo-culting.

tool: fix remaining -Wcast-qual warnings

Avoid casting away low-level const.

formboundary: convert assert into run-time check

... to really make sure the boundary fits in the target buffer.

Fixes unused parameter 'buflen' warning.

Reported-by: Michael Kaufmann
Bug: https://github.com/curl/curl/pull/1468#issuecomment-300078754

tests: list the primary server first in the server section

curl: generate the --help output

... using the docs/cmdline-opts/gen.pl script, so that we get all the
command line option documentation from the same source.

The generation of the list has to be done manually and pasted into the
source code.

Closes #1465

tests: updated for modified fake random

rand: treat fake entropy the same regardless of endianness

When the random seed is purposely made predictable for testing purposes
by using the CURL_ENTROPY environment variable, process that data in an
endian agnostic way so the the initial random seed is the same
regardless of endianness.

- Change Curl_rand to write to a char array instead of int array.

- Add Curl_rand_hex to write random hex characters to a buffer.

Fixes #1315
Closes #1468

Co-authored-by: Daniel Stenberg
Reported-by: Michael Kaufmann

tests: give each stunnel.conf file a unique name

Otherwise, subsequent uses of stunnel overwrite the configuration file
of previous invocations so they can no longer be inspected.

tool_msgs: remove wrong cast

Commit 481e0de00a9003b9c5220b120e3fc302d9b0932d changed the variable
type from int to size_t, so don't cast the result of strlen to int
anymore.