ci: Don't run full test suite on python 3.5.2

Merge pull request #2772 from ploxiln/fork_doc_exit

process: correct docs of fork_processes exit behavior

process: correct docs of fork_processes exit behavior

fixes #2771

Merge pull request #2768 from bdarnell/ci-revamp

build: Revamp test/CI configuration

build: Revamp test/CI configuration

Reduce tox matrix to one env per python version, with two extra builds
for lint and docs. Delegate to tox from travis-ci.

Add 3.8 to testing. Simplify by dropping coverage reporting and
"no-deps" test runs.

Merge pull request #2767 from bdarnell/fix-lint

demos: Fix lint in webspider demo

demos: Fix lint in webspider demo

Updates #2765

Merge pull request #2765 from jvansan:master

Dead link handling in webspider example

Merge pull request #2766 from tornadoweb/pin-black

ci: Pin version of black

ci: Pin version of black

A new release of black changed the way some of our files are formatted,
so use a fixed version in CI.

Dead link handling

Added an extra set for handling dead links, and reporting.

One consequence of this is that using this script will "work" offline, but will report that some all the links were not fetched.

Merge pull request #2727 from andersk/304

Clear fewer headers on 1xx/204/304 responses

Merge pull request #2745 from remram44/re-unescape

Fix unescaping of regex routes

Merge pull request #2748 from supakeen/readme-improvements

Use HTTPS link for tornado website.

Merge pull request #2750 from jbampton/simplify-statements

Simplify chained comparisons.

Merge pull request #2755 from tornadoweb/dependabot/pip/maint/twisted-19.7.0

build(deps): bump twisted from 19.2.1 to 19.7.0 in /maint

build(deps): bump twisted from 19.2.1 to 19.7.0 in /maint

Bumps [twisted](https://github.com/twisted/twisted) from 19.2.1 to 19.7.0.
- [Release notes](https://github.com/twisted/twisted/releases)
- [Changelog](https://github.com/twisted/twisted/blob/trunk/NEWS.rst)
- [Commits](https://github.com/twisted/twisted/compare/twisted-19.2.1...twisted-19.7.0)

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2741 from khasanovbi/fix_head_transfer_encoding_chunked

Fix extra data sending at HEAD response with Transfer-Encoding: Chunked

Simplify chained comparison.

Use HTTPS link for tornado website.

Fix unescaping of regex routes

Previously, only the part before the first '(' would be correctly
unescaped.

Add test for unescaping with groups

Omit Transfer-Encoding header for HEAD response

Fix extra data sending at HEAD response with Transfer-Encoding: Chunked

Clear fewer headers on 1xx/204/304 responses

This function is called on more than just 304 responses; it’s
important to permit the Allow header on 204 responses.  Also, the
relevant RFCs have changed significantly.

Fixes #2726.

Signed-off-by: Anders Kaseorg <andersk@mit.edu>

Merge pull request #2723 from bluetech/perf1

httputil: A couple of small performance improvements

Merge pull request #2735 from ploxiln/body_args_bytes

parse_body_arguments: allow incomplete url-escaping

httputil.parse_body_arguments: allow incomplete url-escaping

support x-www-form-urlencoded body with values consisting of
encoded bytes which are not url-encoded into ascii
(it seems other web frameworks often support this)

add bytes qs support to escape.parse_qs_bytes,
leave str qs support for backwards compatibility

tests: replace remaining assertEquals() with assertEqual()

assertEquals() is deprecated, and python3.7/pytest can warn about it

spelling corrections

* maintainance -> maintenance

* recieving -> receiving

Merge pull request #2725 from bdarnell/ssl-win-py374

test: Disable TLS 1.3 in one test

test: Disable TLS 1.3 in one test

This test started failing on windows CI with an upgrade to python
3.7.4 (which bundles a newer version of openssl). Disable tls 1.3 for
now.

Possibly related to #2536

httputil: use compiled re patterns

This is slightly faster than using the builtin cache, e.g.:

With benchmark below (Python 3.7, Linux):

before: 0.7284867879934609
after:  0.2657967659761198

```py
import re
from time import perf_counter

line = 'HTTP/1.1'

_http_version_re = re.compile(r"^HTTP/1\.[0-9]$")

start = perf_counter()
for i in range(1000000):
    _http_version_re.match(line)
print(perf_counter() - start)

start = perf_counter()
for i in range(1000000):
    re.match(r"^HTTP/1\.[0-9]$", line)
print(perf_counter() - start)
```

httputil: cache header normalization with @lru_cache instead of hand-rolling

Tornado is now py3-only so @lru_cache is always available.

Performance is about the same. Benchmark below. Python 3.7 on Linux.

before, cached:   0.9121252089971676
before, uncached: 13.358482279989403

after, cached:    0.9175888689933345
after, uncached:  11.085199063003529

```py
from time import perf_counter

names = [f'sOMe-RanDOM-hEAdeR-{i}' for i in range(1000)]

from tornado.httputil import _normalize_header
start = perf_counter()
for i in range(10000):
    # _normalize_header.cache_clear()
    for name in names:
        _normalize_header(name)
print(perf_counter() - start)

from tornado.httputil import _NormalizedHeaderCache
start = perf_counter()
_normalized_headers = _NormalizedHeaderCache(1000)
for i in range(10000):
    # _normalized_headers = _NormalizedHeaderCache(1000)
    for name in names:
        _normalized_headers[name]
print(perf_counter() - start)
```

Merge pull request #2692 from mivade/docs-blog-example-update

Update database backend reference

Merge pull request #2715 from mivade/template-optional-autoescape-typing

Mark Template autoescape kwarg as Optional

Merge pull request #2707 from remram44/patch-1

Strip documentation about removed argument

Mark Template autoescape kwarg as Optional

Strip documentation about removed argument

Update database backend reference

Merge pull request #2687 from bdarnell/req-bump

Bump version of twisted to pick up security fix

Merge pull request #2688 from bdarnell/relnotes603

Release notes for 6.0.3

Release notes for 6.0.3

Bump version of twisted to pick up security fix

Merge pull request #2686 from bdarnell/docs-py38-windows

docs: Add notice about WindowsSelectorEventLoop on py38

docs: Add notice about WindowsSelectorEventLoop on py38

Fixes #2608

Merge pull request #2684 from bdarnell/socket-error

netutil: Ignore EADDRNOTAVAIL when binding to localhost ipv6

test: Skip test_source_port_fail when running as root

Root is always allowed to bind to low port numbers, so we can't
simulate failure in this case. This is the last remaining failure when
running tests in docker.

netutil: Ignore EADDRNOTAVAIL when binding to localhost ipv6

This happens in docker with default configurations and is generally
harmless.

Fixes #2274

*: Modernize IO error handling

Where possible, replace use of errno with the exception hierarchy
available since python 3.3. Remove explicit handling of EINTR which
has been automatic since python 3.5

Merge pull request #2683 from bdarnell/cancelledexception-py38

gen: Adapt to py38 CancelledError changes

gen: Clean up docs for with_timeout

Mark CancelledError change as 6.0.3

ci: Re-enable nightly python

Fixes #2677

locks: Remove redundant CancelledError handling

CancelledError is now always considered "quiet" (and
concurrent.futures.CancelledError is no longer the same as
asyncio.CancelledError).

Merge pull request #2681 from encukou/gen-ignore-cancel

gen.with_timeout: Don't log CancelledError after timeout

Fix ReST syntax

gen.with_timeout: Don't log CancelledError after timeout

See also: commit a237a995a1d54ad6e07c1ecdf5103ff8f45073b5

mypy: Enable no_implicit_optional

"Implicit-optional" mode is on by default, but that default is intended to change in the indefinite future (python/peps#689, python/typing#275). Go ahead and change to the future explicit use of Optional.

Merge pull request #2679 from ploxiln/curl_no_decompress

curl_httpclient: fix disabled decompress_response

tests: run test_gzip for curl_httpclient also

move simple_httpclient test_gzip to the shared httpclient tests,
to test the decompress_response option for curl_httpclient as well

curl_httpclient: fix disabled decompress_response

by setting None (NULL) instead of "none" for ENCODING

reported by Andrey Oparin <andrey@edsd.com>

iostream: check that stream is open before trying to read (#2670)

Merge pull request #2673 from ploxiln/docs_build_quickfix

docs: conflict between sphinx-2.1, sphinxcontrib-asyncio

tests: allow failure on python nightly

seems to be due to a bunch of asyncio.exceptions.CancelledError

Revert "docs: remove sphinxcontrib-asyncio"

This reverts commit 71494a4db76b3ae458e5757d741bdd1aac255640.

docs: remove sphinxcontrib-asyncio

no longer needed since Sphinx-2.1 (and effectively conflicts with it)

docs: build with sphinx < 2.1

sphinx 2.1 adds an ":async:" option for py:method:: and py:function::
and it does not seem to interact well with sphinxcontrib-asyncio

Merge pull request #2653 from bdarnell/twisted-install

twisted: Restore the install() function

Merge pull request #2654 from bdarnell/deps

Bump dependency versions, including mypy

twisted: Restore the install() function

This function had more usage than I was aware of and we can preserve
the old behavior by making it an alias for asyncioreactor.install.

Fixes #2636

deps: Bump mypy to 0.701

maint: Bump maintainer requirements.txt versions

Drop autopep8, add sphinxcontrib-asyncio

Merge pull request #2646 from m-burst/patch-1

Speedup headers parsing

Speedup headers parsing

Replace `_CRLF_RE.split(headers)` with a simple `headers.split('\n')` with an additional check for `'\r'` in each line.
Add benchmark to measure performance impact of the change.
The benchmark results are as follows:
* split only: ~3x faster on CPython, 14-18x faster on PyPy
* full headers parse: ~1.3x faster on CPython, ~3-4.5x faster on PyPy

Merge pull request #2649 from javabrett/2648-LogFormatter-CRITICAL-color

Added color for logging.CRITICAL = 5 (Magenta).

Merge pull request #2650 from bdarnell/deprecation38

test: Silence a deprecation warning in py38+pycurl

test: Silence a deprecation warning in py38+pycurl

Merge pull request #2644 from Swixx/request-handler-get-accept-kwargs

Allow RequestHandler.get to accept **kwargs.

Added color for logging.CRITICAL = 5 (Magenta).

Fixed #2648.

Allow RequestHandler.get to accept **kwargs.

Merge pull request #2631 from bdarnell/docs

Misc docs updates

twisted: Remove outdated comments

docs: Clarify platform support and add not-on-windows notes

We also picked up solaris /dev/poll support with the move to asyncio.

See #2622

Release notes for 6.0.2

Release notes for 6.0.1

Merge pull request #2629 from bdarnell/httpresponse-no-body

httpclient: HTTPResponse.body returns empty string instead of raising

httpclient: HTTPResponse.body returns empty string instead of raising

In tornado 5, HTTPResponse.body would return None if there was no body
buffer (which included errors like timeouts and socket errors, but not
HTTP errors like 404). In tornado 6 this was changed to never return
None (to make it easier to work with type annotations) and raise an
error instead. This turned out to be disruptive, so change it back to
returning a value without raising (but now it's an empty byte string
instead of None).

Fixes #2626

Merge pull request #2613 from bdarnell/ws-nodelay

websocket: Fix set_nodelay

websocket: Fix set_nodelay

This method was untested and broken in 6.0.0.

Fixes #2611

Merge pull request #2614 from mivade/docs-twisted-version

Remove twisted version comment in module docstring

Remove twisted version comment in module docstring

Let the documentation in `TwistedResolver` specify the minimum
version.

Merge pull request #2612 from bdarnell/download-script

Add script to download wheels from appveyor

Add script to download wheels from appveyor

Merge pull request #2606 from ploxiln/travis_update_xenial

travis-ci tests: always use dist xenial

Merge pull request #2609 from fchapoton/patch-1

remove duplicate import of gettext

remove duplicate import of gettext

travis-ci tests: always use dist xenial

Travis-CI Trusty Container-based environment was available
between July, 2017 and December, 2018.
https://docs.travis-ci.com/user/reference/overview/#deprecated-virtualization-environments

Merge pull request #2605 from bdarnell/python-352

Fix importability on python 3.5.2

Fix importability on python 3.5.2

The "provisional" typing module in 3.5.2 is kind of broken/incomplete
so we need to use more forward references to avoid confusing it. The
significance of this version in particular is that it was the one
included in ubuntu 16.04.

Fixes #2604

Merge pull request #2603 from bdarnell/version-bump

Bump master branch to 6.1.dev1