test: Skip test_source_port_fail when running as root

Root is always allowed to bind to low port numbers, so we can't
simulate failure in this case. This is the last remaining failure when
running tests in docker.

netutil: Ignore EADDRNOTAVAIL when binding to localhost ipv6

This happens in docker with default configurations and is generally
harmless.

Fixes #2274

*: Modernize IO error handling

Where possible, replace use of errno with the exception hierarchy
available since python 3.3. Remove explicit handling of EINTR which
has been automatic since python 3.5

Merge pull request #2681 from encukou/gen-ignore-cancel

gen.with_timeout: Don't log CancelledError after timeout

Fix ReST syntax

gen.with_timeout: Don't log CancelledError after timeout

See also: commit a237a995a1d54ad6e07c1ecdf5103ff8f45073b5

mypy: Enable no_implicit_optional

"Implicit-optional" mode is on by default, but that default is intended to change in the indefinite future (python/peps#689, python/typing#275). Go ahead and change to the future explicit use of Optional.

Merge pull request #2679 from ploxiln/curl_no_decompress

curl_httpclient: fix disabled decompress_response

tests: run test_gzip for curl_httpclient also

move simple_httpclient test_gzip to the shared httpclient tests,
to test the decompress_response option for curl_httpclient as well

curl_httpclient: fix disabled decompress_response

by setting None (NULL) instead of "none" for ENCODING

reported by Andrey Oparin <andrey@edsd.com>

iostream: check that stream is open before trying to read (#2670)

Merge pull request #2673 from ploxiln/docs_build_quickfix

docs: conflict between sphinx-2.1, sphinxcontrib-asyncio

tests: allow failure on python nightly

seems to be due to a bunch of asyncio.exceptions.CancelledError

Revert "docs: remove sphinxcontrib-asyncio"

This reverts commit 71494a4db76b3ae458e5757d741bdd1aac255640.

docs: remove sphinxcontrib-asyncio

no longer needed since Sphinx-2.1 (and effectively conflicts with it)

docs: build with sphinx < 2.1

sphinx 2.1 adds an ":async:" option for py:method:: and py:function::
and it does not seem to interact well with sphinxcontrib-asyncio

Merge pull request #2653 from bdarnell/twisted-install

twisted: Restore the install() function

Merge pull request #2654 from bdarnell/deps

Bump dependency versions, including mypy

twisted: Restore the install() function

This function had more usage than I was aware of and we can preserve
the old behavior by making it an alias for asyncioreactor.install.

Fixes #2636

deps: Bump mypy to 0.701

maint: Bump maintainer requirements.txt versions

Drop autopep8, add sphinxcontrib-asyncio

Merge pull request #2646 from m-burst/patch-1

Speedup headers parsing

Speedup headers parsing

Replace `_CRLF_RE.split(headers)` with a simple `headers.split('\n')` with an additional check for `'\r'` in each line.
Add benchmark to measure performance impact of the change.
The benchmark results are as follows:
* split only: ~3x faster on CPython, 14-18x faster on PyPy
* full headers parse: ~1.3x faster on CPython, ~3-4.5x faster on PyPy

Merge pull request #2649 from javabrett/2648-LogFormatter-CRITICAL-color

Added color for logging.CRITICAL = 5 (Magenta).

Merge pull request #2650 from bdarnell/deprecation38

test: Silence a deprecation warning in py38+pycurl

test: Silence a deprecation warning in py38+pycurl

Merge pull request #2644 from Swixx/request-handler-get-accept-kwargs

Allow RequestHandler.get to accept **kwargs.

Added color for logging.CRITICAL = 5 (Magenta).

Fixed #2648.

Allow RequestHandler.get to accept **kwargs.

Merge pull request #2631 from bdarnell/docs

Misc docs updates

twisted: Remove outdated comments

docs: Clarify platform support and add not-on-windows notes

We also picked up solaris /dev/poll support with the move to asyncio.

See #2622

Release notes for 6.0.2

Release notes for 6.0.1

Merge pull request #2629 from bdarnell/httpresponse-no-body

httpclient: HTTPResponse.body returns empty string instead of raising

httpclient: HTTPResponse.body returns empty string instead of raising

In tornado 5, HTTPResponse.body would return None if there was no body
buffer (which included errors like timeouts and socket errors, but not
HTTP errors like 404). In tornado 6 this was changed to never return
None (to make it easier to work with type annotations) and raise an
error instead. This turned out to be disruptive, so change it back to
returning a value without raising (but now it's an empty byte string
instead of None).

Fixes #2626

Merge pull request #2613 from bdarnell/ws-nodelay

websocket: Fix set_nodelay

websocket: Fix set_nodelay

This method was untested and broken in 6.0.0.

Fixes #2611

Merge pull request #2614 from mivade/docs-twisted-version

Remove twisted version comment in module docstring

Remove twisted version comment in module docstring

Let the documentation in `TwistedResolver` specify the minimum
version.

Merge pull request #2612 from bdarnell/download-script

Add script to download wheels from appveyor

Add script to download wheels from appveyor

Merge pull request #2606 from ploxiln/travis_update_xenial

travis-ci tests: always use dist xenial

Merge pull request #2609 from fchapoton/patch-1

remove duplicate import of gettext

remove duplicate import of gettext

travis-ci tests: always use dist xenial

Travis-CI Trusty Container-based environment was available
between July, 2017 and December, 2018.
https://docs.travis-ci.com/user/reference/overview/#deprecated-virtualization-environments

Merge pull request #2605 from bdarnell/python-352

Fix importability on python 3.5.2

Fix importability on python 3.5.2

The "provisional" typing module in 3.5.2 is kind of broken/incomplete
so we need to use more forward references to avoid confusing it. The
significance of this version in particular is that it was the one
included in ubuntu 16.04.

Fixes #2604

Merge pull request #2603 from bdarnell/version-bump

Bump master branch to 6.1.dev1

Bump master branch to 6.1.dev1

Merge pull request #2602 from bdarnell/version-6.0

Set version to 6.0

Set version to 6.0

Merge pull request #2588 from bdarnell/6.0b1

Set version to 6.0b1

Set version to 6.0b1

Merge pull request #2587 from bdarnell/opt

ioloop: Micro-optimize IOLoop.add_future

Merge pull request #2586 from sadielbartholomew/minor-docs-improvements

docs: assorted minor e.g. formatting improvements

Merge pull request #2580 from bdarnell/remove-log

httputil: Remove a noisy log line

Merge pull request #2581 from bdarnell/websocket-open-catch

websocket: Catch errors in async open() correctly

Minor formatting & grammatical etc. edits to docs

ioloop: Micro-optimize IOLoop.add_future

Asyncio Futures always schedule their callbacks on a future iteration
of the IOLoop, so routing the callbacks through IOLoop.add_callback
again was redundant and causing unnecessary delays in callback
execution.

websocket: Catch errors in async open() correctly

Previously if open() was a coroutine and raised an error, the
connection would be left open.

Fixes #2570

httputil: Downgrade a noisy log line

Only complain about unsupported content encodings if it's a
content-type we'd otherwise try to parse.

Fixes #2578

Merge pull request #2566 from BoboTiG/fix-resource-leaks

Fix ResourceWarning: unclosed file

Fix ResourceWarning: unclosed file

Signed-off-by: Mickaël Schoentgen <contact@tiger-222.fr>

Merge pull request #2565 from bdarnell/docs-6.0a1

Release notes for 6.0a1

init: set version to 6.0a1

setup: Don't repeat version number in setup.py

docs: More 6.0 release notes

First part of 6.0 release notes: note all deprecated removals

docs: Update homepage for 6.0

Merge pull request #2440 from bdarnell/validate-redirect

httpclient: Validate redirect location header and method

simple_httpclient: Only convert POST requests to GETs on redirect

Convert POST to GET on 301 in addition to 302 and 303.

http1connection: Fix a bug with redirects and chunked requests

After a redirect, the chunked-encoding header is already set and would
not be detected correctly. This affects empty bodies with
allow_nonstandard_methods and any use of body_producer.

Revert "Revert "_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)""

This reverts commit dda77f2ca3365bd031a0c56dd19c8ed781a0695a.

Merge pull request #2564 from bdarnell/queue-warning

queues: Add a note to Queue.get about difference from stdlib

queues: Add a note to Queue.get about difference from stdlib

Tornado's interpretation of the timeout argument differs from the
stdlib's queue.

Fixes #2370

Merge pull request #2563 from bdarnell/docs-update

docs: Various updates

concurrent: Update docs

auth: Update docs

queues: Update docs

locks: Update docs

gen: Update docs

iostream: Update docs

ioloop: Update docs

httpclient: Update docs

httpserver: Update docs

docs: Add sphinxcontrib-asyncio

This adds a "coroutine" marker to native coroutines

websocket: Change some Future type annotations to Awaitables

This conforms with usage elsewhere, that methods returning None use
Futures (self-starting in case the result is not awaited) and others
use Awaitable (reserving the option to use more efficient native
coroutines).

escape: Update docs

Replace to_basestring with an alias for to_unicode, since the two are
equivalent on py3.

web: Update docs

Merge pull request #2562 from bdarnell/docs-update

docs: Minor updates

docs: Remove year from copyright variable

Computing this dynamically is wrong and it doesn't seem worth the
trouble to maintain manually.

Closes #2258
Closes #2259

docs: Use python 3.7 via conda for readthedocs builds

The typing module in python 3.5 has problems with some type
annotations so we need to build with 3.7. RTD doesn't yet support py37
natively but we can get it with conda following an example at
https://github.com/rtfd/readthedocs-docker-images/pull/73

docs: Blacken conf.py

docs: Upgrade sphinx to 1.8

The bug that kept us on 1.7 was fixed in 1.8.2.

Merge pull request #2561 from bdarnell/contextvars-test

gen_test: Verify that contextvars work as expected

gen_test: Verify that contextvars work as expected

Merge pull request #2560 from bdarnell/websocket-cleanup

websocket: Convert to native coroutines, refactor

websocket: Convert legacy coroutines to native

websocket: Make WSH.get a coroutine

This is necessary to convert accept_connection to native coroutines -
the handshake no longer completes within a single IOLoop iteration
with this change due to coroutine scheduling.

This has the side effect of keeping the HTTP1Connection open for the
lifetime of the websocket connection. That's not great for memory, but
might help streamline close handling. Either way, it'll be refactored
in a future change.