travis: Run docs CI on py37

We were running it on py36 as a bit of manual bin-packing to optimize
total CI runtime, but sphinx-on-py36 has some bugs in annotation
introspection that we run into.

web,template: Work around test failures on pypy3

pypy3 doesn't yet have the typing.ContextManager type, and
https://bitbucket.org/pypy/pypy/issues/2868/segfault-with-args-type-annotation-in

Merge remote-tracking branch 'origin/master' into mypy

web,util: Work around "initialize incompatible with superclass" errors

There are still a few more of these, but they're internal-only.

*: Remove some obsolete linter "noqa" cruft

web: Improve typings for HTTP verb methods

Add py.typed marker file and test that client code can be type-checked.

setup: Blacken the file

ci: Enforce black format

*: Adopt black as code formatter

It occasionally makes some odd-looking decisions and uses a lot of
vertical space but overall it's a big improvement, especially for the
dense type signatures.

mypy: Update to 0.630 and pin that version

websocket: Add type annotations

This is more invasive than usual because it defines a Protocol to be
shared between WebSocketHandler and WebSocketClientConnection (and
fixes a bug: an uncaught exception in the callback mode of
WebSocketClientConnection would fail due to the missing log_exception
method).

Fixes #2181

wsgi: Add type annotations

auth: Add type annotations

This is a bit hacky and limited because mypy doesn't handle mixins
very well and there's a lot of untypeable json here, but it's better
than nothing.

web,routing: Add type annotations

template: Add type annotations

httpclients: Add type annotations

locks,queues: Add type annotations

queues_test: Fix comment

This test inaccurately described the behavior it was testing.

autoreload,process: Add type annotations

*: Minimally type-annotate remaining tests

Streamline setup.cfg. Includes a few code changes necessary to get
tests typechecking.

Add thread identity check to add_callback (#2469)

* Add thread identity check to add_callback

Fixes #2463

This reduces the overhead of add_callback when called on the same thread
as the event loop.  This uses asyncio's call_soon rather than
call_soon_threadsafe.

* Separately define add_callback_from_signal

Merge pull request #2500 from bdarnell/master-release-notes

docs: 5.1.1 release notes

docs: 5.1.1 release notes

Merge pull request #2497 from bdarnell/auth-tests

auth: Forward-port tests from branch5.1

auth: Forward-port tests from branch5.1

The bugs fixed in #2496 were already fixed in the 6.0 branch, but the
tests added there are still useful

Merge pull request #2494 from mivade/user-guide-fix

Fix run_in_executor call in user guide

Merge pull request #2490 from bdarnell/mypy

More mypy annotations

docs: Pin sphinx 1.7

The build currently fails on 1.8 due to https://bugs.python.org/issue34700

Fix run_in_executor call in user guide

Addresses #2493.

httpserver,http1connection: Add type annotations

tcpclient,tcpserver: Add type annotations

iostream: Add type annotations

Merge pull request #2472 from peterdn/fix-ioloop-doc-example

Fix IOLoop doc example code

Use spawn_callback method to handle connection

Fix IOLoop doc example code

ioloop,platform: Add type annotations

netutil: Add type annotations

log,options: Add type annotations

locale: Type-annotate the module

testing: Type-annotate the module

Merge pull request #2466 from bdarnell/mypy

concurrent, gen: Add type annotations. Expand type checking of tests

build: Test on newer pypy

Originally motivated by segfaults seen when adding type annotations to
gen.py. It didn't actually fix those crashes, but we might as well
update anyway.

gen: Type annotate the module

This is a tricky module to type. In some cases mypy just isn't able to
express things (e.g. decorators that preserve the parameter types of
their functions but change the return type), and in others I think
it's possible to do better but I haven't figured out how (preserving
types passed through with_timeout).

Merge pull request #2467 from bdarnell/autoreload-test

test: Deflake autoreload_test on windows

test: Deflake autoreload_test on windows

This sometimes fails with a "file in use" error while cleaning up the
temp directory. Add a sleep and retry in case we've reached our
teardown before the child process has released its locks.

Merge pull request #2465 from aaronjheng/license

include license file in the wheel package

gen: Remove some dead code

concurrent: Type-annotate module

test: Partially typecheck tests for annotated modules

The only type annotations added were those required by mypy. This
found some errors in the original annotations.

Merge pull request #2461 from purple4reina/fix-util-type-checking

Always import Type.

include license file in the wheel package

Test configure with string input.

Always import Type.

Merge pull request #2452 from bdarnell/mypy

Add/update mypy annotations for util, httputil, escape

Merge pull request #2460 from bdarnell/ws-close

websocket: Improve detection of closing websocket connections

Merge pull request #2459 from aristotll/patch-1

docs: Fix python syntax error in the user guide

Merge pull request #2456 from garenchan/bugfix-2455

fix issue #2455: AttributeError: 'list' object has no attribute 'slug'

Merge pull request #2454 from silentnights/fix-getaddrinfo-order

Sort getaddrinfo result based on address family

websocket: Improve detection of closing websocket connections

This eliminates the possibility of messages (especially pings) being
sent in the middle of the closing process (which is generally harmless
but results in errors being logged).

Fixes #2447

Merge pull request #2449 from garenchan/bugfix-2448

fix issue #2448: RequestHandler.finish() future not resolving

docs: Fix python syntax error in the user guide

use queryone() instead of query()

fix issue #2455

Sort getaddrinfo result based on address family

Putting getaddrinfo result in a set to eliminate duplicates causes race
 conditions because sets are unordered

For example consider 2 applications try to bind to many random ports at once
 in both IPV4 and IPV6.
App1: Bind to random IPV4 address and get port 50000
App2: Bind to random IPV6 address and get port 50000
App2: Try to bind to same port on IPV4 and fails as App1 already bound to it
The same goes for App1

To resolve this, we create the set explicitly outside the loop.
We order the returned list of getaddrinfo based on Address family.
We skip the iteration if the iteration tuple already in the set.
Otherwise we execute the loop.

improve testcase for RequestHandler.finish()

escape: Type-annotate everything

httputil: Type-annotate all methods

util: Type-annotate everything

There are a few functional changes here, including some changes
related to removing py27.

*: Add mypy tox config and get it passing

Touch up the old annotations; it's simpler now that we're 3.5+. But
most of the additions here are type:ignore comments.

fix issue #2448

Merge pull request #2445 from s3rvac/fix-grammar-mistake-in-user-guide

Fix a grammar mistake in the user guide

Merge pull request #2441 from garenchan/master

fix issue #2438: clear input in demo projects

docs: Fix a grammar mistake in the user guide

"coroutines has" -> "coroutines have"

Merge pull request #2444 from bdarnell/travis-update

build: Restore python 3.7 in travis

build: Restore python 3.7 in travis

Merge pull request #2443 from bdarnell/drop-py2

*: Drop support for Python 2

*: Remove Python2 __future__ imports throughout the codebase

test: Remove legacy unittest2 compatibility cruft

*: Remove unnecessary conditional imports

test: Clean up unnecessary skips and conditionals

docs: Doc and lint updates

Just enough to unbreak the build for now.

stack_context: Delete the whole module

web: Delete asynchronous decorator

wsgi: Remove WSGIAdapter/WSGIApplication

twisted: Dust off the twisted web compatibility tests

twisted: Delete TwistedReactor and its tests

maint: Delete appengine test scripts

util: py3 cleanups

testing: Simplify imports for python 3

locale,netutil,process: Minor deprecation/py3 updates

iostream: Remove deprecated interfaces

This is the riskiest change in this series since it does some internal
refactoring to get rid of some callback-related machinery.

ioloop: Remove remaining deprecated interfaces

httputil: Remove deprecated interfaces

httpclient: Remove callback argument and deprecated error behavior

web,http1connection: Remove callback argument to flush()

gen: Remove coroutine callback args and other py2 support

escape: Remove (some) python 2 compatibility

concurrent: Delete return_future and other deprecated interfaces

auth: Remove deprecated callback interfaces

gen: Delete legacy YieldPoint interfaces