escape: Type-annotate everything

httputil: Type-annotate all methods

util: Type-annotate everything

There are a few functional changes here, including some changes
related to removing py27.

*: Add mypy tox config and get it passing

Touch up the old annotations; it's simpler now that we're 3.5+. But
most of the additions here are type:ignore comments.

Merge pull request #2444 from bdarnell/travis-update

build: Restore python 3.7 in travis

build: Restore python 3.7 in travis

Merge pull request #2443 from bdarnell/drop-py2

*: Drop support for Python 2

*: Remove Python2 __future__ imports throughout the codebase

test: Remove legacy unittest2 compatibility cruft

*: Remove unnecessary conditional imports

test: Clean up unnecessary skips and conditionals

docs: Doc and lint updates

Just enough to unbreak the build for now.

stack_context: Delete the whole module

web: Delete asynchronous decorator

wsgi: Remove WSGIAdapter/WSGIApplication

twisted: Dust off the twisted web compatibility tests

twisted: Delete TwistedReactor and its tests

maint: Delete appengine test scripts

util: py3 cleanups

testing: Simplify imports for python 3

locale,netutil,process: Minor deprecation/py3 updates

iostream: Remove deprecated interfaces

This is the riskiest change in this series since it does some internal
refactoring to get rid of some callback-related machinery.

ioloop: Remove remaining deprecated interfaces

httputil: Remove deprecated interfaces

httpclient: Remove callback argument and deprecated error behavior

web,http1connection: Remove callback argument to flush()

gen: Remove coroutine callback args and other py2 support

escape: Remove (some) python 2 compatibility

concurrent: Delete return_future and other deprecated interfaces

auth: Remove deprecated callback interfaces

gen: Delete legacy YieldPoint interfaces

concurrent: Delete legacy Future implementation

ioloop: Delete PollIOLoop

This was py2-only and is no longer used.

build: Stop building and testing with python 2.7 and 3.4

Also temporarily remove nightly from the list, because travis's
"nightly" on trusty is pinned to an alpha of 3.7 with some slightly
different behaviors (testing on 3.7 is covered by appveyor)

Set version number to 6.0.dev1

Merge pull request #2442 from bdarnell/finalize-5.1

Set version number to 5.1

Set version number to 5.1

Merge pull request #2439 from bdarnell/revert-redirect

Revert "_HTTPConnection: check location on _should_follow_redirect() …

Revert "_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)"

This reverts commit 859a038eb9c1af99d3871c9972f0826a1d05475d.

This commit was merged after the release of 5.1b1 with insufficient
consideration and testing. I'll bring this back in the 6.0 cycle with
a test

Merge pull request #2432 from bdarnell/py37

build: Add Python 3.7 to tox and travis configs

test: Increase a timeout to deflake autoreload_test on pypy3

test: Reduce the size of a test to avoid timeouts

This test times out in SSL mode on Python 3.7 64-bit on windows on
appveyor (but 32-bit and older pythons are fine)

build: Add Python 3.7 to tox and appveyor configs

Not in travis yet because getting python 3.7 on travis is more complicated.

Merge pull request #2437 from bdarnell/work

wsgi: Avoid touching the asyncio event loop at import time

wsgi: Avoid touching the asyncio event loop at import time

Rewrite import_test. Its original purpose of augmenting our once-poor
test coverage, but it can now be useful for ensuring the absence of
import-time side effects.

Fixes #2426

demos: Remove redundant assignment

Fixes #2415

Merge pull request #2428 from AlexanderSov/patch-1

Add space to psql command

_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)

Fix mistake in command.

Merge pull request #2418 from bdarnell/5.1-beta

Set version number to 5.1b1

Set version number to 5.1b1

Update release notes for last additions to 5.1

Merge pull request #2417 from bdarnell/test-deprecation

test: Convert more tests to non-deprecated interfaces

test: Convert more tests to non-deprecated interfaces

Now the only tests using ignore_deprecation are the ones actually
testing deprecated interfaces, so the tests can be removed in 6.0.

Merge pull request #2416 from bdarnell/http-response-times

httpclient: Improve HTTPResonse time info

httpclient: Improve HTTPResonse time info

The HTTPResponse.request_time attribute is now consistent between curl
and simple HTTP clients (it excludes queue time in both cases). Added
a start_time attribute which can be used to see when the network
processing started.

Replaces #1032

Merge pull request #2412 from bdarnell/options-parse-string

options: parse_config_file accepts string values

options: Remove dead code, test and lint updates

Merge branch 'master' into HEAD

Merge pull request #2411 from bdarnell/multipart-filename

httputil: Support non-ascii filenames in multipart uploads

httputil: Fix rfc2231 for python2

Add a test that goes through parse_multipart_form_data

Merge commit 'pull/origin/869' into multipart-filename

Merge pull request #2410 from garenchan/bugfix-demo-s3-server

demo: update s3server to newest python

Merge pull request #2406 from kaishuu0123/fix/demo-blog-compose

fix blog demo. (GET ComposeHandler)

demo: update s3server to newest python

fix blog demo. (GET ComposeHandler)

Merge pull request #2402 from ploxiln/pycurl_py3_justbytes

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

No need to utf8() what is passed to WRITEFUNCTION, it will always
be bytes on python3 for upstream pycurl on python3.
The ubuntu-12.10 variant is long gone.

Merge pull request #2397 from bdarnell/password-encoding

httpclient: Support non-ascii characters in usernames and passwords

httpclient: Improve non-ascii characters in HTTP auth

- Use NFC as required by the spec
- Fix string-concat exceptions on py2
- Test both curl and simple http clients for basic auth
- Do the same for proxy auth in curl

Fix non-ascii characters support in curl_httpclient username and password

Merge pull request #2395 from bdarnell/deflake

asyncio: Fix a race between close and initialize

asyncio: Fix a race between close and initialize

The close method of one IOLoop could race with the initialize method
of another one, leading to KeyErrors raised in close().

Fixes #2367

test: Fix ResolveTimeoutTestCase

The dummy resolver used here was not correctly adapted for changes in
netutil, and as a result the test was incorrect (it checked for
TypeError instead of a timeout) and flaky (occasionally it would get a
timeout error anyway).

Merge pull request #2393 from bdarnell/autoreload-wrapper

autoreload: Preserve wrapper with internal reload

autoreload: Improve autoreload wrapper on windows

On platforms without execv(), we must spawn a separate subprocess.
This breaks down when an internal autoreload is firing in a wrapped
process, since the internal reload raises an exception with the
wrapper catches (triggering a second reload and another copy of the
process).

autoreload: Fix wrapper preservation for Python 3

The `spec` branch needs special handling too. Update the test to
correctly test the desired situation (and simplify by removing the
separate toucher process).

Merge pull request #2394 from bdarnell/finish-return-future

web: finish() and render() now return Futures

Merge pull request #2392 from bdarnell/enoprotoopt

iostream,netutil: Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR

web: Also return a Future from render()

Improve tests.

Add testcase for finish method of RequestHandler

Return a Future from finish method of RequestHandler

remove redundant code

fix autoreload argv perservation

iostream,netutil: PR feedback from #2353

- Don't swallow errors from SO_REUSEPORT since it's opt-in.
- Use errno_from_exception.
- Add comments

Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR

Some systems, for example Hurd doesn't support SO_REUSEADDR.

Merge pull request #2391 from bdarnell/websocket-decompress-limit

websocket: Limit post-decompression size of received messages

websocket: Limit post-decompression size of received messages

Protects against memory exhaustion DoS attacks.

Merge pull request #2390 from bdarnell/lint

Fix lint checks

Fix lint checks

This was being run from the wrong directory in CI so some errors had
slipped in.

Merge pull request #2389 from peacetara/peacetara-patch-1

add expires docs to set_cookie.

add expires docs to set_cookie.

update set_cookie docstring to explain what expires will accept and behave properly, without having to go track down httputil.format_timestamp, which is not exposed in the docs(that I could find).

Merge pull request #2386 from bdarnell/demos

demos: Update demos to modern interfaces

demos: Update webspider demo to python 3

demos: Simplify chat demo using a Condition

demos: Move facebook demo to non-deprecated interfaces

demos: Move benchmarks to maint directory

demos: Update blog demo

- Switch from MySQL to PostgreSQL/CockroachDB.
- Use (and require) Python 3.5+.
- Use aiopg instead of torndb.

Merge pull request #2385 from bdarnell/websocket

websocket: Subprotocols and open coroutines

websocket: Allow open to be a coroutine

Fixes #2358