test: Deflake autoreload_test on windows

This sometimes fails with a "file in use" error while cleaning up the
temp directory. Add a sleep and retry in case we've reached our
teardown before the child process has released its locks.

Merge pull request #2461 from purple4reina/fix-util-type-checking

Always import Type.

Test configure with string input.

Always import Type.

Merge pull request #2452 from bdarnell/mypy

Add/update mypy annotations for util, httputil, escape

Merge pull request #2460 from bdarnell/ws-close

websocket: Improve detection of closing websocket connections

Merge pull request #2459 from aristotll/patch-1

docs: Fix python syntax error in the user guide

Merge pull request #2456 from garenchan/bugfix-2455

fix issue #2455: AttributeError: 'list' object has no attribute 'slug'

Merge pull request #2454 from silentnights/fix-getaddrinfo-order

Sort getaddrinfo result based on address family

websocket: Improve detection of closing websocket connections

This eliminates the possibility of messages (especially pings) being
sent in the middle of the closing process (which is generally harmless
but results in errors being logged).

Fixes #2447

Merge pull request #2449 from garenchan/bugfix-2448

fix issue #2448: RequestHandler.finish() future not resolving

docs: Fix python syntax error in the user guide

use queryone() instead of query()

fix issue #2455

Sort getaddrinfo result based on address family

Putting getaddrinfo result in a set to eliminate duplicates causes race
 conditions because sets are unordered

For example consider 2 applications try to bind to many random ports at once
 in both IPV4 and IPV6.
App1: Bind to random IPV4 address and get port 50000
App2: Bind to random IPV6 address and get port 50000
App2: Try to bind to same port on IPV4 and fails as App1 already bound to it
The same goes for App1

To resolve this, we create the set explicitly outside the loop.
We order the returned list of getaddrinfo based on Address family.
We skip the iteration if the iteration tuple already in the set.
Otherwise we execute the loop.

improve testcase for RequestHandler.finish()

escape: Type-annotate everything

httputil: Type-annotate all methods

util: Type-annotate everything

There are a few functional changes here, including some changes
related to removing py27.

*: Add mypy tox config and get it passing

Touch up the old annotations; it's simpler now that we're 3.5+. But
most of the additions here are type:ignore comments.

fix issue #2448

Merge pull request #2445 from s3rvac/fix-grammar-mistake-in-user-guide

Fix a grammar mistake in the user guide

Merge pull request #2441 from garenchan/master

fix issue #2438: clear input in demo projects

docs: Fix a grammar mistake in the user guide

"coroutines has" -> "coroutines have"

Merge pull request #2444 from bdarnell/travis-update

build: Restore python 3.7 in travis

build: Restore python 3.7 in travis

Merge pull request #2443 from bdarnell/drop-py2

*: Drop support for Python 2

*: Remove Python2 __future__ imports throughout the codebase

test: Remove legacy unittest2 compatibility cruft

*: Remove unnecessary conditional imports

test: Clean up unnecessary skips and conditionals

docs: Doc and lint updates

Just enough to unbreak the build for now.

stack_context: Delete the whole module

web: Delete asynchronous decorator

wsgi: Remove WSGIAdapter/WSGIApplication

twisted: Dust off the twisted web compatibility tests

twisted: Delete TwistedReactor and its tests

maint: Delete appengine test scripts

util: py3 cleanups

testing: Simplify imports for python 3

locale,netutil,process: Minor deprecation/py3 updates

iostream: Remove deprecated interfaces

This is the riskiest change in this series since it does some internal
refactoring to get rid of some callback-related machinery.

ioloop: Remove remaining deprecated interfaces

httputil: Remove deprecated interfaces

httpclient: Remove callback argument and deprecated error behavior

web,http1connection: Remove callback argument to flush()

gen: Remove coroutine callback args and other py2 support

escape: Remove (some) python 2 compatibility

concurrent: Delete return_future and other deprecated interfaces

auth: Remove deprecated callback interfaces

gen: Delete legacy YieldPoint interfaces

concurrent: Delete legacy Future implementation

ioloop: Delete PollIOLoop

This was py2-only and is no longer used.

build: Stop building and testing with python 2.7 and 3.4

Also temporarily remove nightly from the list, because travis's
"nightly" on trusty is pinned to an alpha of 3.7 with some slightly
different behaviors (testing on 3.7 is covered by appveyor)

Set version number to 6.0.dev1

Merge pull request #2442 from bdarnell/finalize-5.1

Set version number to 5.1

Set version number to 5.1

fix issue #2438

Merge pull request #2439 from bdarnell/revert-redirect

Revert "_HTTPConnection: check location on _should_follow_redirect() …

Revert "_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)"

This reverts commit 859a038eb9c1af99d3871c9972f0826a1d05475d.

This commit was merged after the release of 5.1b1 with insufficient
consideration and testing. I'll bring this back in the 6.0 cycle with
a test

Merge pull request #2432 from bdarnell/py37

build: Add Python 3.7 to tox and travis configs

test: Increase a timeout to deflake autoreload_test on pypy3

test: Reduce the size of a test to avoid timeouts

This test times out in SSL mode on Python 3.7 64-bit on windows on
appveyor (but 32-bit and older pythons are fine)

build: Add Python 3.7 to tox and appveyor configs

Not in travis yet because getting python 3.7 on travis is more complicated.

Merge pull request #2437 from bdarnell/work

wsgi: Avoid touching the asyncio event loop at import time

wsgi: Avoid touching the asyncio event loop at import time

Rewrite import_test. Its original purpose of augmenting our once-poor
test coverage, but it can now be useful for ensuring the absence of
import-time side effects.

Fixes #2426

demos: Remove redundant assignment

Fixes #2415

Merge pull request #2428 from AlexanderSov/patch-1

Add space to psql command

_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)

Fix mistake in command.

Merge pull request #2418 from bdarnell/5.1-beta

Set version number to 5.1b1

Set version number to 5.1b1

Update release notes for last additions to 5.1

Merge pull request #2417 from bdarnell/test-deprecation

test: Convert more tests to non-deprecated interfaces

test: Convert more tests to non-deprecated interfaces

Now the only tests using ignore_deprecation are the ones actually
testing deprecated interfaces, so the tests can be removed in 6.0.

Merge pull request #2416 from bdarnell/http-response-times

httpclient: Improve HTTPResonse time info

httpclient: Improve HTTPResonse time info

The HTTPResponse.request_time attribute is now consistent between curl
and simple HTTP clients (it excludes queue time in both cases). Added
a start_time attribute which can be used to see when the network
processing started.

Replaces #1032

Merge pull request #2412 from bdarnell/options-parse-string

options: parse_config_file accepts string values

options: Remove dead code, test and lint updates

Merge branch 'master' into HEAD

Merge pull request #2411 from bdarnell/multipart-filename

httputil: Support non-ascii filenames in multipart uploads

httputil: Fix rfc2231 for python2

Add a test that goes through parse_multipart_form_data

Merge commit 'pull/origin/869' into multipart-filename

Merge pull request #2410 from garenchan/bugfix-demo-s3-server

demo: update s3server to newest python

Merge pull request #2406 from kaishuu0123/fix/demo-blog-compose

fix blog demo. (GET ComposeHandler)

demo: update s3server to newest python

fix blog demo. (GET ComposeHandler)

Merge pull request #2402 from ploxiln/pycurl_py3_justbytes

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

No need to utf8() what is passed to WRITEFUNCTION, it will always
be bytes on python3 for upstream pycurl on python3.
The ubuntu-12.10 variant is long gone.

Merge pull request #2397 from bdarnell/password-encoding

httpclient: Support non-ascii characters in usernames and passwords

httpclient: Improve non-ascii characters in HTTP auth

- Use NFC as required by the spec
- Fix string-concat exceptions on py2
- Test both curl and simple http clients for basic auth
- Do the same for proxy auth in curl

Fix non-ascii characters support in curl_httpclient username and password

Merge pull request #2395 from bdarnell/deflake

asyncio: Fix a race between close and initialize

asyncio: Fix a race between close and initialize

The close method of one IOLoop could race with the initialize method
of another one, leading to KeyErrors raised in close().

Fixes #2367

test: Fix ResolveTimeoutTestCase

The dummy resolver used here was not correctly adapted for changes in
netutil, and as a result the test was incorrect (it checked for
TypeError instead of a timeout) and flaky (occasionally it would get a
timeout error anyway).

Merge pull request #2393 from bdarnell/autoreload-wrapper

autoreload: Preserve wrapper with internal reload

autoreload: Improve autoreload wrapper on windows

On platforms without execv(), we must spawn a separate subprocess.
This breaks down when an internal autoreload is firing in a wrapped
process, since the internal reload raises an exception with the
wrapper catches (triggering a second reload and another copy of the
process).

autoreload: Fix wrapper preservation for Python 3

The `spec` branch needs special handling too. Update the test to
correctly test the desired situation (and simplify by removing the
separate toucher process).

Merge pull request #2394 from bdarnell/finish-return-future

web: finish() and render() now return Futures

Merge pull request #2392 from bdarnell/enoprotoopt

iostream,netutil: Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR