Merge pull request #2589 from ploxiln/ws_open_exc_backport

websocket: Catch errors in async open() correctly (5.1 backport)

websocket: Catch errors in async open() correctly

Previously if open() was a coroutine and raised an error, the
connection would be left open.

Fixes #2570
backport of dc354c57adac to 5.1

TestWebsocketHandler always requires close_future in this branch

Merge pull request #2590 from ploxiln/flake8_upd_b51

new flake8 warning fixes for 5.1 branch

new flake8 warning fixes for 5.1 branch

due to flake8 / pyflakes / pycodestyle updates

Merge pull request #2499 from bdarnell/fix-511

setup: Fix minor typo in version number

setup: Fix minor typo in version number

I'm not sure whether this matters, but setup.py warns about it.

Merge pull request #2498 from bdarnell/backport5.1

branch5.1: Backport various changes

Set version to 5.1.1

docs: 5.1.1 release notes

Fix run_in_executor call in user guide

Addresses #2493.

Use spawn_callback method to handle connection

Fix IOLoop doc example code

include license file in the wheel package

docs: Fix python syntax error in the user guide

use queryone() instead of query()

fix issue #2455

improve testcase for RequestHandler.finish()

fix issue #2448

docs: Fix a grammar mistake in the user guide

"coroutines has" -> "coroutines have"

Merge pull request #2496 from bdarnell/twitter-auth

auth: Fix twitter auth and error handling

auth: Fix error handling in 5.1

In 5.1, callbacks in this module were moved from the http
client (which uses stack_context) to the Future (which does not).
These callbacks generally rely on the stack context for error
handling, so we must explicitly wrap everything.

Fixes #2483

auth: Fix twitter authenticate_redirect in 5.1

This had no test coverage so was missed in the refactoring to use
Futures.

Fixes #2482

Merge pull request #2442 from bdarnell/finalize-5.1

Set version number to 5.1

Set version number to 5.1

Merge pull request #2439 from bdarnell/revert-redirect

Revert "_HTTPConnection: check location on _should_follow_redirect() …

Revert "_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)"

This reverts commit 859a038eb9c1af99d3871c9972f0826a1d05475d.

This commit was merged after the release of 5.1b1 with insufficient
consideration and testing. I'll bring this back in the 6.0 cycle with
a test

Merge pull request #2432 from bdarnell/py37

build: Add Python 3.7 to tox and travis configs

test: Increase a timeout to deflake autoreload_test on pypy3

test: Reduce the size of a test to avoid timeouts

This test times out in SSL mode on Python 3.7 64-bit on windows on
appveyor (but 32-bit and older pythons are fine)

build: Add Python 3.7 to tox and appveyor configs

Not in travis yet because getting python 3.7 on travis is more complicated.

Merge pull request #2437 from bdarnell/work

wsgi: Avoid touching the asyncio event loop at import time

wsgi: Avoid touching the asyncio event loop at import time

Rewrite import_test. Its original purpose of augmenting our once-poor
test coverage, but it can now be useful for ensuring the absence of
import-time side effects.

Fixes #2426

demos: Remove redundant assignment

Fixes #2415

Merge pull request #2428 from AlexanderSov/patch-1

Add space to psql command

_HTTPConnection: check location on _should_follow_redirect() and retain safe request when following redirects (#2409)

Fix mistake in command.

Merge pull request #2418 from bdarnell/5.1-beta

Set version number to 5.1b1

Set version number to 5.1b1

Update release notes for last additions to 5.1

Merge pull request #2417 from bdarnell/test-deprecation

test: Convert more tests to non-deprecated interfaces

test: Convert more tests to non-deprecated interfaces

Now the only tests using ignore_deprecation are the ones actually
testing deprecated interfaces, so the tests can be removed in 6.0.

Merge pull request #2416 from bdarnell/http-response-times

httpclient: Improve HTTPResonse time info

httpclient: Improve HTTPResonse time info

The HTTPResponse.request_time attribute is now consistent between curl
and simple HTTP clients (it excludes queue time in both cases). Added
a start_time attribute which can be used to see when the network
processing started.

Replaces #1032

Merge pull request #2412 from bdarnell/options-parse-string

options: parse_config_file accepts string values

options: Remove dead code, test and lint updates

Merge branch 'master' into HEAD

Merge pull request #2411 from bdarnell/multipart-filename

httputil: Support non-ascii filenames in multipart uploads

httputil: Fix rfc2231 for python2

Add a test that goes through parse_multipart_form_data

Merge commit 'pull/origin/869' into multipart-filename

Merge pull request #2410 from garenchan/bugfix-demo-s3-server

demo: update s3server to newest python

Merge pull request #2406 from kaishuu0123/fix/demo-blog-compose

fix blog demo. (GET ComposeHandler)

demo: update s3server to newest python

fix blog demo. (GET ComposeHandler)

Merge pull request #2402 from ploxiln/pycurl_py3_justbytes

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

No need to utf8() what is passed to WRITEFUNCTION, it will always
be bytes on python3 for upstream pycurl on python3.
The ubuntu-12.10 variant is long gone.

Merge pull request #2397 from bdarnell/password-encoding

httpclient: Support non-ascii characters in usernames and passwords

httpclient: Improve non-ascii characters in HTTP auth

- Use NFC as required by the spec
- Fix string-concat exceptions on py2
- Test both curl and simple http clients for basic auth
- Do the same for proxy auth in curl

Fix non-ascii characters support in curl_httpclient username and password

Merge pull request #2395 from bdarnell/deflake

asyncio: Fix a race between close and initialize

asyncio: Fix a race between close and initialize

The close method of one IOLoop could race with the initialize method
of another one, leading to KeyErrors raised in close().

Fixes #2367

test: Fix ResolveTimeoutTestCase

The dummy resolver used here was not correctly adapted for changes in
netutil, and as a result the test was incorrect (it checked for
TypeError instead of a timeout) and flaky (occasionally it would get a
timeout error anyway).

Merge pull request #2393 from bdarnell/autoreload-wrapper

autoreload: Preserve wrapper with internal reload

autoreload: Improve autoreload wrapper on windows

On platforms without execv(), we must spawn a separate subprocess.
This breaks down when an internal autoreload is firing in a wrapped
process, since the internal reload raises an exception with the
wrapper catches (triggering a second reload and another copy of the
process).

autoreload: Fix wrapper preservation for Python 3

The `spec` branch needs special handling too. Update the test to
correctly test the desired situation (and simplify by removing the
separate toucher process).

Merge pull request #2394 from bdarnell/finish-return-future

web: finish() and render() now return Futures

Merge pull request #2392 from bdarnell/enoprotoopt

iostream,netutil: Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR

web: Also return a Future from render()

Improve tests.

Add testcase for finish method of RequestHandler

Return a Future from finish method of RequestHandler

remove redundant code

fix autoreload argv perservation

iostream,netutil: PR feedback from #2353

- Don't swallow errors from SO_REUSEPORT since it's opt-in.
- Use errno_from_exception.
- Add comments

Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR

Some systems, for example Hurd doesn't support SO_REUSEADDR.

Merge pull request #2391 from bdarnell/websocket-decompress-limit

websocket: Limit post-decompression size of received messages

websocket: Limit post-decompression size of received messages

Protects against memory exhaustion DoS attacks.

Merge pull request #2390 from bdarnell/lint

Fix lint checks

Fix lint checks

This was being run from the wrong directory in CI so some errors had
slipped in.

Merge pull request #2389 from peacetara/peacetara-patch-1

add expires docs to set_cookie.

add expires docs to set_cookie.

update set_cookie docstring to explain what expires will accept and behave properly, without having to go track down httputil.format_timestamp, which is not exposed in the docs(that I could find).

Merge pull request #2386 from bdarnell/demos

demos: Update demos to modern interfaces

demos: Update webspider demo to python 3

demos: Simplify chat demo using a Condition

demos: Move facebook demo to non-deprecated interfaces

demos: Move benchmarks to maint directory

demos: Update blog demo

- Switch from MySQL to PostgreSQL/CockroachDB.
- Use (and require) Python 3.5+.
- Use aiopg instead of torndb.

Merge pull request #2385 from bdarnell/websocket

websocket: Subprotocols and open coroutines

websocket: Allow open to be a coroutine

Fixes #2358

websocket: Improve subprotocol support

- Add client-side subprotocol option
- Add selected_subprotocol attribute to client and server objects
- Call select_subprotocol exactly once instead of only on non-empty
- Fix bug in previous select_subprotocol change when multiple
  subprotocols are offered
- Add tests

Updates #2281

Merge pull request #2378 from bdarnell/docs-510

docs: Start release notes for 5.1

concurrent: Fully deprecate return_future

It relies on ExceptionStackContext, so it should go away completely
instead of just losing its callback argument.

docs: Update examples to modern interfaces

Get rid of most uses of callbacks and convert most coroutines to
native form. The sphinx doctests now require python 3.

docs: Start release notes for 5.1

Merge pull request #2377 from bdarnell/wsgi-deprecation

wsgi: Deprecate WSGIAdapter and WSGIApplication

wsgi: Document workaround for asyncio on multithreaded WSGI containers

Fixes #2371

wsgi: Deprecate WSGIAdapter and WSGIApplication

It's already kind of broken on Python 3 for multithreaded WSGI
containers, and it's going to be more difficult to maintain as we move
to native coroutines.

Updates #2371

Merge pull request #2375 from bdarnell/web-deprecation

Deprecate web.asynchronous, stack_context, and more

Merge pull request #2374 from a-pertsev/master

Use `log_exception` method in WebSocketProtocol instead of custom logging

Use `log_exception` method in WebSocketProtocol instead of
custom logging. It is usefull if we need to add some custom
handlers for all unexpected exceptions for example.

twisted: Deprecate TornadoReactor

This is unnecessary when the asyncio event loop can be used instead.

testing: Deprecate stop/wait

Don't mark them for deletion in 6.0. They're used extensively in the
test suite and it's fairly harmless to keep them around.