httputil: Fix rfc2231 for python2

Add a test that goes through parse_multipart_form_data

Merge commit 'pull/origin/869' into multipart-filename

Merge pull request #2410 from garenchan/bugfix-demo-s3-server

demo: update s3server to newest python

Merge pull request #2406 from kaishuu0123/fix/demo-blog-compose

fix blog demo. (GET ComposeHandler)

demo: update s3server to newest python

fix blog demo. (GET ComposeHandler)

Merge pull request #2402 from ploxiln/pycurl_py3_justbytes

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

CurlAsyncHTTPClient: remove ubuntu-12.10 python3 fix

No need to utf8() what is passed to WRITEFUNCTION, it will always
be bytes on python3 for upstream pycurl on python3.
The ubuntu-12.10 variant is long gone.

Merge pull request #2397 from bdarnell/password-encoding

httpclient: Support non-ascii characters in usernames and passwords

httpclient: Improve non-ascii characters in HTTP auth

- Use NFC as required by the spec
- Fix string-concat exceptions on py2
- Test both curl and simple http clients for basic auth
- Do the same for proxy auth in curl

Fix non-ascii characters support in curl_httpclient username and password

Merge pull request #2395 from bdarnell/deflake

asyncio: Fix a race between close and initialize

asyncio: Fix a race between close and initialize

The close method of one IOLoop could race with the initialize method
of another one, leading to KeyErrors raised in close().

Fixes #2367

test: Fix ResolveTimeoutTestCase

The dummy resolver used here was not correctly adapted for changes in
netutil, and as a result the test was incorrect (it checked for
TypeError instead of a timeout) and flaky (occasionally it would get a
timeout error anyway).

Merge pull request #2393 from bdarnell/autoreload-wrapper

autoreload: Preserve wrapper with internal reload

autoreload: Improve autoreload wrapper on windows

On platforms without execv(), we must spawn a separate subprocess.
This breaks down when an internal autoreload is firing in a wrapped
process, since the internal reload raises an exception with the
wrapper catches (triggering a second reload and another copy of the
process).

autoreload: Fix wrapper preservation for Python 3

The `spec` branch needs special handling too. Update the test to
correctly test the desired situation (and simplify by removing the
separate toucher process).

Merge pull request #2394 from bdarnell/finish-return-future

web: finish() and render() now return Futures

Merge pull request #2392 from bdarnell/enoprotoopt

iostream,netutil: Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR

web: Also return a Future from render()

Improve tests.

Add testcase for finish method of RequestHandler

Return a Future from finish method of RequestHandler

remove redundant code

fix autoreload argv perservation

iostream,netutil: PR feedback from #2353

- Don't swallow errors from SO_REUSEPORT since it's opt-in.
- Use errno_from_exception.
- Add comments

Ignore ENOPROTOOPT errors from SO_REUSEADDR or SO_ERROR

Some systems, for example Hurd doesn't support SO_REUSEADDR.

Merge pull request #2391 from bdarnell/websocket-decompress-limit

websocket: Limit post-decompression size of received messages

websocket: Limit post-decompression size of received messages

Protects against memory exhaustion DoS attacks.

Merge pull request #2390 from bdarnell/lint

Fix lint checks

Fix lint checks

This was being run from the wrong directory in CI so some errors had
slipped in.

Merge pull request #2389 from peacetara/peacetara-patch-1

add expires docs to set_cookie.

add expires docs to set_cookie.

update set_cookie docstring to explain what expires will accept and behave properly, without having to go track down httputil.format_timestamp, which is not exposed in the docs(that I could find).

Merge pull request #2386 from bdarnell/demos

demos: Update demos to modern interfaces

demos: Update webspider demo to python 3

demos: Simplify chat demo using a Condition

demos: Move facebook demo to non-deprecated interfaces

demos: Move benchmarks to maint directory

demos: Update blog demo

- Switch from MySQL to PostgreSQL/CockroachDB.
- Use (and require) Python 3.5+.
- Use aiopg instead of torndb.

Merge pull request #2385 from bdarnell/websocket

websocket: Subprotocols and open coroutines

websocket: Allow open to be a coroutine

Fixes #2358

websocket: Improve subprotocol support

- Add client-side subprotocol option
- Add selected_subprotocol attribute to client and server objects
- Call select_subprotocol exactly once instead of only on non-empty
- Fix bug in previous select_subprotocol change when multiple
  subprotocols are offered
- Add tests

Updates #2281

Merge pull request #2378 from bdarnell/docs-510

docs: Start release notes for 5.1

concurrent: Fully deprecate return_future

It relies on ExceptionStackContext, so it should go away completely
instead of just losing its callback argument.

docs: Update examples to modern interfaces

Get rid of most uses of callbacks and convert most coroutines to
native form. The sphinx doctests now require python 3.

docs: Start release notes for 5.1

Merge pull request #2377 from bdarnell/wsgi-deprecation

wsgi: Deprecate WSGIAdapter and WSGIApplication

wsgi: Document workaround for asyncio on multithreaded WSGI containers

Fixes #2371

wsgi: Deprecate WSGIAdapter and WSGIApplication

It's already kind of broken on Python 3 for multithreaded WSGI
containers, and it's going to be more difficult to maintain as we move
to native coroutines.

Updates #2371

Merge pull request #2375 from bdarnell/web-deprecation

Deprecate web.asynchronous, stack_context, and more

Merge pull request #2374 from a-pertsev/master

Use `log_exception` method in WebSocketProtocol instead of custom logging

Use `log_exception` method in WebSocketProtocol instead of
custom logging. It is usefull if we need to add some custom
handlers for all unexpected exceptions for example.

twisted: Deprecate TornadoReactor

This is unnecessary when the asyncio event loop can be used instead.

testing: Deprecate stop/wait

Don't mark them for deletion in 6.0. They're used extensively in the
test suite and it's fairly harmless to keep them around.

stack_context: Deprecate ExceptionStackContext

Take extra care with the deprecation warnings since a few modules need
to continue using ExceptionStackContext for backwards compatibility
even though it is not needed in most cases and should not generate
warnings unless it is relied upon.

simple_httpclient: Initial refactoring into coroutines

Eliminates the use of ExceptionStackContext.

simple_httpclient: Move _on_connect next to its caller

Pure cut-and-paste, will make the next diff more readable

stack_context: Deprecate StackContext class

web: Deprecate callback argument to RequestHandler.flush

Also deprecates callback arguments in httputil and http1connection

web: Deprecate asynchronous decorator

web: Add RequestHandler.detach

This method eliminates the need to use the asynchronous decorator on
handlers that may call detach.

Merge pull request #2361 from bdarnell/ioloop-deprecation

iostream: Deprecate callback-based interfaces

iostream: Deprecate callback argument to wait_for_handshake

iostream: Deprecate callback argument to connect()

iostream: Document the non-deprecation of set_close_callback

iostream: Deprecated callback argument to write()

websocket: Refactor implementation to use coroutines

This avoids the deprecated IOStream interfaces and simplifies things a
bit.

iostream: Deprecate streaming_callback arguments

Currently, mixing futures and streaming_callback does not guarantee
ordering (so the returned future could become ready before the last
streaming_callback fires). Specifically, this happens with
test_streaming_read_until_close_after_close if that test is modified
to not use the callback argument. This would cause problems when we
remove the callback argument if we left streaming_callback in place.

These problems are solvable, but probably not worth it since
partial=True is an alternative (and used internally instead of
streaming_callback).

iostream: Deprecate callback arguments to read methods

This requires a lot of mechanical changes throughout the test suite.
tornado.websocket is currently still using the deprecated interfaces
and suppressing the warning.

ioloop: Deprecate some asyncio-incompatible methods

Merge pull request #2360 from bdarnell/httpserver-deprecation

httputil: Deprecate some server-side HTTP interfaces

httputil: Deprecate old interfaces

This is mainly preparation for HTTP/2: request.write was designed to
mix headers and bodies in a way that is no longer supported.

http1connection: Un-deprecate set_close_callback

This method is not actually redundant with
HTTPMessageDelegate.on_connection_close (maybe there is a useful
refactoring that would make it so, but for now it's still useful)

Merge pull request #2359 from bdarnell/multi-content-length-test

test: Reinstate a test that was mistakenly left disabled

appveyor: Upgrade pip with 'python -m pip'

This reportedly works around https://github.com/pypa/pip/issues/5240

test: Reinstate a test that was mistakenly left disabled

This test required some refactoring to construct invalid headers that
we no longer allow handlers to return directly.

Merge pull request #2355 from sinwar/doc-patch

docs: Remove repeated lines.

Merge pull request #2349 from Rookout/FallbackHandler.on_finish

Added RequestHandler.on_finish() to FallbackHandler.preapre()

Merge pull request #2351 from wildfoundry/flow

Add flow control to websocket client

docs: Remove repeated lines.

It removes repeated lines in
docs for release 5.0.0

Support jitter in PeriodicCallback (#2330)

reduces likelihood of alignment with many similar timers

Remove unused import

read queue of 1 message

Merge pull request #2350 from bdarnell/httpclient-deprecation

httpclient: Deprecate fetch callback, narrow `raise_error`

test: Fix some rot in lesser-used test configs

caresresolver: Use non-deprecated interfaces

This code is currently not exercised in CI.

simple_httpclient: Add HTTPError subclasses to bury 599 response code

httpclient: Rename HTTPError to HTTPClientError

This avoids collisions in code that must deal with both
httpclient.HTTPError and web.HTTPError.

testing: Add raise_error argument to AsyncHTTPTestCase.fetch

Give it the same deprecation behavior as AsyncHTTPClient.fetch

httpclient: Deprecation warning for narrowed scope of raise_error=False

httpclient: Deprecate fetch callback

Added RequestHandler.on_finish() to FallbackHandler.preapre()

Fix typo on release notes page

Release notes for 5.0.2

Merge pull request #2338 from bdarnell/periodic-callback

ioloop: Fix PeriodicCallback when system clock moves backwards

ioloop: Fix PeriodicCallback when system clock moves backwards

If the clock moves backwards a little bit, we could run a
PeriodicCallback twice in a row prior to this change.

Due to implementation differences between the Tornado and asyncio
event loops, this is most common when using the asyncio event loop on
windows (where in some environments differences between time.time()
and time.monotonic() can result in behavior that looks like small
backwards time jumps on every iteration), although it can in principle
occur in any environment.

Fixes #2333

ioloop: Factor out the math of PeriodicCallback for easier testing

This permits it to be tested separately from the (now python 2.7-only)
IOLoop configuration.

Merge pull request #2326 from bdarnell/httpclient-leak

asyncio: Fix a leak when event loops are created and destroyed

httpclient: Document inability to use sync HTTPClient in async app

Eliminate a confusing error message when this occurs.

Fixes #2325

asyncio: Fix a leak when event loops are created and destroyed

The WeakKeyDictionary in IOLoop wasn't doing its job because of
reference cycles. This was easiest to see with the synchronous
HTTPClient.

Fixes #2321

Merge pull request #2327 from bdarnell/test-dont-close

testing: Don't close the event loop if we didn't create it