http: read final crlf of chunked requests

otherwise a subsequent request on the same connection
will fail to be parsed

thanks to @eeelin for the bug report

Merge pull request #2224 from bdarnell/default-resolver

netutil: Use a threaded resolver by default

asyncio: Delegate executor methods to asyncio loop

Avoid creating a second default thread pool to be managed.

netutil: Use a threaded resolver by default

Uses IOLoop.run_in_executor.
concurrent.futures is now required on Python 2.

Merge pull request #2220 from bdarnell/fix-multiprocess

tcpserver: Fix multiprocess modes

tcpserver: Fix multiprocess modes

Two recent changes broke Tornado's multiprocess modes by initializing
the event loop before the fork in typical patterns.
- The removal of `io_loop` arguments moved a call to
  IOLoop.current() earlier in TCPServer's constructor.
- The change to `asyncio.Future` initialized the asyncio event loop at
  import time.

Move the call in TCPServer earlier (and audit the rest of that change
to make sure this didn't happen anywhere else) and replace
`gen.moment` and `gen._null_future` with dummy objects that do not
involve the asyncio event loop.

Merge pull request #2219 from bdarnell/release-notes

docs: Start release notes for 5.0.

Merge branch 'branch4.5' into release-notes

docs: Start release notes for 5.0.

Update versionadded/versionchanged tags. Misc other doc updates

Merge pull request #2218 from bdarnell/current-asyncio

ioloop: Setting AsyncIOLoop as current also sets asyncio event loop

ioloop: Setting AsyncIOLoop as current also sets asyncio event loop

This should eliminate the need for explicit asyncio manipulations
from applications migrating to Tornado 5.0

Merge pull request #2213 from bdarnell/asyncio-task-runner

gen: Use the asyncio task runner for native coroutines

gen: Use the asyncio task runner for native coroutines

ioloop_test: Explicitly close an IOLoop

This avoids a warning logged at GC time.

Merge pull request #2212 from bdarnell/pypy3

travis.yml: Upgrade pypy3

travis.yml: Upgrade pypy3

This may fix weird test failures as seen in #2193

Merge pull request #2210 from hipro/patch-3

Update structure.rst `.get("Content-Type", "")`

Merge pull request #2208 from shangdahao/impove_doc

Make the example code in the document "tornado.ioloop — Main event loop" can copy-paste-run directly.

Update structure.rst

Merge pull request #2200 from pitrou/set_result_unless_cancelled

Issue #2188: check whether a future was cancelled before calling set_result()

Make the example code in the document "tornado.ioloop — Main event loop" can copy-paste-run directly.

Issue #2188: check whether a future was cancelled before calling set_result()

handle multiple values in X-Forwarded-Proto (#2162)

Issue #2147: avoid copies on non-small writes (#2169)

Merge pull request #2195 from kkopachev/circular-refs

Break circular references when async request handler raises exception

Merge pull request #2192 from pitrou/asyncio_future_debug_info

Improve debug support for asyncio futures

Break circular references when async request handler raises exception

Improve debug support for asyncio futures

When in debug mode, asyncio returns the instantiation place of a Future
and places it in its repr(), for example:

  <Future finished result=None created at /home/antoine/distributed/distributed/worker.py:1223>

This is useful when asyncio logs cancelled futures or futures that were not
waited upon after erroring out.

However, when using @gen.coroutine, we need to fix the recorded stack trace
otherwise the display is much less useful:

  <Future finished result=None created at /home/antoine/tornado/tornado/gen.py:295>

routing_test: Remove test of log message

return 404 when routing delegate is not found

Merge pull request #2073 from bdarnell/asyncio-future

concurrent: Use asyncio.Future when available

concurrent: Use asyncio.Future when available

This improves compatibility with asyncio, but required small tweaks to
various tests due to changes in callback timing (asyncio future
callbacks are always scheduled for the next IOLoop iteration)

concurrent: Always schedule Future callbacks on the IOLoop

Make the python 2/tornado-specific Future implementation more
consistent with asyncio's.

gen: Correctly accept concurrent futures in gen.with_timeout.

The existing implementation happened to work for tornado's Future
implementation but breaks with the move to asyncio Futures.

twisted: Be more tolerant of leaked current IOLoops in tests

asyncio: Drop support for trollius

This package is no longer maintained and was never widely used.

ioloop: Disallow non-asyncio IOLoops on python 3

concurrent: Introduce future_add_done_callback

This function guarantees synchronous execution of the callback for
Futures that are already done, allowing the Future implementation to
change to one that does not provide this guarantee.

concurrent: Remove TracebackFuture alias

concurrent: Introduce future_set_exc_info function

This function is equivalent to future.set_exc_info for TracebackFuture
but also falls back to set_exception for other Futures.

Merge pull request #2187 from bdarnell/ipv6-detection

test: More robust avoidance of broken ipv6

test: More robust ipv6 detection

There are many ways ipv6 can be disabled or broken (and it just
stopped working on travis-ci), so instead of checking flags like
socket.has_ipv6, attempt to actually bind to an ipv6 address.

Closes #2185

testing: Connect to 127.0.0.1 instead of localhost

The servers used in tests are only listening for ipv4, not ipv6
(to avoid spurious firewall prompts on macos). In what is apparently
a recent macos change, connecting to `localhost` when the ipv6 port
is unbound now incurs a 200ms delay, slowing a full test run down
by a factor of 20.

Merge pull request #2180 from EtiennePelletier/master

Don't let invalid bytes stop the Webspider demo

Merge pull request #2179 from pitrou/periodic_callback_ioloop_compat

Fetch IOLoop in PeriodicCallback.start(), not __init__()

Bypass UnicodeDecodeErrors in Webspider demo

Fetch IOLoop in PeriodicCallback.start(), not __init__()

See motivation at https://github.com/dask/distributed/pull/1172

Merge pull request #2178 from bdarnell/run-in-executor-fix

Fixes for IOLoop.run_in_executor

Fixes for IOLoop.run_in_executor

Correctly transform the concurrent Future into a Tornado Future
and test that the result is usable with await.

Merge pull request #2167 from pitrou/remove_ssl_hack

Remove SSL hack

Merge pull request #2177 from bdarnell/require-ssl

Require modern SSL features

Document ssl module requirements in index.rst

Use SSLContext APIs in simple_httpclient

Set OP_NO_COMPRESSION more consistently.

Remove some vestigial workarounds for py26

Require modern ssl features (SSLContext, etc)

Now that we've dropped python 3.3 (so create_default_context is
present on all supported versions), we can drop all ssl
backwards-compatibility and require the modern feature set.

Don't keep any reference to memoryviews (#2173)

See https://github.com/tornadoweb/tornado/pull/2008 for reasons
why this might be necessary.

Implement IOLoop.run_in_executor (#2067)

Remove SSL hack

All recent Python versions (including recent Python 2.7 updates)
set SSL_MODE_ACCEPT_MOVING_WRITE_BUFFER on OpenSSL sockets, so
we needn't freeze the write buffer anymore.

Merge pull request #2157 from pjknkda/master

websocket: fix missing websocket header causes an exception

Merge pull request #2155 from dawncold/fix-iostream-exception-alias

fix: iostream exception alias

Merge pull request #2154 from juanpabloaj/removed-unused-import-logging

removed unused import logging

Merge pull request #2149 from ploxiln/file_upload_yield

file_upload demo: yield write() cb in body_producer

fix websocket handshake failure causes an exception

fix: iostream exception alias

removed unused import logging

file_upload demo: write multi-part framing in one call

file_upload demo: yield write() cb in body_producer

Drop support for python 3.3, 3.5.[01] (#2116)

* Drop support for python 3.3

In June 2017, Python 3.3 accounted for 0.2% of Tornado's downloads
from pypi.

* travis.yml: Use trusty, update pypy versions

Get a py35-compatible version of pypy3. Plain "pypy" no longer seems
to work in this environment, so specify a version.

Drop testing of python 2.7.8, which no longer seems to be available.

* gen,queues: Drop the "legacy aiter protocol"

This protocol changed in Python 3.5.2 (after being introduced in
3.5.0). Async iteration now requires that version of Python (or
newer).

Closes #2107

* travis.yml: Only run doctests on one version of python 3

* Get tests passing on latest version of pypy3

Correctly clear and create a new ioloop during autoreload (#2137)

* Correctly clear and create a new ioloop during autoreload

After the removal of the deprecated io_loop arguments from all functions,
the autoreload module stopped working as the wait function's usage was
missed in the refactor. This resulted in the start function receiving an
IOLoop object as its only argument which it then used as the check_time
argument resulting in errors further down the line when the check_time
is expected to be an int.

* Use the ioloop's add_callback function to start the ioloop on wait

There's no need to stop and clear the loop here, just add start as
a callback and start up the ioloop.

Merge pull request #2143 from bdarnell/cherrypick-cloexec

Cherrypick FD_CLOEXEC change for 4.5.2

Merge pull request #2132 from felliott/stop-logging-headers

Remove headers from HTTPServerRequest repr

Merge pull request #2130 from jaimegago/master

Add SSL/SSH handshake timing to response properties (curl client)

Release version 4.5.2

tcpclient,netutil: Set FD_CLOEXEC on all sockets created by Tornado

PR #1984 was based on the mistaken belief that we were already
doing this (and in python 3.4+, it's true, thanks to PEP 446). This
fixes a regression introduced in Tornado 4.5 in which autoreload would
leak file descriptors and leave client connections hanging.

Fixes #2057

Remove headers from HTTPServerRequest repr

 * In tornadoweb/tornado#1112 it was decided to stop including headers
   in the request repr, since they are needlessly verbose and risk
   leaking user secrets into the application log.

Add SSL/SSH handshake timing to response properties (curl client)

Fix various typos in comments

Merge pull request #2109 from yiliangt5/fix/redirecthandler_passes_get_args

feat: RedirectHandler to pass GET query

feat: RedirectHandler to pass GET query

Merge pull request #2106 from minrk/pycurl-debug-str

cast pycurl debug messages to str

tcpclient: Introduce connect timeout (#2094)

Fixes #1219

Merge pull request #2098 from sebbov/master

Do not send/expect Content-Length on 1xx

cast curl debug messages to str

since they come in as bytes on Python 3

Handle 1xx's along 204/304's

Merge pull request #2075 from pitrou/accept_ebadf_race

Fix #2069: Fix race condition between accept() handler and TCPServer.stop()

FriendFeed website seems to have gone

Do not send/expect Content-Length on 1xx

Merge pull request #2081 from noyainrain/fix-autoreload-module

Fix module autoreload for __main__ with relative imports

Apply changes from review

Merge pull request #2084 from bdarnell/docs

testing: Fix incorrect docs for gen_test

testing: Fix incorrect docs for gen_test

Pointed out in #1154

Merge pull request #2083 from bdarnell/log-cleanup

Clean up test logging

Use getitem / setitem idiom on nonlocal list

test: Make log detection sensitive to info logs

Silence one in httpserver_test

testing: Remove deprecated LogTrapTestCase

Move the tests that relied on this in concurrent_test.py to use
log.debug instead. (The redbot test has been broken and needs work
anyway.

Merge pull request #2082 from bdarnell/timeouterror

ioloop,gen: Unify TimeoutErrors

ioloop,gen: Unify TimeoutErrors

Fixes #1929

Merge pull request #2077 from vladimirbright/clarify_timeouts_in_queues

Added information about timeout arg in Queue get and put methods

Merge pull request #2074 from ploxiln/http1_connection_close

http1connection: add "Connection: close" header if appropriate

Merge pull request #2058 from jehiah/http_request_line_bad_request_2058

Return HTTP 400 on bad request lines

Fix newline handling in autoreload test