iostream: Add read_into method.

Tests come from Antoine Pitrou's #2193

Fixes #2176

iostream: Use recv_into and friends in read_from_fd

This has the same memory-allocation behavior as before, but it moves
the buffer out of the recv() call to python code.

Merge pull request #2249 from bdarnell/pipe-iostream

iostream: Use file objects instead of raw descriptors in PipeIOStream

netutil_test: Disable error tests on TwistedResolver

These tests are flaky with the new "messages to stderr are errors"
check.

test: Count writes to stderr as failures

Python 3 logs warnings in destructors if objects responsible for file
descriptors are not explicitly closed. These warnings were previously
being ignored by our test suite unless a human was looking at the log
output, but several recent PRs have introduced these issues. This
change ensures we catch them (and fixes the most recent one in
process_test. The leak has always been there, but the previous commit
caused it to be logged).

iostream: Use file objects instead of raw descriptors in PipeIOStream

This makes the implementation of PipeIOStream more compatible with
socket streams, and allows for more of the test suite to be used with
it.

Extracted from PR #2193

Merge pull request #2248 from bdarnell/work

ioloop,gen,asyncio: Improvements to IOLoop GC

Alter documentation to correctly state behavior (#2114)

Correctly document that the result of Condition.wait() is
not to raise a TimeoutError, but rather False.

ioloop,asyncio: Be more careful to restore old asyncio loop

Any asyncio event loop that was created but neither closed nor set as
current for some thread will log a warning at the end of the test (in
a way that doesn't cause the test to fail). Fix a bug in
make_current() (in which multiple calls would clobber
self.old_asyncio) and use it more consistently when "current" status
changes.

ioloop: Make clear_current work if called first in a thread

Fixes #2240

Issue #2229: allow GCing of suspended coroutines

A suspended coroutine should be GCed if the underlying loop is closed
and no other outside reference exists to it.  However, a suspended coroutine
with a refcycle would be kept alive by the _futures_to_runners mapping.
Instead use a private attribute on the future.

asyncio: AsyncIOMainLoop.close now closes the underlying loop

Merge pull request #2245 from ploxiln/shebang_exec

make executable git and shebang consistent on various source files

demos/file_uploader: add missing __name__ == __main__ stanza

make executable bit and shebang consistent on various source files

setup.py is intended to be run with "python setup.py install"

sources in the tornado module which have main functions/clauses
are intended to be run with "python -m tornado.xxx"

various demos and scripts can be run directly

Merge pull request #2244 from bdarnell/lint-ci

build: Enforce flake8-cleanliness in CI

lint: Check doctest code too

lint: Un-skip a few rules

build: Enforce flake8-cleanliness in CI

Merge pull request #2237 from ploxiln/flake8_trivial

trivial flake8/pyflakes style fixes

Merge branch 'branch4.5'

Correct version and date on 4.5.3 release notes

Merge pull request #2242 from bdarnell/release-4.5.3

Release 4.5.3

Release notes for 4.5.3

Get tests passing on latest version of pypy3

Update travis-ci python versions to match master.

2.7.8 is no longer available and "pypy3" is old and has
other issues.

test: More robust ipv6 detection

There are many ways ipv6 can be disabled or broken (and it just
stopped working on travis-ci), so instead of checking flags like
socket.has_ipv6, attempt to actually bind to an ipv6 address.

Closes #2185

testing: Connect to 127.0.0.1 instead of localhost

The servers used in tests are only listening for ipv4, not ipv6
(to avoid spurious firewall prompts on macos). In what is apparently
a recent macos change, connecting to `localhost` when the ipv6 port
is unbound now incurs a 200ms delay, slowing a full test run down
by a factor of 20.

fix HTTPInputError reference for improperly terminated chunked request

bug introduced in #2225

http: read final crlf of chunked requests

otherwise a subsequent request on the same connection
will fail to be parsed

thanks to @eeelin for the bug report

Don't keep any reference to memoryviews

See https://github.com/tornadoweb/tornado/pull/2008 for reasons
why this might be necessary.

Release memoryviews explicitly

See https://github.com/tornadoweb/tornado/pull/2008 for reasons why this
might be necessary.

fix websocket handshake failure causes an exception

cast curl debug messages to str

since they come in as bytes on Python 3

Handle 1xx's along 204/304's

Do not send/expect Content-Length on 1xx

options: Report redefinition errors when underscores are used

Fixes #2020

style fix: wrap or ignore long lines in remaining tests

style fix: wrap or ignore long lines in some tests

template_test: rewrite long lambda to avoid long line

style fix: wrap or ignore long lines in tornado lib sources

excluding tests

style fix: misc indent flake warnings

E126 continuation line over-indented for hanging indent
E128 continuation line under-indented for visual indent
E129 visually indented line with same indent as next logical line

fix python2.7 / python3 incompatibilities

convert remaining uses of python2 print statement to print function
add "xrange = range" for python3 where needed
add "ResourceWarning = None" for python2 where needed
a bit of long/unicode type aliasing

such issues only remained in tests/demos

style fix: 2 blank lines around top-level class and function defs

flake8 codes E302 and E305

fix "unused variable" flake warnings

in iostream_test, and
an exception var in tornado.routing that only python2 pyflakes caught

style fix: multiple statements on one line

flake8 code E701

style fix: missing whitespace around operators

flake8 codes E225 and E226

style fix: 3 blank lines is too many, 0 is too few

around functions and classes

E306 expected 1 blank line before a nested definition, found 0
E303 too many blank lines (3)

style fix: closing bracket indent

E123 closing bracket does not match indentation of opening bracket's line

style fix: remove trailing whitespace

fix "imported but unused" flake warnings

add flake8 config

ignore some style checks and subdirectories

Merge pull request #2238 from bdarnell/misc

asyncio,options,httpclient: Various small updates

Merge pull request #2135 from FlorianLudwig/master

update google oauth URLs

gen_test: Mark a timing-sensitive test as skipped on travis

asyncio: Don't raise "IOLoop is closing" in add_callback

This mirrors a previous change to PollIOLoop. Fix a test that had
rotted and become meaningless.

Fixes #2191

options: Rewrite docs

Clarify the overall philosophy of the module and divide up docs
between define() and the parse_* functions.

Adds a note about doubled log messages.

Fixes #1866

asyncio: Add an event loop policy to allow creation on any thread

Fixes #2183

httpclient: Add proxy options to CLI

For testing #2145

Merge pull request #2235 from ploxiln/exc_info_var

fix iostream exc_info using missing Exception var

Merge pull request #2236 from ploxiln/fix_chunked_exception

fix HTTPInputError reference for improperly terminated chunked request

fix HTTPInputError reference for improperly terminated chunked request

bug introduced in #2225

fix iostream exc_info using missing Exception var

bug introduced in #2028
this fix very similar to #2155

Merge pull request #2225 from ploxiln/fix_chunked_requests

http: read final crlf of chunked requests

Merge pull request #2228 from bdarnell/5.0a1

setup: Set version number to 5.0a1

setup: Set version number to 5.0a1

setup.py: Add python_requires

netutil: Update docs for OverrideResolver and release notes

Merge pull request #2227 from mivade/options-docs

Document that options can be booleans

Document that options can be booleans

Addresses #2222

Add family argument to OverrideResolver->resolve method (#2201)

http: read final crlf of chunked requests

otherwise a subsequent request on the same connection
will fail to be parsed

thanks to @eeelin for the bug report

Merge pull request #2224 from bdarnell/default-resolver

netutil: Use a threaded resolver by default

asyncio: Delegate executor methods to asyncio loop

Avoid creating a second default thread pool to be managed.

netutil: Use a threaded resolver by default

Uses IOLoop.run_in_executor.
concurrent.futures is now required on Python 2.

Merge pull request #2220 from bdarnell/fix-multiprocess

tcpserver: Fix multiprocess modes

tcpserver: Fix multiprocess modes

Two recent changes broke Tornado's multiprocess modes by initializing
the event loop before the fork in typical patterns.
- The removal of `io_loop` arguments moved a call to
  IOLoop.current() earlier in TCPServer's constructor.
- The change to `asyncio.Future` initialized the asyncio event loop at
  import time.

Move the call in TCPServer earlier (and audit the rest of that change
to make sure this didn't happen anywhere else) and replace
`gen.moment` and `gen._null_future` with dummy objects that do not
involve the asyncio event loop.

Merge pull request #2219 from bdarnell/release-notes

docs: Start release notes for 5.0.

Merge branch 'branch4.5' into release-notes

docs: Start release notes for 5.0.

Update versionadded/versionchanged tags. Misc other doc updates

Merge pull request #2218 from bdarnell/current-asyncio

ioloop: Setting AsyncIOLoop as current also sets asyncio event loop

ioloop: Setting AsyncIOLoop as current also sets asyncio event loop

This should eliminate the need for explicit asyncio manipulations
from applications migrating to Tornado 5.0

Merge pull request #2213 from bdarnell/asyncio-task-runner

gen: Use the asyncio task runner for native coroutines

gen: Use the asyncio task runner for native coroutines

ioloop_test: Explicitly close an IOLoop

This avoids a warning logged at GC time.

Merge pull request #2212 from bdarnell/pypy3

travis.yml: Upgrade pypy3

travis.yml: Upgrade pypy3

This may fix weird test failures as seen in #2193

Merge pull request #2210 from hipro/patch-3

Update structure.rst `.get("Content-Type", "")`

Merge pull request #2208 from shangdahao/impove_doc

Make the example code in the document "tornado.ioloop — Main event loop" can copy-paste-run directly.

Update structure.rst

Merge pull request #2200 from pitrou/set_result_unless_cancelled

Issue #2188: check whether a future was cancelled before calling set_result()

Make the example code in the document "tornado.ioloop — Main event loop" can copy-paste-run directly.

Issue #2188: check whether a future was cancelled before calling set_result()

handle multiple values in X-Forwarded-Proto (#2162)

Issue #2147: avoid copies on non-small writes (#2169)

Merge pull request #2195 from kkopachev/circular-refs

Break circular references when async request handler raises exception

Merge pull request #2192 from pitrou/asyncio_future_debug_info

Improve debug support for asyncio futures

Break circular references when async request handler raises exception

Improve debug support for asyncio futures

When in debug mode, asyncio returns the instantiation place of a Future
and places it in its repr(), for example:

  <Future finished result=None created at /home/antoine/distributed/distributed/worker.py:1223>

This is useful when asyncio logs cancelled futures or futures that were not
waited upon after erroring out.

However, when using @gen.coroutine, we need to fix the recorded stack trace
otherwise the display is much less useful:

  <Future finished result=None created at /home/antoine/tornado/tornado/gen.py:295>

routing_test: Remove test of log message

return 404 when routing delegate is not found