simple_httpclient: after 303 redirect, turn all methods into GET

not just POST (but still not HEAD)

following the behavior of libcurl > 7.70

tests: httpclient may turn all methods into GET for 303 redirect

Merge pull request #2815 from bdarnell/thread-selector

asyncio: Improve support Python 3.8 on Windows

Merge pull request #2901 from amitp/patch-1

Update links on home page

Update links on home page

* Updated http links to the https versions when possible.
* Updated links to Google Groups to match their new URL format.
* Updated links to other projects to match their new locations.
* And finally, updated link to FriendFeed to go to the Wikipedia page, because friendfeed.com is just a redirect to facebook.com now :-( :-(

Update super usage (#2912)

On Python 3, super does not need to be called with arguments where as on
Python 2, super needs to be called with a class object and an instance.

This commit updates the super usage using automated regex-based search
and replace. After the automated changes were made, each change was
individually checked before committing.

Merge pull request #2913 from rahulporuri/cln/utf8-coding-cookies

Remove utf-8 coding cookies in source files

Allow non-yielding functions in `tornado.gen.coroutine`'s type hint (#2909)

`@gen.coroutine` deco allows non-yielding functions, so I reflected that in the type hint.

Requires usage of `@typing.overload` due to python/mypy#9435

CLN : Remove utf-8 coding cookies in source files

On Python 3, utf-8 is the default python source code encoding. so, the
coding cookies on files that specify utf-8 are not needed anymore.

modified:   tornado/_locale_data.py
modified:   tornado/locale.py
modified:   tornado/test/curl_httpclient_test.py
modified:   tornado/test/httpclient_test.py
modified:   tornado/test/httputil_test.py
modified:   tornado/test/options_test.py
modified:   tornado/test/util_test.py

Merge pull request #2906 from bdarnell/docs-pin

docs: Pin version of sphinxcontrib-asyncio

docs: Pin version of sphinxcontrib-asyncio

The just-released version 0.3.0 is incompatible with our older pinned
version of sphinx.

Merge pull request #2902 from lilydjwg/master

curl_httpclient: set CURLOPT_PROXY to NULL if pycurl supports it

docs: Pin version of sphinxcontrib-asyncio

The just-released version 0.3.0 is incompatible with our older pinned
version of sphinx.

asyncio: Refactor selector to callbacks instead of coroutine

Restarting the event loop to "cleanly" shut down a coroutine introduces
other problems (mainly manifesting as errors logged while running
tornado.test.gen_test). Replace the coroutine with a pair of callbacks
so we don't need to do anything special to shut down without logging
warnings.

test: Add an option to disable assertion that logs are empty

Use this on windows due to a log spam issue in asyncio.

asyncio: Rework AddThreadSelectorEventLoop

Running a whole event loop on the other thread leads to tricky
synchronization problems. Instead, keep as much as possible on the
main thread, and call out to a second thread only for the blocking
select system call itself.

asyncio: Improve support Python 3.8 on Windows

This commit removes the need for applications to work around the
backwards-incompatible change to the default event loop. Instead,
Tornado will detect the use of the windows proactor event loop and
start a selector event loop in a separate thread.

Closes #2804

test: Add missing level to ExpectLog call

iostream_test: Improve cleanup

Closing the file descriptor without removing the corresponding handler
is technically incorrect, although the default IOLoops don't have a
problem with it.

httpclient_test: Improve error reporting

Without this try/finally, if this test ever fails, errors can be
reported in a confusing way.

curl_httpclient: set CURLOPT_PROXY to NULL if pycurl supports it

This restores curl's default behaviour: use environment variables.

This option was set to "" to disable proxy in
905a215a286041c986005859c378c0445c127cbb but curl uses environment
variables by default.

Merge pull request #2889 from kinow/update-callback-text-run_on_executor

Remove text about callback (removed) in run_on_executor

Remove text about callback (removed) in run_on_executor

Merge pull request #2885 from bdarnell/deflake-test

test: Use larger time values in testing_test

test: Use larger time values in testing_test

This test was flaky on appveyor. Also expand comments about what
exactly the test is doing.

Merge pull request #2884 from bdarnell/remove-cloexec

platform: Remove obsolete functions

iostream,platform: Remove _set_nonblocking function

This functionality is now provided directly in the `os` module.

platform: Remove tornado.platform.auto.set_close_exec

This function is obsolete: Since python 3.4, file descriptors created
by python are non-inheritable by default (and in the event you create
a file descriptor another way, a standard function os.set_inheritable
is available).

The windows implementation of this function was also apparently
broken, but this went unnoticed because the default behavior on
windows is for file descriptors to be non-inheritable.

Fixes #2867

Merge pull request #2881 from bdarnell/auth-examples

auth: Fix example code

auth: Fix example code

Continuation of #2811

The oauth2 version of authorize_redirect is no longer a coroutine, so
don't use await in example code. The oauth1 version is still a
coroutine, but one twitter example was incorrectly calling it with
yield instead of await.

Merge pull request #2880 from bdarnell/process-test2

test: Use default timeouts in sigchild test

Merge pull request #2811 from bn0ir/master

Fix Google OAuth example

test: Use default timeouts in sigchild test

The 1s timeout used here has become flaky with the introduction of a
sleep (before the timeout even starts).

Merge pull request #2879 from bdarnell/template-docs

template: Clarify docs on escaping

Merge pull request #2814 from Recursing/patch-1

Standardize type documentation for HTTPRequest init

template: Clarify docs on escaping

Originally from #2831, which went to the wrong branch.

Merge pull request #2863 from Agnewee/hotfix/stop-ping-callback

Stop ping_callback if websocket client specifies ping_interval

Merge pull request #2874 from jeffhunter/types

fix types for max_age_days and expires_days parameters

Merge pull request #2878 from bdarnell/fix-process-test

test: Add a sleep to deflake a test

ci: Allow failures on nightly python due to cffi incompatibility

ci: Drop tox-venv

Its README says it is mostly obsolete due to improvements in
virtualenv. Using it appears to cause problems related to
https://github.com/pypa/setuptools/issues/1934 because virtualenv
installs the wheel package by default but venv doesn't.

test: Add a sleep to deflake a test

Not sure why this has recently started happening in some environments,
but killing a process too soon causes the wrong exit status in some
python builds on macOS.

fix types for max_age_days and expires_days parameters

Merge pull request #2859 from noviluni/fix_some_typos

Fix some typos

stop ping_callback

revert genericize change

fix typos

Merge pull request #2861 from noviluni/fix_E741

fix new E741 detected cases

fix new E741 detected cases

Merge pull request #2857 from bdarnell/fix-docs-pin

Revert "docs: Use python 3.7 via conda for readthedocs builds"

Revert "docs: Use python 3.7 via conda for readthedocs builds"

This reverts commit e7e31e5642ae56da3f768d9829036eab99f0c988.

We were using conda to get access to python 3.7 before rtd supported
it in their regular builds, but this led to problems pinning a
specific version of sphinx. See
https://github.com/readthedocs/readthedocs.org/issues/6870

Merge pull request #2847 from tornadoweb/bdarnell-patch-1

iostream: Update comment

Added default User-Agent to the simple http client if not provided.

The User-Agent format is "Tornado\{Tornado_Version}".

If self.request.user_agent isn't set and self.request.headers has
no User-Agent in it's keys the default User-Agent is added.

Fixes: #2702

Merge pull request #2797 from garetht/nested-doc-fix

Fix syntax error in nested routing example

Merge pull request #2796 from jbampton/fix-word-case

Fix case of JavaScript, GitHub and CSS.

iostream: Update comment

Update comment from #2690 about ssl module exceptions.

Merge pull request #2690 from kleptog/bug2689

SSLIOStream: Handle CertificateErrors like other errors

Merge pull request #2821 from tornadoweb/bdarnell-patch-1

maint: Bump bleach version for a security fix

maint: Bump bleach version for a security fix

Merge pull request #2820 from bdarnell/relnotes-master

Master branch release notes for version 6.0.4

Master branch release notes for version 6.0.4

Merge pull request #2818 from bdarnell/fix-travis

ci: Fix travis.yml

travis-ci.com doesn't like it when you have matrix and jobs

.org still allows this for some reason

Merge pull request #2812 from jrbourbeau/py38-setup-classifier

Add Python 3.8 clasifier to setup.py

Standardize type documentation for HTTPRequest init

Add Python 3.8 clasifier to setup.py

Fix Google OAuth example (from 6.0 OAuth2Mixin->authorize_redirect is an ordinary synchronous function)

Merge pull request #2805 from tornadoweb/resolve-pending

iostream: Resolve pending reads on stream close

iostream: Expand comments around recent subtle changes

iostream: Add tests for behavior around close with read_until

Updates #2719

catch UnsatisfiableReadError in close

avoid premature _check_closed in _start_read

_start_read can resolve with _try_inline_read, which can succeed even if the stream has been closed
if the buffer has been populated by a prior read

preserve the fix for asserts being hit when dealing with closed sockets

iostream: resolve reads that may be completed while closing

fixes issue that a read may fail with StreamClosedError
if stream is closed mid-read

Merge pull request #2799 from tornadoweb/wintest

Improve tests on windows

asyncio: AnyThreadEventLoopPolicy should always use selectors on windows

ci: Add python 3.8 to windows CI

testing: Add level argument to ExpectLog

This makes it possible for tests to be a little more precise, and also
makes them less dependent on exactly how the test is run (runtests.py
sets the logging level to info, but when running tests directly from
an editor it may use the default of warnings-only).

CI only runs the tests with runtests.py, so this might regress, but I'm
not building anything to prevent that yet (options include running the
tests differently in CI or making ExpectLog always use a fixed log
configuration instead of picking up the current one)

test: Add hasattr check for SIGCHLD

This name is not present on all platforms

test: Add some more skips on windows

Alternate resolvers behave differently on this platform for unknown
reasons.

test: Use selector event loop on windows.

This gets most of the tests working again on windows with py38.

test: Add gitattributes for test data files

This ensures that the tests pass on Windows regardless of the user's git
CRLF settings.

Fix syntax error in nested routing example

Fix case of JavaScript, GitHub and CSS.

Merge pull request #2783 from kinow/fix-1824

Use bcrypt's checkpw instead of == in demo blog app

use bcrypt's checkpw instead of ==

Merge pull request #2780 from bdarnell/lint-updates

lint: Update black and mypy

lint: Use newer mypy

This required some minor code changes, mainly some adjustments in tests
(which are now analyzed more thoroughly in spite of being mostly
unannotated), and some changes to placement of type:ignore comments.

lint: Upgrade to new version of black

build: Run docs and lint on py38

This requires moving some noqa comments due to 3.8's changes to the
ast module.

web: Update hashing algorithm in StaticFileHandler (#2778)

Addresses #2776.

Merge pull request #2777 from mivade/remove-speedups-py2-support

Housekeeping: Remove legacy Python support in speedups.c

Merge pull request #2779 from bdarnell/ci-fix

ci: Don't run the full test suite on python 3.5.2

ci: Don't run full test suite on python 3.5.2

Remove legacy Python support in speedups.c

Merge pull request #2772 from ploxiln/fork_doc_exit

process: correct docs of fork_processes exit behavior

process: correct docs of fork_processes exit behavior

fixes #2771

Merge pull request #2768 from bdarnell/ci-revamp

build: Revamp test/CI configuration

build: Revamp test/CI configuration

Reduce tox matrix to one env per python version, with two extra builds
for lint and docs. Delegate to tox from travis-ci.

Add 3.8 to testing. Simplify by dropping coverage reporting and
"no-deps" test runs.

Merge pull request #2767 from bdarnell/fix-lint

demos: Fix lint in webspider demo

demos: Fix lint in webspider demo

Updates #2765