docs: Add readthedocs configuration

RTD will no longer do this automagically, so we need to add these
lines explicitly for compatibility. See
https://about.readthedocs.com/blog/2024/07/addons-by-default/

Merge pull request #3417 from cjwatson/twisted-24.7.0

Fix tests with Twisted 24.7.0

Fix tests with Twisted 24.7.0

`twisted.internet.defer.returnValue` was needed on Python 2, but on
Python 3 a simple `return` statement works fine.  Twisted 24.7.0
deprecated the former, causing
`tornado.test.twisted_test.ConvertDeferredTest.test_success` to fail.

Merge pull request #3414 from bdarnell/test-skip-cleanup

test: Clean up code related to old versions of python

web: do not send 500 on invalid If-Modified-Since header (#3412)

https://github.com/tornadoweb/tornado/issues/3408

test.util: Remove our private compatibility shim for subTests

web_test: Remove obsolete compatibility with python 3.4

*: Remove references to old python versions

Mainly in docs that say things like "you can only use this if you're
using python 3.2".

test: Remove some obsolete checks for old python versions

test: Remove skipOnTravis

We haven't used Travis for CI in a long time, and our current CI
system is much less overloaded so these timing-sensitive tests are
no longer flaky.

Merge pull request #3413 from bdarnell/test-mixins

Extract abstract base test logic from UnixSocketTest

test: Adopt abstract_base_test in websocket_test.py

test: Adopt abstract_base_test in simple_httpclient_test.py

test: Adopt abstract_base_test in netutil_test.py

test: Remove broken tests for legacy TLS versions

The get_ssl_version method in these tests has been
silently ignored for a long time (forever?) due to
MRO issues (if they weren't ignored, they'd have
started throwing deprecation warnings), and they
were never updated for more recent versions of
TLS. There doesn't appear to be much value in
rehabilitating these tests so just get rid of all
but the base configuration.

test: Remove an obsolete mixin pattern in concurrent_test

All but one implementation of this mixin has been removed, so we
no longer need the abstraction.

test: Adopt @abstract_base_test in iostream_test

Removes some typing-related hacks, but unfortunately introduces
another MRO-related hack.

test: Extract "abstract" test logic into a decorator

This makes the pattern reusable (and discoverable) for other tests.

Also exclude these skipped tests from the reporting that is meant
to highlight environmental issues.

This could potentially move to tornado.testing (or even upstream to
the stdlib) if it proves generally useful.

test: Fix names of test cases added in #3405

Oops, these tests were named backwards.

Add support for binding Unix sockets in Linux's abstract namespace. (#3405)

Merge pull request #3411 from tornadoweb/dependabot/pip/certifi-2024.7.4

build(deps): bump certifi from 2024.6.2 to 2024.7.4

build(deps): bump certifi from 2024.6.2 to 2024.7.4

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.6.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.06.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3404 from yuemxu/typing-get-cookie

web: More accurate typing for get_cookie

Merge pull request #3410 from bdarnell/util-test

test: Verify that tornado.version and version_info match

util_test: Slightly clean up old-style type annotations

test: Replace a long-skipped test for tornado.util.exec_in

This test was first written to rely on the print_function future import
in Python 2.7, so it's been skipped since we dropped Python 2.
Use the annotations future import introduced in Python 3.7 instead.

test: Verify that tornado.version and version_info match

These two values should always match, but they're updated
manually so test to catch mistakes.

Closes #3406

Merge pull request #3407 from tornadoweb/dependabot/pip/urllib3-2.2.2

build(deps): bump urllib3 from 2.2.1 to 2.2.2

Merge pull request #3403 from bdarnell/pyupgrade

*: Automated changes from pyupgrade

build(deps): bump urllib3 from 2.2.1 to 2.2.2

Bumps [urllib3](https://github.com/urllib3/urllib3) from 2.2.1 to 2.2.2.
- [Release notes](https://github.com/urllib3/urllib3/releases)
- [Changelog](https://github.com/urllib3/urllib3/blob/main/CHANGES.rst)
- [Commits](https://github.com/urllib3/urllib3/compare/2.2.1...2.2.2)

---
updated-dependencies:
- dependency-name: urllib3
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

web: More accurate typing for get_cookie

*: Switch from percent formatting to f-strings

Automated change using pyupgrade in two passes (once to go from percent
formatting to str.format, then to go from str.format to f-strings),
followed by black.

This left a few uses of str.format for unknown reasons.

lint: Set black target version to 3.8+

This makes black use trailing commas consistently across the codebase.
Without this, it uses certain trailing commas only in files that
contain fstrings (because this marks them as requiring Python 3.6+).

*: More small pyupgrade cleanups

- Unpack list comprehension
- Redundant calls to str() on string literals
- Unnecessary args to super()

With the previous commits, this brings us up to
pyupgrade --py3-plus --keep-percent-format

wsgi: Avoid deprecated typing.Text alias

This alias existed only for python 2 compatibility.
This commit was partially made by pyupgrade and then I manually fixed
the unused import.

*: Use default argument for str.encode()

I had missed that this became hard-coded to utf-8 in py3k,
instead of being overridable as in python 2.

Automated change with modified pyupgrade.

*: Use OSError instead of its aliases

Various errors were merged into OSError in Python 3.4.

Automated change with modified pyupgrade.

*: Use dict comprehensions where applicable

Another feature that's been around since Python 2.7
Automated change with modified pyupgrade and black.

*: Use set literals and comprehensions where applicable

These features have been available since Python 2.7.

This change was made with a version of pyupgrade modified to perform
only this change, then postprocessed with black.

*: Remove redundant (object) base classes

This was only necessary in python 3.

This change was made with a version of pyupgrade that was modified
to perform only this change.

Merge pull request #3358 from stefanor/relative-pythonpath

autoreload_test: Handle a relative PYTHONPATH

Merge pull request #3402 from bdarnell/update-sphinx

docs: Update sphinx (and the rest of the deps)

Merge pull request #3395 from bdarnell/test-313b2

process_test: Remove compatibility hack for python 3.13 beta 1

docs: Sync readthedocs python version with tox.ini

docs: Remove empty testoutput blocks

These were once needed (I think) to get the tests to run at all, even
though they triggered warnings from sphinx. Now it works without them.

docs: Add sphinx coverage check to docs tox build

docs: Update sphinx (and the rest of the deps)

Remove pin to sphinx 5.x and remove sphinx-asyncio. Sphinx now supports
asyncio out of the box. Everything I've checked looks fine although I
haven't looked at every page.

Fixes #3239

Merge pull request #3400 from bdarnell/update-lint

lint: Update flake8 and friends

Merge pull request #3399 from bdarnell/default-encoding

test: Address warnings about using the default encoding

lint: Update flake8 and friends

Use "is" instead of "==" for type comparisons.

test: Address warnings about using the default encoding

I'm not sure exactly how these warnings are getting logged without
causing the build to fail, but they are.

Merge pull request #3398 from bdarnell/skip-test-mac-curl

test: Skip a closed connection test with curl and macOS

test: Skip a closed connection test with curl and macOS

Unclear what the issue is but skip the test for now.

Merge pull request #3397 from bdarnell/rm-twisted-resolver

twisted: Delete TwistedResolver class

twisted: Delete TwistedResolver class

This class was deprecated and slated for deletion in Tornado 7.0.
However, it has become broken due to the adoption of RFC 8482
(which limits the use of the ANY query type in DNS) and it now fails
for most domain names (with the exception of localhost).
The upstream issue https://github.com/twisted/twisted/issues/10062
has been open for years which is a pretty good sign that no one
is depending on this class and it's safe to remove it ahead of
schedule.

This class was primarily intended to provide thread-free non-blocking
DNS resolution. If that is still required,
`tornado.platform.caresresolver` is the next best option, although it
has its own limitations which differ from TwistedResolver.

process_test: Remove compatibility hack for python 3.13 beta 1

Merge pull request #3396 from bdarnell/fix-test-lint

test: Fix some lint issues after #3298

test: Fix some lint issues after #3298

That PR arrived while our CI was broken and I
manually verified that the tests passed but didn't
run the linters. These changes are running in to
https://github.com/python/mypy/issues/5088

Refactor test cases to improve unit test quality (#3298)

* refactor the code to avoid suboptimal asserts.

* Handle ParseError with assertRaises

Signed-off-by: Han Wang <freddie.wanah@gmail.com>

Merge pull request #3394 from bdarnell/python-versions

Add python 3.13 betas to test configs

process_test: Remove reference to deleted LayeredTwistedIOLoop

util: Remove pre-py35 is_finalizing compatibility

This code appears to be unused and in any case is unnecessary since
is_finalizing has been in the standard library since 3.5.

Add python 3.13 betas to test configs

Belatedly promote 3.12 to non-beta status

Merge pull request #3393 from bdarnell/typing

Update mypy and various typing improvements

concurrent: Update type hint on chain_future to match implementation

This method has always accepted both asyncio and concurrent futures,
but the type hint incorrectly indicated that it only accepted asyncio
futures.

Fixes #3314

web: Improve typing for UIModule.render

In practice, UIModule.render often returns the
result of self.render_string, which returns bytes.
In fact, we have an example of that in this file
which had a type ignore comment. UIModule.render
may now return either str or bytes and downstream
code is responsible for handling this. (Note that
the new call to _unicode appears to be redundant
since the Template module's bytes return was
already working correctly, but this conversion is
necessary to satisfy the type checker.)

Fixes #3050

Merge pull request #3378 from pcavalar/typing-get-body-query-argument

web: More accurate typing for get_{body,query}_argument()

Merge pull request #3381 from pcavalar/typing-loader-autoescape

template: type BaseLoader autoescape kwarg as optional

Merge pull request #3330 from mslynch/use-typing-namedtuple

use typing.NamedTuple instead of collections.namedtuple

web: Type SUPPORTED_METHODS so it can be overridden

Its default type is `Tuple[str, str, str, str, str, str, str]`, which
can only be overridden by a tuple of the exact same length.

This change originated in #3354 (thanks alexmv and andersk).

Closes #3354

httputil: Add types for elements of HTTPHeaders

Revealed an issue in websocket.py in which bytes were used when it
should have been str. This avoided being a bug because something
down the line was converting it to str but it was still a logical
type error.

The change to httputil.py was taken from #3329 (thanks mslynch).

Closes #3329
Fixes #3328

Update mypy and typing packages to latest

Adapt to newer upstream types for AbstractEventLoop

Merge pull request #3389 from bdarnell/bump-65

Version bump for 6.5.dev1

Version bump for 6.5.dev1

Merge pull request #3388 from bdarnell/release-641

Release notes and version bump for version 6.4.1

Release notes and version bump for version 6.4.1

Merge pull request #3387 from bdarnell/chunked-parsing

http1connection: Stricter handling of transfer-encoding and whitespace

httputil: Only strip tabs and spaces from header values

The RFC specifies that only tabs and spaces should be stripped.
Removing additonal whitespace characters can lead to framing
errors with certain proxies.

Merge pull request #3386 from bdarnell/curl-crlf

curl_httpclient,http1connection: Prohibit CR and LF in headers

http1connection: Stricter handling of transfer-encoding

Unexpected transfer-encoding values were previously ignored and treated
as the HTTP/1.0 default of read-until-close. This can lead to framing
issues with certain proxies. We now treat any unexpected value as an
error.

curl_httpclient,http1connection: Prohibit CR and LF in headers

libcurl does not check for CR and LF in headers, making this the
application's responsibility. However, Tornado's other HTTP interfaces
check for linefeeds so we should do the same here so that switching
between the simple and curl http clients does not introduce header
injection vulnerabilties.

http1connection previously checked only for LF in headers (alone or in a
CRLF pair). It now prohibits bare CR as well, following the requirement
in RFC 9112.

Merge pull request #3385 from bdarnell/update-black

*: Update black

Merge pull request #3384 from tornadoweb/dependabot/pip/requests-2.32.2

build(deps): bump requests from 2.31.0 to 2.32.2

*: Update black

Closes #3367

build(deps): bump requests from 2.31.0 to 2.32.2

Bumps [requests](https://github.com/psf/requests) from 2.31.0 to 2.32.2.
- [Release notes](https://github.com/psf/requests/releases)
- [Changelog](https://github.com/psf/requests/blob/main/HISTORY.md)
- [Commits](https://github.com/psf/requests/compare/v2.31.0...v2.32.2)

---
updated-dependencies:
- dependency-name: requests
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3377 from tornadoweb/dependabot/pip/jinja2-3.1.4

build(deps): bump jinja2 from 3.1.3 to 3.1.4

Merge pull request #3383 from bdarnell/ci-update

ci: Update action versions for node deprecation

ci: Update action versions for node deprecation

The changes to checkout and setup-python shouldn't have been major
version bumps. upload-artifact and download-artifact should have had
updated node versions on v3 so we don't have to adapt to incompatible
changes here. But anyway, here we are.

build.yml has updates from
https://github.com/pypa/cibuildwheel/blob/main/examples/github-deploy.yml

This commit also moves the pypi upload step to use OIDC instead of
a static token.

Merge pull request #3382 from bdarnell/remove-testmethodwrapper

testing: Replace _TestMethodWrapper with _callTestMethod

testing: Replace _TestMethodWrapper with _callTestMethod

Overriding _callTestMethod (which was introduced in python 3.8) is a
less hacky way to detect tests that fail to use ``@gen_test`` where
needed. It's not documented, but since Python 3.11 has introduced a
similar check to the standard library we'll be able to remove it in the
near future.

The major impetus for this change is an incompatibility with
Pytest 8.2, which has made a change that tries to instantiate test
classes at discovery time without an existing method name.

Fixes #3375
Closes #3374

template: type BaseLoader autoescape kwarg as optional

web: More accurate typing for get_{body,query}_argument()

Use the same overload technique as get_argument().

Fixes https://github.com/tornadoweb/tornado/issues/3336

build(deps): bump jinja2 from 3.1.3 to 3.1.4

Bumps [jinja2](https://github.com/pallets/jinja) from 3.1.3 to 3.1.4.
- [Release notes](https://github.com/pallets/jinja/releases)
- [Changelog](https://github.com/pallets/jinja/blob/main/CHANGES.rst)
- [Commits](https://github.com/pallets/jinja/compare/3.1.3...3.1.4)

---
updated-dependencies:
- dependency-name: jinja2
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3371 from tornadoweb/dependabot/pip/idna-3.7

build(deps): bump idna from 3.4 to 3.7

build(deps): bump idna from 3.4 to 3.7

Bumps [idna](https://github.com/kjd/idna) from 3.4 to 3.7.
- [Release notes](https://github.com/kjd/idna/releases)
- [Changelog](https://github.com/kjd/idna/blob/master/HISTORY.rst)
- [Commits](https://github.com/kjd/idna/compare/v3.4...v3.7)

---
updated-dependencies:
- dependency-name: idna
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3357 from danigm/openssl-3.2

OpenSSL 3.2 compatibility

autoreload_test: Handle a relative PYTHONPATH

This came up in the Debian package build of tornado, where we run the
tests from a staged build of the module.

OpenSSL 3.2 compatibility

Fix https://github.com/tornadoweb/tornado/issues/3355

Merge pull request #3356 from tornadoweb/dependabot/pip/jinja2-3.1.3

build(deps): bump jinja2 from 3.1.2 to 3.1.3

build(deps): bump jinja2 from 3.1.2 to 3.1.3

Bumps [jinja2](https://github.com/pallets/jinja) from 3.1.2 to 3.1.3.
- [Release notes](https://github.com/pallets/jinja/releases)
- [Changelog](https://github.com/pallets/jinja/blob/main/CHANGES.rst)
- [Commits](https://github.com/pallets/jinja/compare/3.1.2...3.1.3)

---
updated-dependencies:
- dependency-name: jinja2
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>