bpo-42854: Use SSL_read/write_ex() (GH-25468)

The ssl module now uses ``SSL_read_ex`` and ``SSL_write_ex``
internally. The functions support reading and writing of data larger
than 2 GB. Writing zero-length data no longer fails with a protocol
violation error.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-36076: Add SNI support to ssl.get_server_certificate. (GH-16820)

Many servers in the cloud environment require SNI to be used during the
SSL/TLS handshake, therefore it is not possible to fetch their certificates
using the ssl.get_server_certificate interface.

This change adds an additional optional hostname argument that can be used to
set the SNI. Note that it is intentionally a separate argument instead of
using the host part of the addr tuple, because one might want to explicitly
fetch the default certificate or fetch a certificate from a specific IP
address with the specified SNI hostname. A separate argument also works better
for backwards compatibility.

Automerge-Triggered-By: GH:tiran

bpo-43641: Stop stating that TLS 1.2 is the most modern version in docs (GH-25041)

Automerge-Triggered-By: GH:tiran

bpo-43362: Fix invalid free and return check in _sha3 module (GH-25463)

Commit 93d50a6a8d0c5d332c11aef267e66573a09765ac / GH-21855 changed the
order of variable definitions, which introduced a potential invalid free
bug. Py_buffer object is now initialized earlier and the result of
Keccak initialize is verified.

Co-authored-by: Alex Henrie <alexhenrie24@gmail.com>
Signed-off-by: Christian Heimes <christian@python.org>
Co-authored-by: Alex Henrie <alexhenrie24@gmail.com>

Fix type group capture in the PEG highlight tool (GH-25464)

bpo-38530: Cover more error paths in error suggestion functions (GH-25462)

Small changes to the section about SyntaxErrors in the 3.10 What's New document (GH-25461)

bpo-37630: Do not skip the sha3 tests in case of missing builtin sha3 module (GH-20986)

Since we can use now the sha3 and shake algorithms from OpenSSL, we shouldn't
skip the tests in case the builtin algorithm was not compiled or removed.

bpo-38530: Include builtins in NameError suggestions (GH-25460)

bpo-42333: Port _ssl extension to multiphase initialization (PEP 489) (GH-23253)

- Introduce sslmodule_slots
- Introduce sslmodulestate
- Use sslmodulestate
- Get rid of PyState_FindModule
- Move new structs and helpers to header file
- Use macros to access state
- Keep a strong ref to socket type

Fix typo in a dataclasses comment. (GH-25454)

bpo-43669: Remove OpenSSL 0.9 to 1.1.0 specific documentation (GH-25453)

Fix a typo in subprocess documentation (GH-25426)

Fix a typo per conversation with vstinner on IRC: in posix => on posix.

bpo-43669: PEP 644: Require OpenSSL 1.1.1 or newer (GH-23014)

- Remove HAVE_X509_VERIFY_PARAM_SET1_HOST check
- Update hashopenssl to require OpenSSL 1.1.1
- multissltests only OpenSSL > 1.1.0
- ALPN is always supported
- SNI is always supported
- Remove deprecated NPN code. Python wrappers are no-op.
- ECDH is always supported
- Remove OPENSSL_VERSION_1_1 macro
- Remove locking callbacks
- Drop PY_OPENSSL_1_1_API macro
- Drop HAVE_SSL_CTX_CLEAR_OPTIONS macro
- SSL_CTRL_GET_MAX_PROTO_VERSION is always defined now
- security level is always available now
- get_num_tickets is available with TLS 1.3
- X509_V_ERR MISMATCH is always available now
- Always set SSL_MODE_RELEASE_BUFFERS
- X509_V_FLAG_TRUSTED_FIRST is always available
- get_ciphers is always supported
- SSL_CTX_set_keylog_callback is always available
- Update Modules/Setup with static link example
- Mention PEP in whatsnew
- Drop 1.0.2 and 1.1.0 from GHA tests

bpo-43522: Fix SSLContext.hostname_checks_common_name (GH-24899)

Fix problem with ssl.SSLContext.hostname_checks_common_name. OpenSSL does not
copy hostflags from *struct SSL_CTX* to *struct SSL*.

Signed-off-by: Christian Heimes <christian@python.org>

Fix typo in exceptions.rst (GH-25434)

attemps -> attempts

bpo-43856: Add a versionadded directive to the importlib.metadata docs (GH-25445)

Use a versionadded directive to generate the text "New in version
3.8." (to match with the documentation of other modules).

Automerge-Triggered-By: GH:jaraco

bpo-43867: multiprocessing Server catchs SystemExit (GH-25441)

The multiprocessing Server class now explicitly catchs SystemExit and
closes the client connection in this case. It happens when the
Server.serve_client() method reachs the end of file (EOF).

bpo-43862: Enhance -W cmdline option documentation (GH-25439)

The -W format is "action:message:category:module:lineno".

Update also the Python manual page.

bpo-38530: Match exactly AttributeError and NameError when offering suggestions (GH-25443)

bpo-38530: Properly extend UnboundLocalError from NameError (GH-25444)

bpo-43843: libregrtest uses threading.excepthook (GH-25400)

test.libregrtest now marks a test as ENV_CHANGED (altered the
execution environment) if a thread raises an exception but does not
catch it. It sets a hook on threading.excepthook. Use
--fail-env-changed option to mark the test as failed.

libregrtest regrtest_unraisable_hook() explicitly flushs
sys.stdout, sys.stderr and sys.__stderr__.

bpo-43842: Fix race condition in test_logging SMTP test (GH-25436)

Fix a race condition in the SMTP test of test_logging. Don't close a
file descriptor (socket) from a different thread while
asyncore.loop() is polling the file descriptor.

bpo-43844: Fix PendingDeprecationWarning in test_lib2to3 (GH-25407)

bpo-41282: Fix distutils.utils.byte_compile() DeprecationWarning (GH-25406)

* byte_compile() of distutils.utils no longer logs a
  DeprecationWarning
* test_distutils no longer logs a DeprecationWarning

bpo-40443: Remove unused imports (GH-25429)

* pyclbr no longer uses copy
* typing no longer uses ast

Issue discovered by pyflakes.

bpo-41323: compiler: Reuse tuple in constant tuple folding (GH-25419)

Improve the section with SyntaxError message improvements to the What's New of 3.10 (GH-25428)

bpo-43823: Fix location of one of the errors for invalid dictionary literals (GH-25427)

bpo-43822: Improve syntax errors for missing commas (GH-25377)

Update ACKS (GH-25423)

* Add Arseny Boykov
* Add Matthias Urlichs

bpo-43744: [Enum] fix ``_is_private`` (GH-25349)

``_is_private`` now returns ``False`` instead of raising an exception when enum name matches beginning of class name
as used in a private variable

[Enum] fix doc string (GH-25376)

bpo-43846: Use less stack for large literals and calls (GH-25403)

* Modify compiler to reduce stack consumption for large expressions.

* Add more tests for stack usage.

* Add NEWS item.

* Raise SystemError for truly excessive stack use.

bpo-43823: Improve syntax errors for invalid dictionary literals (GH-25378)

bpo-37741: make importlib.metadata docs discoverable through a module directive. (GH-25415)

Automerge-Triggered-By: GH:jaraco

bpo-38530: Optimize the calculation of string sizes when offering suggestions (GH-25412)

bpo-43296: Handle sqlite3_value_blob() errors (GH-24674)

bpo-38530: Make sure that failing to generate suggestions on failure will not propagate exceptions (GH-25408)

Fix typo in 3.10's What's New documentation (GH-25409)

"occured" ->  "occurred"

bpo-41282: (PEP 632) Load install schemes from sysconfig (GH-24549)

With this patch, `distutils.command.install.INSTALL_SCHEMES` are loaded from
`sysconfig._INSTALL_SCHEMES`.

The distutils module is deprecated and will be removed in 3.12 (PEP 632).
This change makes the `sysconfig._INSTALL_SCHEMES` the single point of truth
for install schemes while keeping `distutils.command.install.INSTALL_SCHEMES`
exactly the same. If we, during the transition to the sysconfig, change
something, this makes sure that it also propagates to distutils until the
module gets removed.

Moreover, as discussed [on Discourse], Linux distros need to patch
distutils/sysconfig to make sure the packages will land in proper locations.
This patch makes it easier because it leaves only one location where install
schemes are defined which is much easier to patch/adjust.

[on Discourse]: https://discuss.python.org/t/pep-632-deprecate-distutils-module/5134

The implementation is slightly different than the plan but I think it's the
easiest way how to do it and it also makes the downstream patch simple,
flexible and easy to maintain.

It's also necessary to implement this before setuptools starts bundling
the distutils module so the default install schemes stay in the standard library.

The removed code from sysconfig does not seem to have any negative effect
because, honestly, it seems that nothing actually uses the install schemes
from sysconfig at all. There were many big changes in these modules where
they were trying to include packaging in stdlib and then reverted that.
Also, the test of distutils install command does not count with the different
locations which is good evidence that the reason to have this piece of code
is no longer valid.

https://bugs.python.org/issue41282

bpo-43505: Explicitly initialize and shutdown sqlite3 (GH-25404)

bpo-41282: setup.py ignores distutils DeprecationWarning (GH-25405)

bpo-43795: Sort PC/python3dll.c (GH-25312)

Each section is sorted to reduce diffs (review effort) when the file becomes generated.
Sort is done with key=str.lower to preserve most of the original order (underscored items first).

https://bugs.python.org/issue43795

bpo-38530: Offer suggestions on NameError (GH-25397)

When printing NameError raised by the interpreter, PyErr_Display
will offer suggestions of simmilar variable names in the function that the exception
was raised from:

    >>> schwarzschild_black_hole = None
    >>> schwarschild_black_hole
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    NameError: name 'schwarschild_black_hole' is not defined. Did you mean: schwarzschild_black_hole?

Fix typo in the What's New for 3.10 (GH-25396)

bpo-20364: Improve sqlite3 placeholder docs (GH-25003)

bpo-43265: Improve sqlite3.Connection.backup error handling (GH-24586)

bpo-43825: Fix deprecation warnings in test_cmd_line and test_collections (GH-25380)

* Fix deprecation warnings due to invalid escape sequences.
* Use self.assertEqual instead of deprecated self.assertEquals.

bpo-43752: Fix sqlite3 regression for zero-sized blobs with converters (GH-25228)

bpo-43712 : fileinput: Add encoding parameter (GH-25272)

bpo-43777: Drop description of "pip search" command from tutorial (GH-25287)

bpo-38530: Offer suggestions on AttributeError (#16856)

When printing AttributeError, PyErr_Display will offer suggestions of similar
attribute names in the object that the exception was raised from:

>>> collections.namedtoplo
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'collections' has no attribute 'namedtoplo'. Did you mean: namedtuple?

bpo-43680: Deprecate io.OpenWrapper (GH-25357)

Deprecate io.OpenWrapper and _pyio.OpenWrapper: use io.open and
_pyio.open instead. Until Python 3.9, _pyio.open was not a static
method and builtins.open was set to OpenWrapper to not become a bound
method when set to a class variable. _io.open is a built-in function
whereas _pyio.open is a Python function. In Python 3.10, _pyio.open()
is now a static method, and builtins.open() is now io.open().

bpo-43080: pprint for dataclass instances (GH-24389)

* Added pprint support for dataclass instances which don't have a custom __repr__.

bpo-43785: Update bz2 document (GH-25351)

bpo-43811: Test multiple OpenSSL versions on GHA (GH-25360)

The new checks are only executed when one or more OpenSSL-related files are modified. The checks run a handful of networking and hashing test suites. All SSL checks are optional. This PR also introduces ccache to speed up compilation. In common cases it speeds up configure and compile time from about 90 seconds to less than 30 seconds.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-43797: Handle correctly invalid assignments inside function calls and generators (GH-25390)

Doc: Try to enhance wording on circular imports. (GH-24705)

bpo41515: Fix assert in test which throws SyntaxWarning. (#25379)

bpo-43770: Cleanup type_ready() (GH-25388)

* Rename functions
* Only pass type parameter to "add_xxx" functions.
* Clarify the role of the type_ready_inherit_as_structs() function.
* Move type_dict_set_doc() code to call it in type_ready_fill_dict().

bpo-43770: Reorder type_ready() (GH-25373)

Add type_ready_create_dict() sub-function.

* Start with type_ready_create_dict().
* Call type_ready_mro() earlier, before type_ready_add_attrs().
* Call type_ready_inherit_special() earlier, in type_ready_inherit().

bpo-43816: Add extern "C" to Include/cpython/pyctype.h (GH-25365)

Signed-off-by: Andrew V. Jones <andrew.jones@vector.com>

bpo-43760: Speed up check for tracing in interpreter dispatch (#25276)

* Remove redundant tracing_possible field from interpreter state.

* Move 'use_tracing' from tstate onto C stack, for fastest possible checking in dispatch logic.

* Add comments stressing the importance stack discipline when dealing with CFrames.

* Add NEWS

bpo-43731: Add an `encoding` parameter to logging.fileConfig() (GH-25273)

bpo-43799: OpenSSL 3.0.0: declare OPENSSL_API_COMPAT 1.1.1 (GH-25329)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-43787: Add __iter__ to GzipFile, BZ2File, and LZMAFile (GH-25353)

Ensure that early = are not matched by the parser as invalid comparisons (GH-25375)

Remove an unnecessary copy of the 'namespace' parameter to make_dataclass(). (GH-25372)

bpo-43774: Add more links to configure options (GH-25363)

Fix Sphinx errors in the documentation and re-activate the suspicious check (GH-25368)

The suspicious check is still executed as part of the release process and release managers have been
lately fixing some actual errors that the suspicious target can find. For this reason, reactivate the suspicious
until we decide what to do in a coordinated fashion.

bpo-41515: Fix KeyError raised in get_type_hints (GH-25352)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
Co-authored-by: efahl <36704995+efahl@users.noreply.github.com>

bpo-42904: Fix get_type_hints for class local namespaces (GH-24201)

Use double quotes over single quotes for match statement grammar (GH-24943)

bpo-43797: Improve syntax error for invalid comparisons (#25317)

* bpo-43797: Improve syntax error for invalid comparisons

* Update Lib/test/test_fstring.py

Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>
* Apply review comments

* can't -> cannot

Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>

bpo-43774: Remove --without-cycle-gc doc (GH-25364)

The configure --without-cycle-gc option has been removed in Python
2.3 by the commit cccd1e72481106b0a373117f32fda6261f3141a7. It's now
time to remove the last reference to it in the documentation.

bpo-42248: [Enum] ensure exceptions raised in ``_missing_`` are released (GH-25350)

bpo-41661: Document os.path.relpath() exception on Windows with different drives (GH-25346)

bpo-34311: Add locale.localize (GH-15275)

* Add method localize to the locale module
* Update the documentation of the locale module

bpo-43723: Fix deprecation error caused by thread.setDaemon() (GH-25361)

bpo-41561: Fix testing with OpenSSL 1.0.2 (GH-25355)

Signed-off-by: Christian Heimes <christian@python.org>

try and get a peak at mock-related PRs before they land (#25356)

bpo-43680: _pyio.open() becomes a static method (GH-25354)

The Python _pyio.open() function becomes a static method to behave as
io.open() built-in function: don't become a bound method when stored
as a class variable. It becomes possible since static methods are now
callable in Python 3.10. Moreover, _pyio.OpenWrapper becomes a simple
alias to _pyio.open.

init_set_builtins_open() now sets builtins.open to io.open, rather
than setting it to io.OpenWrapper, since OpenWrapper is now an alias
to open in the io and _pyio modules.

bpo-43723: Deprecate camelCase aliases from threading (GH-25174)

The snake_case names have existed since Python 2.6, so there is
no reason to keep the old camelCase names around. One similar
method, threading.Thread.isAlive, was already removed in
Python 3.9 (bpo-37804).

bpo-43785: Improve BZ2File performance by removing RLock (GH-25299)

Remove `RLock` from `BZ2File`. It makes `BZ2File` to thread unsafe, but
gzip and lzma don't use it too.

Co-authored-by: Gregory P. Smith <greg@krypto.org>

bpo-43682: Make staticmethod objects callable (GH-25117)

Static methods (@staticmethod) are now callable as regular functions.

bpo-43770: Refactor PyType_Ready() function (GH-25336)

* Split PyType_Ready() into sub-functions.
* type_ready_mro() now checks if bases are static types earlier.
* Check tp_name earlier, in type_ready_checks().
* Add _PyType_IsReady() macro to check if a type is ready.

bpo-42967: coerce bytes separator to string in urllib.parse_qs(l) (#24818)

* coerce bytes separator to string

* Add news

* Update Misc/NEWS.d/next/Library/2021-03-11-00-31-41.bpo-42967.2PeQRw.rst

Fix typo in 3.10.0a7.rst (GH-25340)

Fix description of behaviour of an exception class in 'from' clause (GH-24303)

bpo-43751: Fix anext() bug where it erroneously returned None (GH-25238)

bpo-43772: Fix TypeVar.__ror__ (GH-25339)

bpo-43783: Add ParamSpecArgs/Kwargs (GH-25298)

bpo-43764: Add match_args=False parameter to dataclass decorator and to make_dataclasses function. (GH-25337)

Add match_args=False parameter to dataclass decorator and to make_dataclass function.

Fix typo about line number in the 3.10 What's New document (GH-25328)

This was a typo copied from PEP 626.

bpo-41974: Remove part of the note regarding complex.__float__ (GH-25197)

(The deleted example no longer works and is thus irrelevant.)

bpo-43753: Add Py_Is() and Py_IsNone() functions (GH-25227)

Add the Py_Is(x, y) function to test if the 'x' object is the 'y'
object, the same as "x is y" in Python. Add also the Py_IsNone(),
Py_IsTrue(), Py_IsFalse() functions to test if an object is,
respectively, the None singleton, the True singleton or the False
singleton.

bpo-43478: Fix formatting of NEWS entry (GH-25335)

bpo-43770: Refactor type_new() function (GH-25325)

* Split type_new() into into many small functions.
* Add type_new_ctx structure to pass variables between subfunctions.
* Initialize some PyTypeObject and PyHeapTypeObject members earlier
  in type_new_alloc().
* Rename variables to more specific names.
* Add "__weakref__" identifier for type_new_visit_slots().
* Factorize code to convert a method to a classmethod
  (__init_subclass__ and __class_getitem__).
* Add braces to respect PEP 7.
* Move variable declarations where the variables are initialized.

bpo-43798: Add source location attributes to alias (GH-25324)

* Add source location attributes to alias.
* Move alias star construction to pegen helper.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>