bpo-40614: Respect feature version for f-string debug expressions (GH-20196)

Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

bpo-40791: Use CRYPTO_memcmp() for compare_digest (#20456)

hashlib.compare_digest uses OpenSSL's CRYPTO_memcmp() function
when OpenSSL is available.

Note: The _operator module is a builtin module. I don't want to add
libcrypto dependency to libpython. Therefore I duplicated the wrapper
function and added a copy to _hashopenssl.c.

bpo-30064: Fix asyncio loop.sock_* race condition issue (#20369)

Refactor error handling code in Parser/pegen/pegen.c (GH-20440)

Set p->error_indicator in various places, where it's needed, but it's
not done.

Automerge-Triggered-By: @gvanrossum

bpo-13097: ctypes: limit callback to 1024 arguments (GH-19914)

ctypes now raises an ArgumentError when a callback
is invoked with more than 1024 arguments.

The ctypes module allocates arguments on the stack in
ctypes_callproc() using alloca(), which is problematic
when large numbers of arguments are passed. Instead
of a stack overflow, this commit raises an ArgumentError
if more than 1024 parameters are passed.

bpo-39573: Convert Py_REFCNT and Py_SIZE to functions (GH-20429)

Convert Py_REFCNT() and Py_SIZE() macros to static inline functions.
They cannot be used as l-value anymore: use Py_SET_REFCNT() and
Py_SET_SIZE() to set an object reference count and size.

Replace &Py_SIZE(self) with &((PyVarObject*)self)->ob_size
in arraymodule.c.

This change is backward incompatible on purpose, to prepare the C API
for an opaque PyObject structure.

bpo-37999: Fix outdated __int__ and nb_int references in comments (GH-20449)

* Fix outdated __int__ and nb_int references in comments

* Also update C-API documentation

* Add back missing 'method' word

* Remove .. deprecated notices

Upgrade bundled versions of pip & setuptools (#16782)

Fix the link to ncurses patch download in macos installer build script (GH-20421)

Reason: the link `ftp://invisible-island.net/ncurses//5.9/ncurses-5.9-20120616-patch.sh.bz2` is dead, which prevents `Mac/BuildScript/build-installer.py` from completing. Looks like the host of the FTP server was changed to `ftp.invisible-island.net`, thus this proposal.

Signed-off-by: oleg.hoefling <oleg.hoefling@gmail.com>

bpo-40217:  Ensure Py_VISIT(Py_TYPE(self)) is always called for PyType_FromSpec types (reverts GH-19414) (GH-20264)

Heap types now always visit the type in tp_traverse. See added docs for details.

This reverts commit 0169d3003be3d072751dd14a5c84748ab63a249f.

Automerge-Triggered-By: @encukou

Fix lookahead of soft keywords in the PEG parser (GH-20436)

Automerge-Triggered-By: @gvanrossum

bpo-40611: Adds MAP_POPULATE to the mmap module (GH-20061)

MAP_POPULATE constant has now been added to the list of exported
mmap module flags.

Add soft keywords (GH-20370)

These are like keywords but they only work in context; they are not reserved except when there is an exact match.

This would enable things like match statements without reserving `match` (which would be bad for the `re.match()` function and probably lots of other places).

Automerge-Triggered-By: @gvanrossum

bpo-37999: No longer use __int__ in implicit integer conversions. (GH-15636)

Only __index__ should be used to make integer conversions lossless.

bpo-40756: Default second argument of LoggerAdapter.__init__ to None (GH-20362)

The 'extra' argument is not always used by custom logger adapters. For
example:

```python
class IndentAdapter(logging.LoggerAdapter):
    def process(self, msg, kwargs):
        indent = kwargs.pop(indent, 1)
        return ' ' * indent + msg, kwargs
```

It is cleaner and friendlier to default the 'extra' argument to None
instead of either forcing the subclasses of LoggerAdapter to pass a None
value directly or to override the constructor.

This change is backward compatible because existing calls to
`LoggerAdapter.__init__` are already passing a value for the second
argument.

Automerge-Triggered-By: @vsajip

bpo-39244: multiprocessing return default start method first on macOS (GH-18625)

bpo-40737: Fix possible reference leak for sqlite3 initialization (GH-20323)

bpo-40637: Fix test_pbkdf2_hmac_py for missing sha1 (#20422)

bpo-39301: State that floor division is used for right shift operations (GH-20347)

* bpo-39301: State that floor division is used for right shift operations

* Remove "without overflow check"

Remove duplicated words words (GH-20413)

bpo-40745: Fix typos in NewType docs (GH-20379)

Simplify creation of the __new__ method in namedtuple() (GH-20361)

Fix peg_generator compiler warnings under MSVC (GH-20405)

closes bpo-40774: Fix docs indentation for asyncio.create_subprocess_shell() (GH-20403)

bpo-38964: Print correct filename on a SyntaxError in an fstring (GH-20399)

When a `SyntaxError` in the expression part of a fstring is found,
the filename attribute of the `SyntaxError` is always `<fstring>`.
With this commit, it gets changed to always have the name of the file
the fstring resides in.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

[workflow] Use Sphinx problem matcher on GitHub docs builds (GH-20325)

bpo-40688: Use the correct parser in the peg_generator scripts (GH-20235)

The scripts in `Tools/peg_generator/scripts` mostly assume that
`ast.parse` and `compile` use the old parser, since this was the
state of things, while we were developing them. They need to be
updated to always use the correct parser. `_peg_parser` is being
extended to support both parsing and compiling with both parsers.

bpo-23082: Better error message for PurePath.relative_to() from pathlib (GH-19611)

Co-authored-by: Sadhana Srinivasan <rotuna@Sadhanas-MBP.fritz.box>

Closes bpo-40558: update CONTRIBUTING.rst to reflect current branches (GH-19989)

bpo-40750: Do not expand the new parser debug flags if Py_BUILD_CORE is not defined (GH-20393)

bpo-40750: Support -d flag in the new parser (GH-20340)

bpo-39573: Fix buildbot failure for tupleobject.c (GH-20391)

bpo-39573: Convert Py_TYPE() to a static inline function (GH-20290)

bpo-39245: Fix docs links to the stable ABI (GH-20388)

Automerge-Triggered-By: @vstinner

bpo-34397: Remove redundant overflow checks in list and tuple implementation. (GH-8757)

bpo-38972: Fix typos in PowerShell Execution Policies links (GH-20383)

bpo-40671: Prepare _hashlib for PEP 489 (GH-20180)

bpo-40695: Limit hashlib builtin hash fallback (GH-20259)

:mod:`hashlib` no longer falls back to builtin hash implementations when
OpenSSL provides a hash digest and the algorithm is blocked by security
policy.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-35714: Reject null characters in struct format strings (GH-16928)

struct.error is now raised if there is a null character in a struct
format string.

bpo-38580: Document that select() accepts iterables, not just sequences (GH-16832)

bpo-40334: Support suppressing of multiple optional variables in Pegen (GH-20367)

bpo-36290: Fix keytword collision handling in AST node constructors (GH-12382)

bpo-17050: Remove documentation on argparse.REMAINDER (GH-18661)

Closes [Issue 17050]() by removing argparse.REMAINDER from the documentation, as discussed on the issue.

Automerge-Triggered-By: @rhettinger

bpo-40443: Remove unused imports in the zoneinfo (GH-20354)

bpo-37309: Update IDLE NEWS.txt (GH-20356)

bpo-40723: Make IDLE autocomplete test run without __main__.__file__ (GH-20311)

This was the only failure running unittest.main(test.test_idle) after imports.

bpo-37973: Improve the docstrings of sys.float_info (GH-19218)

Taken from https://docs.python.org/3/library/sys.html#sys.float_info

Remove spurious NULL in descrobject.c (GH-20344)

Co-authored-by: hai shi <shihai1991@126.com>

Use Py_ssize_t for the column number in the PEG support code (GH-20341)

bpo-40405: Fix asyncio.as_completed docs (GH-19753)

* Fix as_completed docs to correctly state the function return value.
* Also, improves the general wording of the as_completed documentation.

Co-Authored-By: Rémi Lapeyre <remi.lapeyre@henki.fr>
Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
Co-Authored-By: Yury Selivanov <yury@edgedb.com>

bpo-34556: Document addition of upgrade_deps to venv.create (GH-20135)

bpo-40439: Update broken link in lexical analysis docs (GH-20184)

Automerge-Triggered-By: @csabella

[doc] Add missing space in urllib.request.rst (GH-19860)

This is just a typo fix, should I still provide news file?

Cosmetic smtplib changes (GH-8718)

Some cosmetic smtplib changes here. Let me know if you'd like a bpo/news entry or splitting this PR into two.

Automerge-Triggered-By: @maxking

bpo-40552 Add 'users' variable in code sample (tutorial 4.2). (GH-19992)

* Add 'users' variable in code sample.

* 📜🤖 Added by blurb_it.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-40679: Use the function's qualname in certain TypeErrors (GH-20236)

Patch by Dennis Sweeney.

bpo-40696: Fix a hang that can arise after gen.throw() (GH-20287)

This updates _PyErr_ChainStackItem() to use _PyErr_SetObject()
instead of _PyErr_ChainExceptions(). This prevents a hang in
certain circumstances because _PyErr_SetObject() performs checks
to prevent cycles in the exception context chain while
_PyErr_ChainExceptions() doesn't.

bpo-9216: hashlib usedforsecurity fixes (GH-20258)

func:`hashlib.new` passed ``usedforsecurity`` to OpenSSL EVP constructor
``_hashlib.new()``. test_hashlib and test_smtplib handle strict security
policy better.

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: @tiran

bpo-40705: Fix use-after-free in _zoneinfo's module_free (GH-20280)

bpo-40730: Remove redundant 'to' (GH-20316)

@ericvsmith I guess it is correct to merge it into master and not 3.9 directly?

Automerge-Triggered-By: @ericvsmith

Let the argument clinic do the type checking for heapq (GH-20284)

bpo-40630: Add tracemalloc.reset_peak (GH-20102)

The reset_peak function sets the peak memory size to the current size,
representing a resetting of that metric. This allows for recording the
peak of specific sections of code, ignoring other code that may have
had a higher peak (since the most recent `tracemalloc.start()` or
tracemalloc.clear_traces()` call).

Restore missing column of digits (GH-20313)

Fix debug output in PEG parser generator (GH-20308)

bpo-40334: Produce better error messages for non-parenthesized genexps (GH-20153)

The error message, generated for a non-parenthesized generator expression
in function calls, was still the generic `invalid syntax`, when the generator expression wasn't appearing as the first argument in the call. With this patch, even on input like `f(a, b, c for c in d, e)`, the correct error message gets produced.

[doc] Remove references to obsolete BuildApplet on macOS. (GH-20023)

bpo-40715: Reject dict unpacking on dict comprehensions (GH-20292)

Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

bpo-40176: Improve error messages for trailing comma on from import (GH-20294)

Fix typing problems reported by mypy in pegen (GH-20297)

Reword aware/naive introduction sentence (GH-20175)

This is more informative and avoids the question of whether the period should go inside or outside the quotation marks.

See also GH-20007.

bpo-40334: Correctly generate C parser when assigned var is None (GH-20296)

When there are 2 negative lookaheads in the same rule, let's say `!"(" blabla "," !")"`, there will the 2 `FunctionCall`'s where assigned value is None. Currently when the `add_var` is called
the first one will be ignored but when the second lookahead's var is sent to dedupe it
will be returned as `None_1` and this won't be ignored by the declaration generator in the `visit_Alt`. This patch adds an explicit check to `add_var` to distinguish whether if there is a variable or not.

bpo-40714: Remove compile warning from _zoneinfo.c (GH-20291)

Improve output summary in the examples and recipes section (GH-20285)

bpo-32309: Add support for contextvars in asyncio.to_thread() (GH-20278)

Allows contextvars from the main thread to be accessed in the separate thread used in `asyncio.to_thread()`. See the [discussion](https://github.com/python/cpython/pull/20143#discussion_r427808225) in GH-20143 for context.

Automerge-Triggered-By: @aeros

Use f-strings in argparse HOWTO (GH-20070)

Update whatsnew benchmark results for 3.9 (GH-20276)

s/wakup/wakeup (GH-20250)

(as title)

Automerge-Triggered-By: @Mariatta

Use v2 of GitHub Actions where available (GH-20232)

Automerge-Triggered-By: @Mariatta

bpo-40698: Improve distutils upload hash digests (GH-20260)

- Fix upload test on systems that blocks MD5
- Add SHA2-256 and Blake2b-256 digests based on new Warehous and twine
  specs.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-34956: edit and format better NEWS item in 3.9.0b1 changelog (GH-20255)

Fix the URL to fishshell.com (GH-20251)

bpo-40291: Mention socket.CAN_J1939 in What's New (GH-20248)

This mentions the new CAN_J1939 implementation in the What's New
documentation for Python 3.9

Automerge-Triggered-By: @gvanrossum

bpo-40521: Fix update_slot() when INTERN_NAME_STRINGS is not defined (#20246)

Fix type update_slot() function when the macro INTERN_NAME_STRINGS is
not defined: use _PyUnicode_EQ() in this case.

bpo-40645: restrict HMAC key len to INT_MAX (GH-20238)

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: @tiran

bpo-38870: invalid escape sequence (GH-20240)

`/home/isidentical/cpython/cpython/Lib/test/test_unparse.py:333: DeprecationWarning: invalid escape sequence \X`

Automerge-Triggered-By: @pablogsal

bpo-39631: Adds NEWS entry (GH-20227)

bpo-32604: PEP 554 for use in test suite (GH-19985)

* PEP 554 for use in test suite

* 📜🤖 Added by blurb_it.

* Fix space

* Add doc to doc tree

* Move to modules doc tree

* Fix suspicious doc errors

* Fix test__all

* Docs docs docs

* Support isolated and fix wait

* Fix white space

* Remove undefined from __all__

* Fix recv and add exceptions

* Remove unused exceptions, fix pep 8 formatting errors and fix _NOT_SET in recv_nowait()

Co-authored-by: nanjekyejoannah <joannah.nanjekye@ibm.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

Enable GitHub Actions for 3.9 branch (GH-20231)

bpo-37616: Handle version information more gracefully in getpath.c (GH-20214)

bpo-40683: Add zoneinfo to LIBSUBDIRS (#20229)

Without this, only the _zoneinfo module is getting installed, not the
zoneinfo module. I believe this was not noticed earlier because
test.test_zoneinfo was also not being installed.

Fix typo in multiprocessing documentation (GH-20016)

Doc: Python 3.10 in sidebar and version switcher. (GH-20209)

bpo-40677: Define IO_REPARSE_TAG_APPEXECLINK explicitly (GH-20206)

This allows building with older versions of the Windows SDK where the value is not defined.

bpo-39631: Fix file association MIME type in the Windows installer (GH-20205)

Use text/x-python instead of text/plain to avoid issues with tools assuming that "ShellExecute(script)" is a non-executable operation.

3.10 whatsnew needs to use blurb-produced changelog (GH-20213)

Consolidate 3.9.0b1 NEWS in the master branch

bpo-32309: Implement asyncio.to_thread() (GH-20143)

Implements `asyncio.to_thread`, a coroutine for asynchronously running IO-bound functions in a separate thread without blocking the event loop. See the discussion starting from [here](https://github.com/python/cpython/pull/18410#issuecomment-628930973) in GH-18410 for context.

Automerge-Triggered-By: @aeros

Python 3.10.0a0 (GH-20198)

Fix code-block in zoneinfo (GH-20201)

```
Warning, treated as error:
/tmp/code/Doc/library/zoneinfo.rst:303:Error in "code-block" directive:
1 argument(s) required, 0 supplied.

.. code-block::

    >>> a = ZoneInfo("Europe/Berlin")
    >>> b = pickle.loads(europe_berlin_pkl)
    >>> a is b
    True
```

bpo-40669: Use requirements.pip when installing PEG dependencies (GH-20194)