Remove spurious NULL in descrobject.c (GH-20344)

Co-authored-by: hai shi <shihai1991@126.com>

Use Py_ssize_t for the column number in the PEG support code (GH-20341)

bpo-40405: Fix asyncio.as_completed docs (GH-19753)

* Fix as_completed docs to correctly state the function return value.
* Also, improves the general wording of the as_completed documentation.

Co-Authored-By: Rémi Lapeyre <remi.lapeyre@henki.fr>
Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
Co-Authored-By: Yury Selivanov <yury@edgedb.com>

bpo-34556: Document addition of upgrade_deps to venv.create (GH-20135)

bpo-40439: Update broken link in lexical analysis docs (GH-20184)

Automerge-Triggered-By: @csabella

[doc] Add missing space in urllib.request.rst (GH-19860)

This is just a typo fix, should I still provide news file?

Cosmetic smtplib changes (GH-8718)

Some cosmetic smtplib changes here. Let me know if you'd like a bpo/news entry or splitting this PR into two.

Automerge-Triggered-By: @maxking

bpo-40552 Add 'users' variable in code sample (tutorial 4.2). (GH-19992)

* Add 'users' variable in code sample.

* 📜🤖 Added by blurb_it.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-40679: Use the function's qualname in certain TypeErrors (GH-20236)

Patch by Dennis Sweeney.

bpo-40696: Fix a hang that can arise after gen.throw() (GH-20287)

This updates _PyErr_ChainStackItem() to use _PyErr_SetObject()
instead of _PyErr_ChainExceptions(). This prevents a hang in
certain circumstances because _PyErr_SetObject() performs checks
to prevent cycles in the exception context chain while
_PyErr_ChainExceptions() doesn't.

bpo-9216: hashlib usedforsecurity fixes (GH-20258)

func:`hashlib.new` passed ``usedforsecurity`` to OpenSSL EVP constructor
``_hashlib.new()``. test_hashlib and test_smtplib handle strict security
policy better.

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: @tiran

bpo-40705: Fix use-after-free in _zoneinfo's module_free (GH-20280)

bpo-40730: Remove redundant 'to' (GH-20316)

@ericvsmith I guess it is correct to merge it into master and not 3.9 directly?

Automerge-Triggered-By: @ericvsmith

Let the argument clinic do the type checking for heapq (GH-20284)

bpo-40630: Add tracemalloc.reset_peak (GH-20102)

The reset_peak function sets the peak memory size to the current size,
representing a resetting of that metric. This allows for recording the
peak of specific sections of code, ignoring other code that may have
had a higher peak (since the most recent `tracemalloc.start()` or
tracemalloc.clear_traces()` call).

Restore missing column of digits (GH-20313)

Fix debug output in PEG parser generator (GH-20308)

bpo-40334: Produce better error messages for non-parenthesized genexps (GH-20153)

The error message, generated for a non-parenthesized generator expression
in function calls, was still the generic `invalid syntax`, when the generator expression wasn't appearing as the first argument in the call. With this patch, even on input like `f(a, b, c for c in d, e)`, the correct error message gets produced.

[doc] Remove references to obsolete BuildApplet on macOS. (GH-20023)

bpo-40715: Reject dict unpacking on dict comprehensions (GH-20292)

Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

bpo-40176: Improve error messages for trailing comma on from import (GH-20294)

Fix typing problems reported by mypy in pegen (GH-20297)

Reword aware/naive introduction sentence (GH-20175)

This is more informative and avoids the question of whether the period should go inside or outside the quotation marks.

See also GH-20007.

bpo-40334: Correctly generate C parser when assigned var is None (GH-20296)

When there are 2 negative lookaheads in the same rule, let's say `!"(" blabla "," !")"`, there will the 2 `FunctionCall`'s where assigned value is None. Currently when the `add_var` is called
the first one will be ignored but when the second lookahead's var is sent to dedupe it
will be returned as `None_1` and this won't be ignored by the declaration generator in the `visit_Alt`. This patch adds an explicit check to `add_var` to distinguish whether if there is a variable or not.

bpo-40714: Remove compile warning from _zoneinfo.c (GH-20291)

Improve output summary in the examples and recipes section (GH-20285)

bpo-32309: Add support for contextvars in asyncio.to_thread() (GH-20278)

Allows contextvars from the main thread to be accessed in the separate thread used in `asyncio.to_thread()`. See the [discussion](https://github.com/python/cpython/pull/20143#discussion_r427808225) in GH-20143 for context.

Automerge-Triggered-By: @aeros

Use f-strings in argparse HOWTO (GH-20070)

Update whatsnew benchmark results for 3.9 (GH-20276)

s/wakup/wakeup (GH-20250)

(as title)

Automerge-Triggered-By: @Mariatta

Use v2 of GitHub Actions where available (GH-20232)

Automerge-Triggered-By: @Mariatta

bpo-40698: Improve distutils upload hash digests (GH-20260)

- Fix upload test on systems that blocks MD5
- Add SHA2-256 and Blake2b-256 digests based on new Warehous and twine
  specs.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-34956: edit and format better NEWS item in 3.9.0b1 changelog (GH-20255)

Fix the URL to fishshell.com (GH-20251)

bpo-40291: Mention socket.CAN_J1939 in What's New (GH-20248)

This mentions the new CAN_J1939 implementation in the What's New
documentation for Python 3.9

Automerge-Triggered-By: @gvanrossum

bpo-40521: Fix update_slot() when INTERN_NAME_STRINGS is not defined (#20246)

Fix type update_slot() function when the macro INTERN_NAME_STRINGS is
not defined: use _PyUnicode_EQ() in this case.

bpo-40645: restrict HMAC key len to INT_MAX (GH-20238)

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: @tiran

bpo-38870: invalid escape sequence (GH-20240)

`/home/isidentical/cpython/cpython/Lib/test/test_unparse.py:333: DeprecationWarning: invalid escape sequence \X`

Automerge-Triggered-By: @pablogsal

bpo-39631: Adds NEWS entry (GH-20227)

bpo-32604: PEP 554 for use in test suite (GH-19985)

* PEP 554 for use in test suite

* 📜🤖 Added by blurb_it.

* Fix space

* Add doc to doc tree

* Move to modules doc tree

* Fix suspicious doc errors

* Fix test__all

* Docs docs docs

* Support isolated and fix wait

* Fix white space

* Remove undefined from __all__

* Fix recv and add exceptions

* Remove unused exceptions, fix pep 8 formatting errors and fix _NOT_SET in recv_nowait()

Co-authored-by: nanjekyejoannah <joannah.nanjekye@ibm.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

Enable GitHub Actions for 3.9 branch (GH-20231)

bpo-37616: Handle version information more gracefully in getpath.c (GH-20214)

bpo-40683: Add zoneinfo to LIBSUBDIRS (#20229)

Without this, only the _zoneinfo module is getting installed, not the
zoneinfo module. I believe this was not noticed earlier because
test.test_zoneinfo was also not being installed.

Fix typo in multiprocessing documentation (GH-20016)

Doc: Python 3.10 in sidebar and version switcher. (GH-20209)

bpo-40677: Define IO_REPARSE_TAG_APPEXECLINK explicitly (GH-20206)

This allows building with older versions of the Windows SDK where the value is not defined.

bpo-39631: Fix file association MIME type in the Windows installer (GH-20205)

Use text/x-python instead of text/plain to avoid issues with tools assuming that "ShellExecute(script)" is a non-executable operation.

3.10 whatsnew needs to use blurb-produced changelog (GH-20213)

Consolidate 3.9.0b1 NEWS in the master branch

bpo-32309: Implement asyncio.to_thread() (GH-20143)

Implements `asyncio.to_thread`, a coroutine for asynchronously running IO-bound functions in a separate thread without blocking the event loop. See the discussion starting from [here](https://github.com/python/cpython/pull/18410#issuecomment-628930973) in GH-18410 for context.

Automerge-Triggered-By: @aeros

Python 3.10.0a0 (GH-20198)

Fix code-block in zoneinfo (GH-20201)

```
Warning, treated as error:
/tmp/code/Doc/library/zoneinfo.rst:303:Error in "code-block" directive:
1 argument(s) required, 0 supplied.

.. code-block::

    >>> a = ZoneInfo("Europe/Berlin")
    >>> b = pickle.loads(europe_berlin_pkl)
    >>> a is b
    True
```

bpo-40669: Use requirements.pip when installing PEG dependencies (GH-20194)

Use _PyErr_ChainStackItem() inside gen_send_ex(). (GH-20173)

_PyErr_ChainStackItem was just added in GH-19951 (for bpo-31033).

bpo-40275: More lazy imports in test.support (GH-20131)

Make the the following imports lazy in test.support:

* bz2
* gzip
* lzma
* resource
* zlib

The following test.support decorators now need to be called
with parenthesis:

* @support.requires_bz2
* @support.requires_gzip
* @support.requires_lzma
* @support.requires_zlib

For example, "@requires_zlib" becomes "@requires_zlib()".

Regenerate the parser (#20195)

bpo-38870: Don't omit parenthesis when unparsing a slice in ast.unparse

When unparsing a non-empty tuple, the parentheses can be safely
omitted if there aren't any elements that explicitly require them (such as starred expressions).

bpo-40334: Reproduce error message for type comments on bare '*' in the new parser (GH-20151)

bpo-38870: correctly escape unprintable characters on ast.unparse (GH-20166)

Unprintable characters such as `\x00` weren't correctly roundtripped
due to not using default string repr when generating docstrings. This
patch correctly encodes all unprintable characters (except `\n` and `\t`, which
are commonly used for formatting, and found unescaped).

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
Co-authored-by: Batuhan Taskaya <isidentical@gmail.com>

bpo-40669: Install PEG benchmarking dependencies in a venv (GH-20183)

Create a `make venv` target, that creates a virtual environment
and installs the dependency in that venv. `make time` and all
the related targets are changed to use the virtual environment
python.

Automerge-Triggered-By: @pablogsal

bpo-40663: Correctly handle annotations with subscripts in ast_unparse.c (GH-20156)

bpo-40662: Fixed ast.get_source_segment for ast nodes that have incomplete location information (GH-20157)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-40528: Improve AST generation script to do builds simultaneously (GH-19968)

- Switch from getopt to argparse.
- Removed the limitation of not being able to produce both C and H simultaneously.

This will make it run faster since it parses the asdl definition once and uses the generated tree to generate both the header and the C source.

bpo-40661: Fix segfault when parsing invalid input (GH-20165)

Fix segfaults when parsing very complex invalid input, like `import äˆ ð£„¯ð¢·žð±‹á”€ð””ð‘©±å®ä±¬ð©¾\n𗶽`.

Co-authored-by: Guido van Rossum <guido@python.org>
Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

bpo-40257: Revert changes to inspect.getdoc() (GH-20073)

bpo-35890: Use RegQueryInfoKeyW and CryptAcquireContextW explicitly (GH-19974)

bpo-40650: Include winsock2.h in pytime.c, instead of a full windows.h (GH-20137)

bpo-40653: Move _dirnameW out of #ifdef HAVE_SYMLINK/#endif (GH-20144)

Revert "bpo-26317: Support OBJC and OBJCXX configure command line variables (GH-20176)" (GH-20182)

This reverts commit 0da546665075aefbb476e192ed64122d340164f4.

The commit is causing make failures on a FreeBSD buildbot.
Due to the imminent 3.9.0b1 cutoff, revert this commit for
now pending further investigation.

bpo-38112: Document that compileall.compile_[dir,file] also accept multiple opt levels (GH-20174)

bpo-26317: Support OBJC and OBJCXX configure command line variables (GH-20176)

Add support to the configure script for OBJC and OBJCXX command line options so that the macOS builds can use the clang compiler for the macOS-specific Objective C source files. This allows third-party compilers, like GNU gcc, to be used to build the rest of the project since some of the Objective C system header files are not compilable by GNU gcc.

Co-authored-by: Jeffrey Kintscher <websurfer@surf2c.net>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-40548: Github Actions: update actions/checkout to v2 (GH-20164)

Signed-off-by: Filipe Laíns <lains@archlinux.org>

bpo-34956: Fix macOS _tkinter use of Tcl/Tk in /Library/Frameworks (GH-20171)

_tkinter now builds and links with non-system Tcl and Tk frameworks if they
are installed in /Library/Frameworks as had been the case on older releases
of macOS. If a macOS SDK is explicitly configured, by using ./configure
--enable-universalsdk= or -isysroot, only a Library/Frameworks directory in
the SDK itself is searched. The default behavior can still be overridden with
configure --with-tcltk-includes and --with-tcltk-libs.

bpo-39148: fixup to account for IPV6_ENABLED being moved (GH-20170)

bpo-39148: enable ipv6 for datagrams in Proactor (GH-19121)

Ifdef is not necessary, as AF_INET6 is supported from Windows Vista, and other code in overlapped.c uses AF_INET6 and is not ifdef'd.
Change the raised exception so users are not fooled to think it comes from Windows API.

Automerge-Triggered-By: @njsmith

bpo-31033: Improve the traceback for cancelled asyncio tasks (GH-19951)

When an asyncio.Task is cancelled, the exception traceback now
starts with where the task was first interrupted.  Previously,
the traceback only had "depth one."

bpo-13601: Mention stderr's line buffering in What's New (GH-20168)

bpo-40651: Improve LRU recipe in the OrderedDict documentation  (GH-#20139)

bpo-40665: Use Argument Clinic for the bisect module (GH-20163)

bpo-40536: Add zoneinfo.available_timezones (GH-20158)

This was not specified in the PEP, but it will likely be a frequently requested feature if it's not included.

This includes only the "canonical" zones, not a simple listing of every valid value of `key` that can be passed to `Zoneinfo`, because it seems likely that that's what people will want.

bpo-39058:  Preserve attribute order in argparse Namespace reprs. (GH-17621)

bpo-39705 : sorted() tutorial example under looping techniques improved (GH-18999)

Doc: change 'Posix' for 'POSIX' (GH-20001)

Doc: move a dot outside double quotes (GH-20007)

bpo-37630: Fix spelling shake128 -> shake_128 (GH-20154)

bpo-40645: Implement HMAC in C (GH-20129)

The internal module ``_hashlib`` wraps and exposes OpenSSL's HMAC API. The
new code will be used in Python 3.10 after the internal implementation
details of the pure Python HMAC module are no longer part of the public API.

The code is based on a patch by Petr Viktorin for RHEL and Python 3.6.

Co-Authored-By: Petr Viktorin <encukou@gmail.com>

bpo-39976: Add **other_popen_kwargs to subprocess docs (GH-20145)

Patch by Zackery Spytz.

bpo-35569: add Erlend to Misc/ACKS (GH-20146)

bpo-35569: Expose RFC 3542 IPv6 socket options on macOS (GH-19526)

bpo-29587: Add another test for the gen.throw() fix. (GH-19859)

bpo-40334: Improvements to error-handling code in the PEG parser (GH-20003)

The following improvements are implemented in this commit:
- `p->error_indicator` is set, in case malloc or realloc fail.
- Avoid memory leaks in the case that realloc fails.
- Call `PyErr_NoMemory()` instead of `PyErr_Format()`, because it requires no memory.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-38870: Use subTest in test_unparse for better error reporting (GH-20141)

Use subTest in test_exceptions for better error reporting (GH-20140)

bpo-40645: Deprecated internal details of hmac.HMAC (GH-20132)

bpo-38870: Implement round tripping support for typed AST in ast.unparse (GH-17797)

bpo-38870: Correctly handle empty docstrings in ast.unparse (GH-18768)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-40165: Suppress stderr when checking if test_stty_match should be skipped (GH-19325)

bpo-40211: Clarify os.preadv and os.pwritev are supported on AIX 7.1+ (GH-19401)

bpo-39740: Early declare devpoll_methods to support old compilers (GH-19281)

bpo-38870: Don't put unnecessary parentheses on class declarations in ast.parse (GH-20134)