bpo-39802: Only expose set_escdelay and set_tabsize when curses extensions are activated (GH-18705)

bpo-38091: Import deadlock detection causes deadlock (GH-17518)

Automerge-Triggered-By: @brettcannon

bpo-38597: Never statically link extension initialization code on Windows (GH-18724)

bpo-39778: Don't traverse weak-reference lists OrderedDict's tp_traverse and tp_clear (GH-18749)

Objects do not own weak references to them directly through the __weakref__ list so these
do not need to be traversed by the GC.

 bpo-39776: Lock ++interp->tstate_next_unique_id. (GH-18746) (#18746)

  - Threads created by PyGILState_Ensure() could have a duplicate tstate->id.

bpo-39831: Fix a reference leak in PyErr_WarnEx(). (GH-18750)

bpo-38870: Add docstring support to ast.unparse (GH-17760)

Allow ast.unparse to detect docstrings in functions, modules and classes and produce
nicely formatted unparsed output for said docstrings.

Co-Authored-By: Pablo Galindo <Pablogsal@gmail.com>

bpo-39796: Fix _warnings module initialization (GH-18739)

* Add _PyWarnings_InitState() which only initializes the _warnings
  module state (tstate->interp->warnings) without creating a module
  object
* Py_InitializeFromConfig() now calls _PyWarnings_InitState() instead
  of _PyWarnings_Init()
* Rename also private functions of _warnings.c to avoid confusion
  between the public C API and the private C API.

bpo-39764: Make Task.get_stack accept ag_frame (#18669)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-38380: Update macOS & Windows builds to SQLite v3.31.1 (GH-18678)

Automerge-Triggered-By: @zooba

bpo-39775: inspect: Change Signature.parameters back to OrderedDict. (GH-18684)

Fix misleading statement about mixed-type numeric comparisons (GH-18615)

bpo-38913: Fix segfault in Py_BuildValue("(s#O)", ...) if entered with exception raised. (GH-18656)

bpo-38971: Open file in codecs.open() closes if exception raised. (GH-17666)

Open issue in the BPO indicated a desire to make the implementation of
codecs.open() at parity with io.open(), which implements a try/except to
assure file stream gets closed before an exception is raised.

bpo-39495: Remove default value from C impl of TreeBuilder.start (GH-18275)

bpo-39378: partial of PickleState struct should be traversed. (GH-18046)

bpo-39199: Add descriptions of non-deprecated nodes to the AST module documentation (GH-17812)

Adapted from https://greentreesnakes.readthedocs.io

Co-authored-by: Karthikeyan Singaravelan <tir.karthi@gmail.com>
Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

closes bpo-39803: Remove unused str from _PyLong_FormatAdvancedWriter. (GH-18709)

bpo-39815: add cached_property to all (GH-18726)

Automerge-Triggered-By: @pablogsal

bpo-39678: refactor queue manager thread (GH-18551)

bpo-38870: Implement a precedence algorithm in ast.unparse (GH-17377)

Implement a simple precedence algorithm for ast.unparse in order to avoid redundant
parenthesis for nested structures in the final output.

bpo-39520: Fix un-parsing of ext slices with no dimensions (GH-18304)

bpo-38641: Add lib2to3 support for starred expressions in return/yield statements (GH-16994)

Mention backports (GH-18715)

bpo-39548: Fix handling of 'WWW-Authenticate' header for Digest Auth (GH-18338)

* bpo-39548: Fix handling of 'WWW-Authenticate' header for Digest authentication

 - The 'qop' value in the 'WWW-Authenticate' header is optional. The
   presence of 'qop' in the header should be checked before its value
   is parsed with 'split'.

Signed-off-by: Stephen Balousek <stephen@balousek.net>
* bpo-39548: Fix handling of 'WWW-Authenticate' header for Digest authentication

 - Add NEWS item

Signed-off-by: Stephen Balousek <stephen@balousek.net>
* Update Misc/NEWS.d/next/Library/2020-02-06-05-33-52.bpo-39548.DF4FFe.rst

Co-Authored-By: Brandt Bucher <brandtbucher@gmail.com>
Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

Cosmetic change to match the surrounding code. (#18704)

bpo-39794: Add --without-decimal-contextvar (#18702)

bpo-39667: Sync zipp 3.0 (GH-18540)

* bpo-39667: Improve pathlib.Path compatibility on zipfile.Path and correct performance degradation as found in zipp 3.0

* 📜🤖 Added by blurb_it.

* Update docs for new zipfile.Path.open

* Rely on dict, faster than OrderedDict.

* Syntax edits on docs

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-39379: Remove reference to sys.path[0] being absolute path in whatsnew (GH-18561)

Remove reference to sys.path[0] being absolute path in whatsnew

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Kyle Stanley <aeros167@gmail.com>

bpo-37534: Allow adding Standalone Document Declaration when generating XML documents (GH-14912)

bpo-39769: Fix compileall ddir for subpkgs. (GH-18676)

Fix compileall.compile_dir() ddir= behavior on sub-packages.

Fixes compileall.compile_dir's ddir parameter and compileall command
line flag `-d` to no longer write the wrong pathname to the generated
pyc file for submodules beneath the root of the directory tree being
compiled.  This fixes a regression introduced with Python 3.5.

Also marks the _new_ in 3.9 from PR #16012 parameters to compile_dir as keyword only (as that is the only way they will be used) and fixes an omission of them in one place from the docs.

bpo-39789: Update Windows release build machines to VS 2019 (GH-18695)

Also fixes some potential Nuget build issues.

bpo-39718: add TYPE_IGNORE, COLONEQUAL to py38 changes in token (GH-18598)

bpo-13790: Change 'string' to 'specification' in format doc (GH-18690)

bpo-39781: Do not jump when select in IDLE codecontext (GH-18683)

Previously, the button-up part of selecting with a mouse was treated as a click
that meant 'jump' to this line, which modified the context and undid the selection

bpo-12915: Improve Unicode support for package names and attributes. (GH-18517)

Fuzz struct.unpack and catch RecursionError in re.compile (GH-18679)

closes bpo-39721: Fix constness of members of tok_state struct. (GH-18600)

The function PyTokenizer_FromUTF8 from Parser/tokenizer.c had a comment:

    /* XXX: constify members. */

This patch addresses that.

In the tok_state struct:
    * end and start were non-const but could be made const
    * str and input were const but should have been non-const

Changes to support this include:
    * decode_str() now returns a char * since it is allocated.
    * PyTokenizer_FromString() and PyTokenizer_FromUTF8() each creates a
        new char * for an allocate string instead of reusing the input
        const char *.
    * PyTokenizer_Get() and tok_get() now take const char ** arguments.
    * Various local vars are const or non-const accordingly.

I was able to remove five casts that cast away constness.

bpo-39704: Explicitly pass the path to codecov config (GH-18680)

bpo-39609: set the thread_name_prefix for the default asyncio executor (GH-18458)

Just a small debugging improvement to identify the asyncio executor threads.

bpo-39087: Optimize PyUnicode_AsUTF8AndSize() (GH-18327)

Avoid using temporary bytes object.

Suppress the hang (#18457)

bpo-36144: Document PEP 584 (GH-18659)

bpo-39699: Don't silence make on Azure and Github CIs (GH-18583)

bpo-34788: Add support for scoped IPv6 addresses (GH-13772)

Automerge-Triggered-By: @asvetlov

bpo-39737: Remove code repitition in list_richcompare (GH-18638)

I may speed up list comparison on some platforms.

Doc: int -> int or Py_ssize_t (GH-18663)

Post 3.9.0a4

Merge tag 'v3.9.0a4'

Python 3.9.0a4

Python 3.9.0a4

bpo-38403: Update nuspec file for deprecated field and git repository (GH-18657)

bpo-36144: Dictionary Union (PEP 584) (#12088)

bpo-30566: Fix IndexError when using punycode codec (GH-18632)

Trying to decode an invalid string with the punycode codec
shoud raise UnicodeError.

bpo-39128: Added algorithm description (GH-18624)

# [bpo-39128](https://bugs.python.org/issue39128): happy eyeballs description

# [3.9] 39128 - happy eyeballs description (GH-18624)
# [3.8] 39128 - happy eyeballs description (GH-18624)

https://bugs.python.org/issue39128

Add note to Mac installer ReadMe about macOS 10.15 Gatekeeper changes. (GH-18648)

Give proper credit for figuring out and writing PEP-3118 tests. (#18644)

Give proper credits for the memoryview implementation. (#18626)

closes bpo-39736: const strings in Modules/_datetimemodule.c and Modules/_testbuffer.c (GH-18637)

bpo-39649: Remove obsolete check for `__args__` in bdb.Bdb.format_stack_entry (GH-18531)

Appears to be obsolete since 75bb54c3d8.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-39654: Update pyclbr doc to reflect additional information returned (GH-18528)

Full nested function and class info makes it a module browser.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-39681: Fix C pickle regression with minimal file-like objects (#18592)

Fix a regression where the C pickle module wouldn't allow unpickling from a
file-like object that doesn't expose a readinto() method.

bpo-39576: Clarify the word size for the 32-bit build. (#18616)

bpo-39648: Expand math.gcd() and math.lcm() to handle multiple arguments. (GH-18604)

* bpo-39648: Expand math.gcd() and math.lcm() to handle multiple arguments.

* Simplify fast path.

* Difine lcm() without arguments returning 1.

* Apply suggestions from code review

Co-Authored-By: Mark Dickinson <dickinsm@gmail.com>
Co-authored-by: Mark Dickinson <dickinsm@gmail.com>

bpo-17422: Language reference should specify restrictions on class namespace (#18559)

The language reference now specifies restrictions on class namespaces.  Adapted from a patch by Ethan Furman.

bpo-39382: Avoid dangling object use in abstract_issubclass() (GH-18530)

Hold reference of __bases__ tuple until tuple item is done with, because by
dropping the reference the item may be destroyed.

bpo-39576: docs: set context for decimal arbitrary precision arithmetic (#18594)

bpo-35950: Raise UnsupportedOperation in BufferedReader.truncate() (GH-18586)

The truncate() method of io.BufferedReader() should raise
UnsupportedOperation when it is called on a read-only
io.BufferedReader() instance.

https://bugs.python.org/issue35950

Automerge-Triggered-By: @methane

fix(doc): set correct RST syntax for c:function (GH-18589)

The current content is not rendered since the syntax is not correct.

bpo-35727: Use exit code 0 on sys.exit() in multiprocessing.Process. (GH-11538)

Reuse identifier of PREDICT macros as PREDICT_ID (GH-17155)

In function `_PyEval_EvalFrameDefault`, macros PREDICT and PREDICTED use the same identifier creation scheme, which may be shared between them, reducing code repetition, and do ensure that the same identifier is generated.

bpo-9495: avoid confusing chained exception in argparse test (GH-17120)

bpo-38657: Clarify numeric padding behaviour in string formatting (GH-17036)

Make the definition of the width more explicit that it includes any
extra signs added by other options.

https://bugs.python.org/issue38657

Automerge-Triggered-By: @Mariatta

closes bpo-39684: Combine two if/thens and squash uninit var warning. (GH-18565)

bpo-39576: Prevent memory error for overly optimistic precisions (GH-18581)

bpo-39184: Fix incorrect return value (GH-18580)

https://bugs.python.org/issue39184

Automerge-Triggered-By: @zooba

Use the new recommended number of repetitions in the refleak tests. (#18569)

Update runall.bat to the latest Windows build system. (#18571)

Valgrind no longer supports --db-attach=yes. (#18568)

bpo-39479:Add math.lcm() function: Least Common Multiple (#18547)

* Update math.rst

* Update math.rst

* updated whats new

* Update test_math.py

* Update mathmodule.c

* Update mathmodule.c.h

* Update ACKS

* 📜🤖 Added by blurb_it.

* Update 3.9.rst

* Update 2020-02-18-12-37-16.bpo-39479.j3UcCq.rst

* Update math.rst

* Update 2020-02-18-12-37-16.bpo-39479.j3UcCq.rst

* Update test_math.py

* Update ACKS

* Update mathmodule.c.h

* Update mathmodule.c

* Update mathmodule.c.h

* Update mathmodule.c.h

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

Revert "bpo-38691 Added a switch to ignore PYTHONCASEOK when -E or -I flags passed (#18314)" (GH-18553)

This reverts commit d83b6600b25487e4ebffd7949d0f478de9538875.

bpo-39572: Document ’total’ flag of TypedDict (GH-18554)

Include subsections in TOC for PDF version of docs. (GH-9629)

bpo-39674: Revert "bpo-25988: Do not expose abstract collection classes in the collections module. (GH-10596)" (GH-18545)

This reverts commit ef092fe9905f61ca27889092ca1248a11aa74498.

Update collections __getattr__() and documentation to defer aliases
removal to Python 3.10.

bpo-37207: Use vectorcall for range() (GH-18464)

This continues the `range()` part of #13930. The complete pull request is stalled on discussions around dicts, but `range()` should not be controversial. (And I plan to open PRs for other parts if this is merged.)
On top of Mark's change, I unified `range_new` and `range_vectorcall`, which had a lot of duplicate code.

https://bugs.python.org/issue37207

bpo-36347: stop using RESTRICTED constants (GH-12684)

The constants `RESTRICTED` and `PY_WRITE_RESTRICTED` no longer have a meaning in Python 3. Therefore, CPython should not use them.

CC @matrixise

https://bugs.python.org/issue36347

bpo-1635741: Port _bz2 extension module to multiphase initialization(PEP 489) (GH-18050)

https://bugs.python.org/issue1635741

bpo-39546: argparse: Honor allow_abbrev=False for specified prefix_chars (GH-18337)

When `allow_abbrev` was first added, disabling the abbreviation of
long options broke the grouping of short flags ([bpo-26967](https://bugs.python.org/issue26967)).  As a fix,
b1e4d1b603 (contained in v3.8) ignores `allow_abbrev=False` for a
given argument string if the string does _not_ start with "--"
(i.e. it doesn't look like a long option).

This fix, however, doesn't take into account that long options can
start with alternative characters specified via `prefix_chars`,
introducing a regression: `allow_abbrev=False` has no effect on long
options that start with an alternative prefix character.

The most minimal fix would be to replace the "starts with --" check
with a "starts with two prefix_chars characters".  But
`_get_option_tuples` already distinguishes between long and short
options, so let's instead piggyback off of that check by moving the
`allow_abbrev` condition into `_get_option_tuples`.

https://bugs.python.org/issue39546

bpo-39663: IDLE: Add additional tests for pyparse (GH-18536)

Test when find_good_parse_start should return 0.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-1635741: Port _abc extension to multiphase initialization (PEP 489) (GH-18030)

bpo-1635741: Port _contextvars module to multiphase initialization (PEP 489) (GH-18374)

bpo-39500: Fix compile warnings in unicodeobject.c (GH-18519)

bpo-39573: Clean up modules and headers to use Py_IS_TYPE() function (GH-18521)

bpo-36465: Update doc of init_config.rst (GH-18520)

bpo-1635741: Port _crypt extension module to multiphase initialization (PEP 489) (GH-18404)

bpo-38691 Added a switch to ignore PYTHONCASEOK when -E or -I flags passed (#18314)

* Hard reset + cherry piciking the changes.

* 📜🤖 Added by blurb_it.

* Added @vstinner News

* Update Misc/NEWS.d/next/Library/2020-02-11-13-01-38.bpo-38691.oND8Sk.rst

Co-Authored-By: Victor Stinner <vstinner@python.org>
* Hard reset to master

* Hard reset to master + latest changes

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-32892: Update the documentation for handling constants in AST. (GH-18514)

bpo-37970: update and improve urlparse and urlsplit doc-strings (GH-16458)

bpo-39104: Fix hanging ProcessPoolExecutor on shutdown nowait with pickling failure (GH-17670)

As reported initially by @rad-pat in #6084, the following script causes a deadlock.

```
from concurrent.futures import ProcessPoolExecutor

class ObjectWithPickleError():
    """Triggers a RuntimeError when sending job to the workers"""

    def __reduce__(self):
        raise RuntimeError()

if __name__ == "__main__":
    e = ProcessPoolExecutor()
    f = e.submit(id, ObjectWithPickleError())
    e.shutdown(wait=False)
    f.result()  # Deadlock on get
```

This is caused by the fact that the main process is closing communication channels that might be necessary to the `queue_management_thread` later. To avoid this, this PR let the `queue_management_thread` manage all the closing.

https://bugs.python.org/issue39104

Automerge-Triggered-By: @pitrou

bpo-12915: Add pkgutil.resolve_name (GH-18310)

 bpo-39573: Update clinic to use Py_IS_TYPE() function (GH-18507)