Fix a typo ssl.py docstring (GH-9697) (#9710)

(cherry picked from commit fc7d1b3b6a2be7061c000245bb1faa438e42f5d8)

Co-authored-by: Matt Eaton <agnosticdev@gmail.com>

bpo-34871: inspect: Don't pollute sys.modules (GH-9696) (GH-9702)

https://bugs.python.org/issue34871
(cherry picked from commit 6f85b826b527e240551613aeec3118a5469e3a33)

Co-authored-by: INADA Naoki <methane@users.noreply.github.com>

[3.6] bpo-34872: Fix self-cancellation in C implementation of asyncio.Task (GH-9679) (GH-9690)

The C implementation of asyncio.Task currently fails to perform the
cancellation cleanup correctly in the following scenario.

    async def task1():
        async def task2():
            await task3     # task3 is never cancelled

        asyncio.current_task().cancel()
        await asyncio.create_task(task2())

The actuall error is a hardcoded call to `future_cancel()` instead of
calling the `cancel()` method of a future-like object.

Thanks to Vladimir Matveev for noticing the code discrepancy and to
Yury Selivanov for coming up with a pathological scenario.

(cherry picked from commit 548ce9dedd2e90945970671d441436a6a91608ab)

https://bugs.python.org/issue34872

bpo-34879: Fix a possible null pointer dereference in bytesobject.c (GH-9683)

formatfloat() was not checking if PyBytes_FromStringAndSize()
failed, which could lead to a null pointer dereference in
_PyBytes_FormatEx().
(cherry picked from commit 96c593279400693226d5a560c420ae0fcf1731b9)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

Make it clear that the msg argument to assertWarns/assertWarnsRegex/assertRaisesRegex is keyword-only. (GH-9680)

A follow up to be4e5b89204283a62e369439025f00362d0424f6.
(cherry picked from commit e006b39a40e0cd6a90c68f1107853ea2ed0ed54d)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34172: multiprocessing.Pool leaks resources after being deleted (GH-8450) (GH-9677)

Fix a reference issue inside multiprocessing.Pool that caused the pool to remain alive if it was deleted without being closed or terminated explicitly.
(cherry picked from commit 97bfe8d3ebb0a54c8798f57555cb4152f9b2e1d0)

Co-authored-by: tzickel <tzickel@users.noreply.github.com>

Make it clear that the msg argument to assertRaises is keyword-only. (GH-9670)

(cherry picked from commit be4e5b89204283a62e369439025f00362d0424f6)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

closes bpo-34868: Improve error message with '_' is combined with an invalid type specifier. (GH-9666)

(cherry picked from commit cbda8fc5d76b10bcbb92d927537576c229143836)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-31865: Fix a couple of typos in the html.unescape() docs. (GH-9664)

(cherry picked from commit 30534cc7172f36092e0002bb7df482edc0d539ce)

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

bpo-34850: Replace is with == in idlelib.iomenu (GH-9649)

Patch by Serhiy Storchaka (in PR GH-9642).
(cherry picked from commit 5fa247d60d4f3f2b8c8ae8cb57363aca234344c2)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-27351: Fix ConfigParser.read() documentation and docstring (GH-8123)

Switch "list" with "iterable" to match with the implementation.
(cherry picked from commit e45473e3ca31e5b78dc85cab575f5bb60d5b7f8f)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

Fix incorrect error handling in _pickle.Unpickler.__init__() (GH-9630)

_pickle.Unpickler.__init__() should return -1 if Pdata_New() fails, not 1.
(cherry picked from commit 4b430e5f6954ef4b248e95bfb4087635dcdefc6d)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-34521: Fix tests in test_multiprocessing_spawn to use correctly CMSG_SPACE (GH-9613)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_multiprocessing_spawn and after examining
similar failures in test_socket, some errors in the calculation of
ancillary data buffers were found in multiprocessing.reduction.

CMSG_LEN() can often be used as the buffer size for recvmsg() to
receive a single item of ancillary data, but RFC 3542 requires portable
applications to use CMSG_SPACE() and thus include space for padding,
even when the item will be the last in the buffer.

The failures we experience are due to the usage of CMSG_LEN() instead of
CMSG_SPACE().
(cherry picked from commit 077061a7b24917aaf31057885c69919c5a553c88)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

Fix tests in test_socket to use correctly CMSG_LEN (GH-9594)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_socket that are using
testFDPassSeparateMinSpace(), FreeBDS revision 337423 was pointed
out to be the reason the test started to fail.

A close examination of the manpage for cmsg_space(3) reveals that
the number of file descriptors needs to be taken into account when
using CMSG_LEN().

This commit fixes tests in test_socket to use correctly CMSG_LEN, taking
into account the number of FDs.
(cherry picked from commit 7291108d88ea31d205da4db19d202d6cbffc6d93)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-34819: Use a monotonic clock to compute timeouts in concurrent.futures (GH-9599)

Use a monotonic clock to compute timeouts in :meth:`Executor.map` and :func:`as_completed`, in order to prevent timeouts from deviating when the system clock is adjusted.

This may not be sufficient on all systems. On POSIX for example, the actual waiting (e.g. in ``sem_timedwait``) is specified to rely on the CLOCK_REALTIME clock.
(cherry picked from commit a94ee12c26aa8dd7dce01373779df8055aff765b)

Co-authored-by: orlnub123 <orlnub123@gmail.com>

Post release bump

Merge tag 'v3.6.7rc1' into 3.6

bpo-28655: Fix test_import.test_missing_source_legacy() (GH-9589)

bpo-28655, bpo-33053: test_import.test_missing_source_legacy() now
removes the .pyc file that it creates to avoid leaking a file.

Fix extract from commit d5d9e02dd3c6df06a8dd9ce75ee9b52976420a8b.

Co-Authored-By: Nick Coghlan <ncoghlan@gmail.com>

Clarify that Type[SomeTypeVar] is legal (GH-9585)

Currently, the docs state that when doing `Type[X]`, X is only allowed to
be a class, a union of classes, and Any. This pull request amends
that sentence to clarify X may also be a typevar (or a union involving
classes, Any, and TypeVars).
(cherry picked from commit 130717fe58abb2ab9e7938207df0c130a2562747)

Co-authored-by: Michael Lee <michael.lee.0x2a@gmail.com>

Drop confusing commented out code in pystrtod.c (GH-6072) (GH-9587)

Fix the following warning:

Python/pystrtod.c: In function 'format_float_short':
Python/pystrtod.c:1007:13: warning: 'strncpy' output truncated before terminating nul copying 3 bytes from a string of the same length [-Wstringop-truncation]
             strncpy(p, "ERR", 3);

(cherry picked from commit 9fb84157595a385f15799e5d0729c1e1b0ba9d38)

[3.6] bpo-34320: Fix dict(o) didn't copy order of dict subclass (GH-8624) (GH-9583)

When dict subclass overrides order (`__iter__()`, `keys()`, and `items()`), `dict(o)`
should use it instead of dict ordering.

https://bugs.python.org/issue34320
(cherry picked from commit 2aaf98c16ae3070378de523a173e29644037d8bd)

Co-authored-by: INADA Naoki <methane@users.noreply.github.com>
https://bugs.python.org/issue34320

3.6.7rc1

bpo-34370: Update Tk 8.6 used with macOS installers

Have macOS 10.9+ installer builds for 3.7.1rc and 3.6.7rc use a development
snapshot of Tk 8.6 (post-8.6.8) to mitigate certain scroller issues seen
with IDLE and tkinter apps.

bpo-34162: idlelib/NEWS.txt entry for squeezer (GH-9573)

(cherry picked from commit 22ef31d0b4b497eda5e356528c3e1d29584d6757)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-1529353: IDLE: Squeezer What's New for 3.6.7 (GH-9567)

(cherry picked from commit dac712d51667227ce3862fc61be6a8094b1066fa)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-33937: Catch ENOMEM error in test_socket (GH-9557)

Fix test_socket.SendmsgSCTPStreamTest: catch ENOMEM error.
testSendmsgTimeout() and testSendmsgDontWait() randomly fail on
Travis CI with: "OSError: [Errno 12] Cannot allocate memory".
(cherry picked from commit 46f40be8b907854deb81c6132b7cb038e9e5202a)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-1529353: IDLE: squeeze large output in the shell (GH-7626)

(cherry picked from commit 604e7b9931f9e7881a2941816e538f5f15930db8)

Co-authored-by: Tal Einat <taleinat+github@gmail.com>

bpo-34770: Fix a possible null pointer dereference in pyshellext.cpp (GH-9497)

The GlobalLock() call in UpdateDropDescription() was not checked for
failure.

https://bugs.python.org/issue34770
(cherry picked from commit f6c8007a29b95b3ea3ca687a9b4924769a696328)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-34162: Update idlelib/NEWS.txt to 2018-9-24. (GH-9551)

(cherry picked from commit 16fba6231458cc1ff82db8695ee772b74131cc83)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

[3.6] bpo-34582: Update syntax of Azure Pipelines builds (GH-9521) (GH-9528)

https://bugs.python.org/issue34582

Update Azure Pipelines badge (GH-9531)

[3.6] bpo-17239: Disable external entities in SAX parser (GH-9217) (GH-9512)

The SAX parser no longer processes general external entities by default
to increase security. Before, the parser created network connections
to fetch remote files or loaded local files from the file system for DTD
and entities.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue17239.
(cherry picked from commit 17b1d5d4e36aa57a9b25a0e694affbd1ee637e45)

Co-authored-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue17239

bpo-34548: IDLE: use configured theme colors in TextView (GH-9008)

https://bugs.python.org/issue34548
(cherry picked from commit c87d9f406bb23657c1b4cd63017bb7bd7693a1fb)

Co-authored-by: Tal Einat <taleinat+github@gmail.com>

bpo-34421: Improve distutils logging for non-ASCII strings. (GH-9126) (GH-9506)

Use "backslashreplace" instead of "unicode-escape".  It is not
implementation depended and escapes only non-encodable characters.

Also simplify the code.
(cherry picked from commit 4b860fd)
(cherry picked from commit c73df53569f86d0c7742bafa55958c53d57a02e4)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

[3.6] bpo-34670: Add TLS 1.3 post handshake auth (GH-9460) (GH-9507)

Add SSLContext.post_handshake_auth and
SSLSocket.verify_client_post_handshake for TLS 1.3 post-handshake
authentication.

Signed-off-by: Christian Heimes <christian@python.org>q
https://bugs.python.org/issue34670.
(cherry picked from commit 9fb051f032c36b9f6086b79086b4d6b7755a3d70)

Co-authored-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34670

bpo-34472: Add data descriptor signature to zipfile (GH-8871) (GH-9398)

This makes streamed zips compatible with MacOS Archive Utility and
other applications.
(cherry picked from commit 4ba3b50bfe6d50cd82d208023ea23e203ab50589)

Co-authored-by: Silas Sewell <silas@sewell.org>

Fix pickletools doc for NEWFALSE. (GH-9432)

Also make docs for NEWFALSE and NEWTRUE more consistent
with docs for other opcodes.
(cherry picked from commit 488cfb78c8b81075942b5e4cc9630e7a6dd9dc28)

Co-authored-by: Krzysztof Wroblewski <krzysiek.wr@gmail.com>

[3.6] bpo-34759: Fix error handling in ssl 'unwrap()' (GH-9468) (GH-9492)

OpenSSL follows the convention that whenever you call a function, it
returns an error indicator value; and if this value is negative, then
you need to go look at the actual error code to see what happened.

Commit c6fd1c1c3a introduced a small mistake in
_ssl__SSLSocket_shutdown_impl: instead of checking whether the error
indicator was negative, it started checking whether the actual error
code was negative, and it turns out that the error codes are never
negative. So the effect was that 'unwrap()' lost the ability to raise
SSL errors.

https://bugs.python.org/issue34759.
(cherry picked from commit c0da582b227f311126e278b5553a7fa89c79b054)

Co-authored-by: Nathaniel J. Smith <njs@pobox.com>
https://bugs.python.org/issue34759

[3.6] bpo-34623: Mention CVE-2018-14647 in news entry (GH-9482) (GH-9489)

https://bugs.python.org/issue34623
(cherry picked from commit 026337a7101369297c8083047d2f3c6fc9dd1e2b)

Co-authored-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34623

Make docs of exitcode for subprocess.getstatusoutput more clear. (GH-9477)

Make it more accurate and not limited to UNIX.
(cherry picked from commit 7d161726e4ddd2b2cdd7ac58a7e9e9ea3f57a807)

Co-authored-by: Xiang Zhang <angwerzx@126.com>

bpo-34735: Fix a memory leak in Modules/timemodule.c (GH-9418)

There was a missing PyMem_Free(format) in time_strftime().
(cherry picked from commit 91e6c8717b7dcbcc46b189509de5f2d335819f37)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

closes bpo-34656: Avoid relying on signed overflow in _pickle memos. (GH-9261)

(cherry picked from commit a4ae828ee416a66d8c7bf5ee71d653c2cc6a26dd)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

Fixes tests requiring extra environment values on Windows (GH-9463)

bpo-32215: Fix performance regression in sqlite3 (GH-8511)

(cherry picked from commit 8d1e190fc507a9e304f6817e761e9f628a23cbd8)

Co-authored-by: Berker Peksag <berker.peksag@gmail.com>

bpo-19756: Prevent test failures due to EADDRNOTAVAIL (GH-9446)

(cherry picked from commit 8213eaddf3ce8e87564d2949454903a1484748b5)

Co-authored-by: Berker Peksag <berker.peksag@gmail.com>

[3.6] bpo-34542: Update test certs and keys (GH-8997) (GH-9396)

Update all test certs and keys to use future proof crypto settings:

* 3072 bit RSA keys
* SHA-256 signature

Signed-off-by: Christian Heimes <christian@python.org>.
(cherry picked from commit e6dac0077996b1e1f886f036d6f2606237fa4c85)

https://bugs.python.org/issue34542

Enables test result collection for CI builds (GH-9433)

(cherry picked from commit fd54a45f7987d5b3343c74cb49a12bd39bdad5bc)

Co-authored-by: Steve Dower <steve.dower@microsoft.com>

Ignores failure to update lists (GH-9424)

(cherry picked from commit 76531e2e82319a487d659bc469441bd4b8251608)

Co-authored-by: Steve Dower <steve.dower@microsoft.com>

bpo-34582: Adds JUnit XML output for regression tests (GH-9210)

(cherry picked from commit d0f49d2f5085ca68e3dc8725f1fb1c9674bfb5ed)

Co-authored-by: Steve Dower <steve.dower@microsoft.com>

bpo-34623: Use XML_SetHashSalt in _elementtree (GH-9146)

The C accelerated _elementtree module now initializes hash randomization
salt from _Py_HashSecret instead of libexpat's default CPRNG.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34623
(cherry picked from commit cb5778f00ce48631c7140f33ba242496aaf7102b)

Co-authored-by: Christian Heimes <christian@python.org>

bpo-32533: Fixed thread-safety of error handling in _ssl. (GH-7158)

bpo-34587, test_socket: remove RDSTest.testCongestion() (GH-9277)

The test tries to fill the receiver's socket buffer and expects an
error. But the RDS protocol doesn't require that. Moreover, the Linux
implementation of RDS expects that the producer of the messages
reduces its rate, it's not the role of the receiver to trigger an
error.

The test fails on Fedora 28 by design, so remove it.
(cherry picked from commit 7484bdfd1e2e33fdd2c44dd4ffa044aacd495337)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-34341: Fix appending to ZIP archives with the ZIP64 extension. (GH-8683)

(cherry picked from commit 9bdb7be482aef8f60daa1d36606568a132dcb616)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-33216: Improve the documentation for CALL_FUNCTION_* (GH-8338) (GH-8784)

(cherry picked from commit 5e99b56d6b249995a4fa2bc09c0bb03841f49572)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-34710: fix SSL module build (GH-9347)

Include ``openssl/dh.h`` header file to fix implicit function declaration of ``DH_free()``.

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>
(cherry picked from commit b3a271fc0ce3e13e427be8914decfc205a220ca8)

Co-authored-by: Alexandru Ardelean <ardeleanalex@gmail.com>

bpo-34610: Fixed iterator of multiprocessing.managers.DictProxy. (GH-9113)

(cherry picked from commit e0e5065daef36dafe10a46eaa8b7800274d73062)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-34603, ctypes/libffi_msvc: Fix returning structs from functions (GH-9258)

(cherry picked from commit 7843caeb909bd907e903606414e238db4082315a)

Co-authored-by: Vladimir Matveev <v2matveev@outlook.com>

Don't run AC_STRUCT_TIMEZONE twice. (GH-9305)

(cherry picked from commit a4414ef20b971e6803309acebfa85b1621ac625e)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

Change the xkcd link in comment over https. (GH-9294)

(cherry picked from commit 83df50ea5757816c7338d27f21fd18b1e79206f7)

Co-authored-by: 觉 <Xdminsy@users.noreply.github.com>

bpo-31132: Remove prlimit permission test. (GH-9280)

This test is doesn't work when the test process is privledged, which is hard to detect.

https://bugs.python.org/issue34668
(cherry picked from commit 01e0afa994c2e840f85e2de103e72a2c0ddf1b1f)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34661: Fix test skipping call. (GH-9266)

(cherry picked from commit e78734d579439861f6d7e12f35d268836b2c1e24)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

closes bpo-34661: Fix test_shutil if unzip doesn't support -t. (GH-9262)

(cherry picked from commit a710ebd21b09efe902dde84d4862ce5c6427f7af)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34200: Fix non-determinism of test_pkg (GH-9248)

This causes the tearDown code to only unimport the test modules specifically created as part of each test via the self.mkhier method rather than abusing test.support.modules_setup() and the scary test.support.modules_cleanup() code.

https://bugs.python.org/issue34200
(cherry picked from commit 4ae8ece5cd4c5853b625381db13429f25512108d)

Co-authored-by: Gregory P. Smith <greg@krypto.org>

[3.6] bpo-34652: Remove lchmod from the big func checking block. (GH-9250)

A fix for 883702ebb8bbfa749ef0040d1b58d6222bf589ee..
(cherry picked from commit ed709d5699716bf7237856dc20aba321e2dfff6d)

closes bpo-34654: Tolerate + at the beginning of large years. (GH-9238)

(cherry picked from commit e1a34ceb541ef87e03bb428630097dacc9c658e5)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

closes bpo-34652: Always disable lchmod on Linux. (GH-9234)

(cherry picked from commit 40caa05fa4d1810a1a6bfc34e0ec930c351089b7)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

[3.6] closes bpo-34650: Check if sched_getscheduler returns ENOSYS before declaring it supported. (GH-9237)

musl doesn't support the scheduler API, but declares stubs that alway return ENOSYS..
(cherry picked from commit c7042224b8a67748f125c22836862483f81a87a6)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34649: Add missing NULL checks to _encoded_const() (GH-9225)

Reported by Svace static analyzer.
(cherry picked from commit 6f82bffd2df63a4072b3f0483cdbe93ddedb87e9)

Co-authored-by: Alexey Izbyshev <izbyshev@ispras.ru>

closes bpo-34004: Skip lock interruption tests on musl. (GH-9224)

Returning EINTR from pthread semaphore or lock acquisition is an optional POSIX
feature. musl does not provide this feature, so some threadsignal tests fail
when Python is built against it.

There's no good way to test for musl, so we skip if we're on Linux and not using
glibc pthreads.

Also, hedge in the threading documentation about when we can provide interrupts
from lock acquisition.
(cherry picked from commit 5b10d5111d7a855297654af9045f8907b7d3dd08)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

closes bpo-31903: Release the GIL when calling into SystemConfiguration (GH-4178)

(cherry picked from commit 4859ba0d2ce4506fddc3f55f90f8dce031b3804f)

Co-authored-by: Max Bélanger <aeromax@gmail.com>

[3.6] closes bpo-25041: Document AF_PACKET socket address format. (GH-9209)

(cherry picked from commit 731ff68eeef58babdf2b32dc9a73b141760c2be9)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

Delete old expat comment. (GH-9197)

(cherry picked from commit b9bf9d025e659b5a1963027eb73690e57cb35dd0)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34405: Update to OpenSSL 1.0.2p for macOS installer builds (GH-9191)

bpo-34365: Update date object documentation (GH-8814)

Python 3.x does not fall back to comparing object addresses when comparing two `dt` objects.

<!-- issue-number: [bpo-34365](https://www.bugs.python.org/issue34365) -->
https://bugs.python.org/issue34365
<!-- /issue-number -->
(cherry picked from commit 9c223794c754408644c16349b85dd27fdba8a926)

Co-authored-by: Danish Prakash <grafitykoncept@gmail.com>

Update VSTS to Azure DevOps and simplify dependencies (GH-9168)

[3.6] closes bpo-31608: Fix a crash in methods of a subclass of _collections.deque with a bad __new__(). (GH-9178)

(cherry picked from commit 24bd50bdcc97d65130c07d6cd26085fd06c3e972)

Co-authored-by: Oren Milman <orenmn@gmail.com>

bpo-34613: document the correct value of limit argument of asyncio.StreamReader (GH-9121)

The default value of asyncio.StreamReader *limit* is `_DEFAULT_LIMIT` instead of `None`.

<!-- issue-number: [bpo-34613](https://www.bugs.python.org/issue34613) -->
https://bugs.python.org/issue34613
<!-- /issue-number -->
(cherry picked from commit b4ec36200a959da70eba94c19826446a8efdffdd)

Co-authored-by: Bram <cortex@worlddomination.be>

bpo-28617 Fixed docs inaccuracies about the types that support membership tests (GH-9086)

<!-- issue-number: [bpo-28617](https://www.bugs.python.org/issue28617) -->
https://bugs.python.org/issue28617
<!-- /issue-number -->
(cherry picked from commit 08bcf647d8a92e4bd47531588b284c6820b7a7ef)

Co-authored-by: wim glenn <wim.glenn@gmail.com>

Fix Tools/gdb/libpython.py

Backport https://github.com/python/cpython/commit/11659d00b9185c8f02ea6b642fa475a80e21f1a9
into this change instead of leaving it a separate followup change.

bpo-32270: Don't close stdin/out/err in pass_fds (GH-6242) (GH-9149)

When subprocess.Popen() stdin= stdout= or stderr= handles are specified
and appear in pass_fds=, don't close the original fds after dup'ing them.

This implementation and unittest primarily came from @izbyshev (see the PR)

See also https://github.com/izbyshev/cpython/commit/b89b52f28490b69142d5c061604b3a3989cec66c

This also removes the old manual p2cread, c2pwrite, and errwrite closing logic
as inheritable flags and _close_open_fds takes care of that properly today without special treatment.

This code is within child_exec() where it is the only thread so there is no
race condition between the dup and _Py_set_inheritable_async_safe call.
(cherry picked from commit ce34410b8b67f49d8275c05d51b3ead50cf97f48)

Co-authored-by: Gregory P. Smith <greg@krypto.org> [Google]

bpo-34625: Update vendorized expat version to 2.2.6. (GH-9158)

(cherry picked from commit 5033aa77aacaa5505636f150e8d54baac5bdca9c)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

Fix missing line from example shell session (GH-9143) (GH-9156)

(cherry picked from commit 2064bb6d576ff7016d59318038779f428b0f0f3f)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

closes bpo-34525: Fix smtplib's authobject() documentation (GH-8965)

(cherry picked from commit 78deb7f33227972987722bc3fed5bcb45fae869e)

Co-authored-by: Sebastian Rittau <srittau@rittau.org>

[3.6] Fix misleading mentions of tp_size in comments (GH-9137)

Many type object initializations labeled a field "tp_size" in the
comment, but the name of that field is tp_basicsize..
(cherry picked from commit 0e0bc4e221f592f305d335faf5f8046484eb9238)

Co-authored-by: Peter Eisentraut <peter@eisentraut.org>

bpo-23855: Add missing NULL checks for malloc() in _msi.c (GH-9038)

(cherry picked from commit 4e519377b1b84c9414a360961276993d24198825)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-34588: Fix an off-by-one error in traceback formatting. (GH-9077)

The recursive frame pruning code always undercounted the number of elided frames
by one. That is, in the "[Previous line repeated N more times]" message, N would
always be one too few. Near the recursive pruning cutoff, one frame could be
silently dropped. That situation is demonstrated in the OP of the bug report.

The fix is to start the identical frame counter at 1.
(cherry picked from commit d545869d084e70d4838310e79b52a25a72a1ca56)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

Test dict values iterator pickling with pickle.HIGHEST_PROTOCOL. (GH-9052)

(cherry picked from commit 1f36bf6077d93cb43fd84bea4a8a625fa772d1fa)

Co-authored-by: Sergey Fedoseev <fedoseev.sergey@gmail.com>

Revert "Fix misindented yaml in logging how to example (GH-8604)" (GH-9081)

This reverts commit 10b59f1b019cd00c940dd7f4a74c4f667a20f25f.
(cherry picked from commit 290a60bd8af7b1d7e7931aa4dd4eace60d355d76)

Co-authored-by: Rémy HUBSCHER <hubscher.remy@gmail.com>

[3.6] bpo-34604: Fix possible mojibake in pwd.getpwnam() and grp.getgrnam() (GH-9098) (GH-9105)

Pass the user/group name as Unicode to the formatting function,
instead of always decoding a bytes string from UTF-8..
(cherry picked from commit 28658485a54ad5f9df52ecc12d9046269f1654ec)

Co-authored-by: William Grzybowski <wg@FreeBSD.org>

bpo-34421 avoid unicode error in distutils logging (GH-8799)

This caused installation errors in some cases on Windows.
Patch by Julien Malard.
(cherry picked from commit 0afada163c7ef25c3a9d46ed445481fb69f2ecaf)

Co-authored-by: Julien Malard <julien.malard@mail.mcgill.ca>

[3.6] bpo-34246: Use no mutable default args in smtplib (GH-8554) (#9112)

Some methods of the SMTP class use mutable default arguments. Specially
`send_message` is affected as it mutates one of the args by appending items
to it, which has side effects on further calls..
(cherry picked from commit d5fbe9b1a3d65ceeb9159c5ba999ee966a945f76)

Co-authored-by: Pablo Aguiar <scorphus@gmail.com>

[3.6] bpo-34007: Skip traceback tests if the Program Counter is not available. (GH-9022)

Sometimes some versions of the shared libraries that are part of the
traceback are compiled in optimised mode and the Program Counter (PC)
is not present, not allowing gdb to walk the frames back. When this
happens, the Python bindings of gdb raise an exception, making the
test impossible to succeed.
(cherry picked from commit f2ef51f8bec525b21e52988880c8a029642795ed)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

[3.6] bpo-34594: Don't hardcode errno values in the tests. (GH-9096)

(cherry picked from commit b03c2c51909e3b5b5966d86a2829b5ddf2d496aa)

[3.6] bpo-34563: Fix for invalid assert on big output of multiprocessing.Process (GH-9027) (GH-9069)

Fix for invalid assert on big output of multiprocessing.Process.

(cherry picked from commit 266f4904a222a784080e29aad0916849e507515d)

bpo-25750: fix refcounts in type_getattro() (GH-6118) (GH-9088)

When calling tp_descr_get(self, obj, type), make sure that
we own a strong reference to "self".
(cherry picked from commit 8f735485acf2e35a75d2fa019feb8f905598c4e5)

Co-authored-by: jdemeyer <jdemeyer@cage.ugent.be>

[3.7] bpo-26544: Get rid of dependence from distutils in platform. (GH-8356) (GH-8970) (GH-9061)

(cherry picked from commit 7d81e8f5995df6980a1a02923e224a481375f130)
(cherry picked from commit 20a8392cec2967f15ae81633c1775645b3ca40da)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-34530: Fix distutils find_executable() (GH-9049) (GH-9057)

distutils.spawn.find_executable() now falls back on os.defpath if the
PATH environment variable is not set.
(cherry picked from commit 39487196c87e28128ea907a0d9b8a88ba53f68d5)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

[3.6] bpo-34575: Build with only VS2015 on AppVeyor (GH-9066)

Remove VS2017 image from AppVeyor config.

We're currently having caching issues between the two images, and VS2017 builds are tested by VSTS.  Removing that one here will significantly decrease the time that AppVeyor builds take on this branch.

Fix struct sequence glossary entry grammar (GH-9030)

... by removing a superfluous "either".

Reported by Никита Люшненко on docs@.
(cherry picked from commit 98b976a2f82ba5f50cf6846338f644ca6c64f47d)

Co-authored-by: Zachary Ware <zachary.ware@gmail.com>

Add VSTS status badge to readme (GH-8958)