Roll up news for 2.7.17rc1.

[2.7] bpo-38216, bpo-36274: Allow subclasses to separately override validation and encoding behavior (GH-16476)

Backporting this change, I observe a couple of things:

1. The _encode_request call is no longer meaningful because the request construction will implicitly encode the request using the default encoding when the format string is used (request = '%s %s %s'...). In order to keep the code as consistent as possible, I decided to include the call as a pass-through. I'd be just as happy to remove it entirely, but I'll leave that up to the reviewer to decide. It's okay that this functionality is disabled on Python 2 because this functionality was mainly around bpo-36274, which was mainly a concern with the transition to Python 3.
2. Because _encode_request is no longer meaningful, neither is the test for it, so I've removed that test. Therefore, the meaningful part of this test is that for bpo-38216, adding a (underscore-protected) hook to customize/disable validation.

(cherry picked from commit 7774d7831e8809795c64ce27f7df52674581d298)

Co-authored-by: Jason R. Coombs <jaraco@jaraco.com>

[2.7] bpo-37664: Update ensurepip bundled wheels, again (GH-16633)

(cherry picked from commit 10c452b894d95fed06056fe11e8fe8e1a2a60040)

Co-authored-by: Pradyun Gedam <pradyunsg@gmail.com>

bpo-38106: Fix race in pthread PyThread_release_lock() (GH-16047)

Fix race in PyThread_release_lock that was leading to memory corruption and
deadlocks. The fix applies to POSIX systems where Python locks are implemented
with mutex and condition variable because POSIX semaphores are either not
provided, or are known to be broken. One particular example of such system is
macOS.

On Darwin, even though this is considered as POSIX, Python uses
mutex+condition variable to implement its lock, and, as of 2019-08-28, Py2.7
implementation, even though similar issue was fixed for Py3 in 2012, contains
synchronization bug: the condition is signalled after mutex unlock while the
correct protocol is to signal condition from under mutex:

  https://github.com/python/cpython/blob/v2.7.16-127-g0229b56d8c0/Python/thread_pthread.h#L486-L506
  https://github.com/python/cpython/commit/187aa545165d (py3 fix)

PyPy has the same bug for both pypy2 and pypy3:

  https://bitbucket.org/pypy/pypy/src/578667b3fef9/rpython/translator/c/src/thread_pthread.c#lines-443:465
  https://bitbucket.org/pypy/pypy/src/5b42890d48c3/rpython/translator/c/src/thread_pthread.c#lines-443:465

Signalling condition outside of corresponding mutex is considered OK by
POSIX, but in Python context it can lead to at least memory corruption if we
consider the whole lifetime of python level lock. For example the following
logical scenario:

      T1                                          T2

  sema = Lock()
  sema.acquire()

                                              sema.release()

  sema.acquire()
  free(sema)

  ...

can translate to the next C-level calls:

      T1                                          T2

  # sema = Lock()
  sema = malloc(...)
  sema.locked = 0
  pthread_mutex_init(&sema.mut)
  pthread_cond_init (&sema.lock_released)

  # sema.acquire()
  pthread_mutex_lock(&sema.mut)
  # sees sema.locked == 0
  sema.locked = 1
  pthread_mutex_unlock(&sema.mut)

                                              # sema.release()
                                              pthread_mutex_lock(&sema.mut)
                                              sema.locked = 0
                                              pthread_mutex_unlock(&sema.mut)

                      # OS scheduler gets in and relinquishes control from T2
                      # to another process
                                              ...

  # second sema.acquire()
  pthread_mutex_lock(&sema.mut)
  # sees sema.locked == 0
  sema.locked = 1
  pthread_mutex_unlock(&sema.mut)

  # free(sema)
  pthread_mutex_destroy(&sema.mut)
  pthread_cond_destroy (&sema.lock_released)
  free(sema)

  # ...
  e.g. malloc() which returns memory where sema was

                                              ...
                      # OS scheduler returns control to T2
                      # sema.release() continues
                      #
                      # BUT sema was already freed and writing to anywhere
                      # inside sema block CORRUPTS MEMORY. In particular if
                      # _another_ python-level lock was allocated where sema
                      # block was, writing into the memory can have effect on
                      # further synchronization correctness and in particular
                      # lead to deadlock on lock that was next allocated.
                                              pthread_cond_signal(&sema.lock_released)

Note that T2.pthread_cond_signal(&sema.lock_released) CORRUPTS MEMORY as it
is called when sema memory was already freed and is potentially
reallocated for another object.

The fix is to move pthread_cond_signal to be done under corresponding mutex:

  # sema.release()
  pthread_mutex_lock(&sema.mut)
  sema.locked = 0
  pthread_cond_signal(&sema.lock_released)
  pthread_mutex_unlock(&sema.mut)

To do so this patch cherry-picks thread_pthread.h part of the following 3.2 commit:

commit 187aa545165d8d5eac222ecce29c8a77e0282dd4
Author: Kristján Valur Jónsson <kristjan@ccpgames.com>
Date:   Tue Jun 5 22:17:42 2012 +0000

    Signal condition variables with the mutex held.  Destroy condition variables
    before their mutexes.

 Python/ceval_gil.h      |  9 +++++----
 Python/thread_pthread.h | 15 +++++++++------
 2 files changed, 14 insertions(+), 10 deletions(-)

(ceval_gil.h is Python3 specific and does not apply to Python2.7)

The bug was there since 1994 - since at least [1]. It was discussed in 2001
with original code author[2], but the code was still considered to be
race-free. In 2010 the place where pthread_cond_signal should be - before or
after pthread_mutex_unlock - was discussed with the rationale to avoid
threads bouncing[3,4,5], and in 2012 pthread_cond_signal was moved to be
called from under mutex, but only for CPython3[6,7].

In 2019 the bug was (re-)discovered while testing Pygolang[8] on macOS with
CPython2 and PyPy2 and PyPy3.

[1] https://github.com/python/cpython/commit/2c8cb9f3d240
[2] https://bugs.python.org/issue433625
[3] https://bugs.python.org/issue8299#msg103224
[4] https://bugs.python.org/issue8410#msg103313
[5] https://bugs.python.org/issue8411#msg113301
[6] https://bugs.python.org/issue15038#msg163187
[7] https://github.com/python/cpython/commit/187aa545165d
[8] https://pypi.org/project/pygolang

(cherry picked from commit 187aa545165d8d5eac222ecce29c8a77e0282dd4)

Co-Authored-By: Kristján Valur Jónsson <kristjan@ccpgames.com>

[2.7] bpo-38338, test.pythoninfo: add more ssl infos (GH-16543)

test.pythoninfo now logs environment variables used by OpenSSL and
Python ssl modules, and logs attributes of 3 SSL contexts
(SSLContext, default HTTPS context, stdlib context).

(cherry picked from commit 1df1c2f8df53d005ff47af81aa02c58752b84e20)

[2.7] bpo-38243: Escape the server title of DocXMLRPCServer (GH-16447)

Escape the server title of DocXMLRPCServer.DocXMLRPCServer
when rendering the document page as HTML.

[2.7] bpo-38301: In Solaris family, we must be sure to use '-D_REENTRANT' (GH-16446). (#16454)

(cherry picked from commit 52d1b86bde2b772a76919c76991c326384954bf1)

Co-authored-by: Jesús Cea <jcea@jcea.es>

bpo-38174 follow up: Remove loadlibrary.c from VS9.0. (GH-16411)

[2.7] closes bpo-38174: Update vendored expat library to 2.2.8. (GH-16408)

Fixes CVE-2019-15903. See full changelog at https://github.com/libexpat/libexpat/blob/R_2_2_8/expat/Changes..
(cherry picked from commit 52b940803860e37bcc3f6096b2d24e7c20a0e807)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

closes bpo-38253: Fix typo of Py_SET_ERANGE_IF_OVERFLOW in pyport.h. (GH-16230)

(cherry picked from commit 4346bad3321699d49a45e3446270b57726ab5c8f)

Co-authored-by: Hai Shi <shihai1992@gmail.com>

bpo-37904: Edition on python tutorial - section 4 (GH-16169) (GH-16236)

A little change on first paragraph of python tutorial to be more clearly

https://bugs.python.org/issue37904

Automerge-Triggered-By: @ericvsmith
(cherry picked from commit b57481318e3e3cbacd398b898f9849ec8f2d7eec)

Co-authored-by: Diego Alberto Barriga Martínez <diegobarriga@protonmail.com>

[2.7] bpo-38175: Fix a memory leak in comparison of sqlite3.Row objects. (GH-16155). (GH-16215)

(cherry picked from commit 8debfa50407107ff2329d01081cdc12d359f1d12)

bpo-33936: Don't call obsolete init methods with OpenSSL 1.1.0+ (GH-16140)

``OPENSSL_VERSION_1_1`` was never defined in ``_hashopenssl.c``.

https://bugs.python.org/issue33936
(cherry picked from commit 724f1a57231f9287c37255adf0e4364d12cf693d)

Co-authored-by: Christian Heimes <christian@python.org>

bpo-38117: Updates bundled OpenSSL to 1.0.2t (GH-16178)

[2.7] bpo-38168: Fix a possbile refleak in setint() of mmapmodule.c (GH-16136) (GH-16176)

(cherry picked from commit 56a4514)

Co-authored-by: Hai Shi shihai1992@gmail.com
https://bugs.python.org/issue38168

bpo-38117: Updated OpenSSL to 1.0.2t in macOS installer for 2.7.x. (GH-16171)

[2.7] bpo-34155: Dont parse domains containing @ (GH-13079) (GH-16006)

This change skips parsing of email addresses where domains include a "@" character, which can be maliciously used since the local part is returned as a complete address.

(cherry picked from commit 8cb65d1381b027f0b09ee36bfed7f35bb4dec9a9)

Excludes changes to Lib/email/_header_value_parser.py, which did not
exist in 2.7.

Co-authored-by: jpic <jpic@users.noreply.github.com>
https://bugs.python.org/issue34155

[2.7] bpo-35264: Modules/_ssl.c: fix build with OpenSSL 1.1.0 (GH-10570)

Fixes a build error with OpenSSL 1.1.0. There is already code in the
`_ssl.c` that handles all the weird cases of the NPN config macros (with
various OpenSSL & LibreSSL versions).
That code will provide a HAVE_NPN variable, which should be used in the
rest of the code to check whether (or what) to compile regarding NPN.

This change adds HAVE_NPN in the remaining places where it should have been
placed.

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>
https://bugs.python.org/issue35264

closes bpo-36712: Fix duplicate method in Lib/email/test/test_email_renamed.py. (GH-14800)

closes bpo-36711: Remove duplicate method in Lib/email/feedparser.py. (GH-14801)

bpo-37445: Include FORMAT_MESSAGE_IGNORE_INSERTS in FormatMessageW() calls (GH-15822)

If FormatMessageW() is passed the FORMAT_MESSAGE_FROM_SYSTEM flag
without FORMAT_MESSAGE_IGNORE_INSERTS, it will fail if there are
insert sequences in the message definition.
(cherry picked from commit a656365)

[2.7] bpo-36502: Update link to UAX GH-44, the Unicode doc on the UCD. (GH-15808)

The link we have points to the version from Unicode 6.0.0, dated 2010.
There have been numerous updates to it since then:
  https://www.unicode.org/reports/tr44/GH-Modifications

Change the link to one that points to the current version. Also, use HTTPS..
(cherry picked from commit 64c6ac74e254d31f93fcc74bf02b3daa7d3e3f25)

Co-authored-by: Greg Price <gnprice@gmail.com>

[2.7] bpo-34410: Fix a crash in the tee iterator when re-enter it. (GH-15625) (GH-15740)

RuntimeError is now raised in this case.
(cherry picked from commit 526a01467b3277f9fcf7f91e66c23321caa1245d)

closes bpo-37965: Fix compiler warning of distutils CCompiler.test_function. (GH-15560)

https://bugs.python.org/issue37965

https://bugs.python.org/issue37965

Automerge-Triggered-By: @benjaminp
(cherry picked from commit 55aabee07501e1468082b3237620e4ecd75c5da6)

Co-authored-by: Anonymous Maarten <madebr@users.noreply.github.com>

bpo-34521: Fix FD transfer in multiprocessing on FreeBSD (GH-15422)

Fix file descriptors transfer in multiprocessing on FreeBSD: use
CMSG_SPACE() rather than CMSG_LEN(); see RFC 3542.

test_multiprocessing removes temporary files (GH-15421)

(cherry picked from commit d0b10a64351069aa9246d40cb8bd207cc9209cee)

bpo-37823: Fix open() link in telnetlib doc (GH-15281)

Fixed wrong link to Telnet.open() method in telnetlib documentation.
(cherry picked from commit e0b6117e2723327d6741d0aa599408514add5b30)

Co-authored-by: Michael Anckaert <michael.anckaert@sinax.be>

bpo-35518: Skip test that relies on a deceased network service. (GH-15349)

If this service had thoroughly vanished, we could just ignore the
test until someone gets around to either recreating such a service
or redesigning the test to somehow work locally.  The
`support.transient_internet` mechanism catches the failure to
resolve the domain name, and skips the test.

But in fact the domain snakebite.net does still exist, as do its
nameservers -- and they can be quite slow to reply.  As a result
this test can easily take 20-30s before it gets auto-skipped.

So, skip the test explicitly up front.
(cherry picked from commit 5b95a1507e349da5adae6d2ab57deac3bdd12f15)

Co-authored-by: Greg Price <gnprice@gmail.com>

[2.7] bpo-37730: Fix usage of NotImplemented instead of NotImplementedError in docs. (GH-15062). (GH-15133)

(cherry picked from commit ed5e8e06cbf766e89d6c58a882ee024abb5b2ed7)

Co-authored-by: David H <dheiberg@mozilla.com>

closes bpo-37675: Use pkgutil.iter_modules to find fixers in a package rather than listdir. (14942)

(cherry picked from commit 93e8aa62cfd0a61efed4a61a2ffc2283ae986ef2)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34369: make kqueue.control() docs better reflect that timeout is positional-only (GH-9499)

(cherry picked from commit 79042ac4348ccc09344014f20dd49401579f8795)

Co-authored-by: Tal Einat <taleinat@gmail.com>

Document default parameter of .seek() in the signature. (GH-14691)

(cherry picked from commit 2a3d4d9c53dd4831c3ecf56bc7c4a289c33030d6)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-37513: Change ValueError to TypeError in an example in ctypes doc (GH-14615)

(cherry picked from commit f6cdd3ff687ebbf8209d793a18a042ea495c4aeb)

Co-authored-by: Hai Shi <shihai1992@gmail.com>

bpo-37487: Fix PyList_GetItem index description. (GH-14623) (GH-14626)

0 is a legal index.
(cherry picked from commit f8709e804d16ec5d44b1d2f00d59a0f78df7b792)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-37149: Replace dead link for online Tkinter reference  (GH-14616)

Also fix a name misspelling.
(cherry picked from commit 45bc61b97178b27ae05bd3eb95481bf0325795bb)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

Put pyexpatns.h include back. bpo-37437 (GH-14539)

(cherry picked from commit 2cd07920bb7d2d319999394092190f37935dc421)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-19960: Fix building of zlib on macOS without installed headers (GH-14257)

When building 2.7 on macOS without system header files installed in
``/usr/include``, a few extension modules dependent on system-supplied
third-party libraries were not being built, most notably zlib.
This situation arose in the past when building without the Command
Line Tools and the option to install header files in the traditional
system locations (like /usr/include).  As of macOS 10.14, the
header files are only available in an SDK so the problem addressed
here affects most 2.7 builds.

[2.7] bpo-30754: Document textwrap.dedent blank line behavior. (GH-14469) (GH-14475)

* Added documentation for textwrap.dedent behavior.
(cherry picked from commit eb97b9211e7c99841d6cae8c63893b3525d5a401)

Co-authored-by: tmblweed <tmblweed@users.noreply.github.com>
https://bugs.python.org/issue30754

[2.7] bpo-37329: valgrind: ignore _PyWarnings_Init false alarms (GH-14202)

_PyWarnings_Init() only allocates memory once at startup but it is
not released at exit. Ignore this issue to be able to catch other
bugs more easily.

closes bpo-37437: Update vendorized expat to 2.2.7. (GH-14436)

(cherry picked from commit 3b03b09fc94425915c5b1225e9200a3a95bc827b)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

[2.7] bpo-37411: Rewrite test_wsgiref.testEnviron() (GH-14394) (GH-14404)

Fix test_wsgiref.testEnviron() to no longer depend on the environment
variables (don't fail if "X" variable is set).

testEnviron() now overrides os.environ to get a deterministic
environment. Test full TestHandler.environ content: not only a few
selected variables.
(cherry picked from commit 5150d327924959639215ed0a78feffc0d88258da)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-37396, PCbuild: Include "_d" in "Killing any running ..." message (GH-14370)

Add $(PyDebugExt) in "Killing any running python$(PyDebugExt).exe
instances...".

bpo-35360: Update Windows builds to use SQLite 3.28.0 (GH-14182)

bpo-37124: Fix reference leak in test_msilib (GH-13750) (GH-14340)

(cherry picked from commit c0295dba259accc4b247beb22a0b2cc2f31d9850)

bpo-37359: Add --cleanup option to python3 -m test (GH-14332) (GH-14333)

* regrtest: Add --cleanup option to remove "test_python_*" directories
  of previous failed test jobs.
* Add "make cleantest" to run "python -m test --cleanup".

(cherry picked from commit 47fbc4e45b35b3111e2d947a66490a43ac21d363)

Improve threading.daemon docstring (GH-14278)

Rephrase and clarify that "the entire Python program exits when only daemon threads are left". This matches the documentation at https://docs.python.org/3/library/threading.htmlGH-thread-objects.
(cherry picked from commit bb110cc2ed81447fb48805f31146cf31323a8fc3)

Co-authored-by: mbarkhau <mbarkhau@gmail.com>

bpo-37362: test_gdb now ignores stderr (GH-14287) (GH-14297)

test_gdb no longer fails if it gets an "unexpected" message on
stderr: it now ignores stderr. The purpose of test_gdb is to test
that python-gdb.py commands work as expected, not to test gdb.

(cherry picked from commit e56a123fd0acaa295a28b98d2e46d956b97d1263)

bpo-36231: Support building on macOS without /usr/include (GH-13773) (GH-14256)

[2.7] Fix name of '\0'. (GH-14225)

'\0' is the NUL byte not NULL..
(cherry picked from commit 7821b4c6d29933511d50bb42255e39790c6abf00)

bpo-34631: Updated OpenSSL to 1.0.2s in macOS installer. (GH-14198)

[2.7] bpo-35360: Update macOS installer to use SQLite 3.28.0 (GH-14183)

[2.7] Update link in colorsys docs to be https (GH-14062) (GH-14110)

bpo-34631: Updated OpenSSL to 1.0.2s in Windows installer (GH-14161)

[2.7] Fix 2.7 test -R test_IDLE failure on Windows (GH-13958)

Cherry-picked from 66d47da.

[2.7] bpo-35647: Fix path check in cookiejar. (GH-11436) (GH-13427)

[2.7] bpo-35121: prefix dot in domain for proper subdomain validation (GH-10258) (GH-13426)

This is a manual backport of ca7fe5063593958e5efdf90f068582837f07bd14 since 2.7 has `http.cookiejar` in `cookielib`

https://bugs.python.org/issue35121

[2.7] bpo-36742: Fix urlparse.urlsplit() error message for Unicode URL (GH-13937)

If urlparse.urlsplit() detects an invalid netloc according to NFKC
normalization, the error message type is now str rather than unicode,
and use repr() to format the URL, to prevent <exception str() failed>
when display the error message.

[2.7] bpo-34836: fix test_default_ecdh_curve, needs no tlsv1.3. (GH-9626)

Signed-off-by: Dimitri John Ledkov <xnox@ubuntu.com>
https://bugs.python.org/issue34836

[2.7] bpo-37188: Fix a divide-by-zero in arrays of size-0 objects (#13906)

[2.7] bpo-37170: Fix the cast on error in PyLong_AsUnsignedLongLongMask() (GH-13860) (GH-13898)

(cherry picked from commit dc2476500d91082f0c907772c83a044bf49af279)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

[2.7] bpo-37177: make IDLE's search dialogs transient (GH-13869)

This avoids the search dialogs being hidden behind the editor window.

(cherry picked from commit 554450fb4e95066e825bdb4a2d544a490daeebdc)

Update outdated reference to Mercurial (GH-12857)

Doc: Python 3.9 in sidebar and version switcher. (GH-13824)

(cherry picked from commit 59e7bbcaa4d0d556591f774c5ea4869c41fa95b0)

Co-authored-by: Julien Palard <julien@palard.fr>

bpo-36742: Corrects fix to handle decomposition in usernames (GH-13812)

Fix variable name copy/paste error in build-installer.py (GH-13038)

(cherry picked from commit d337169156933eaf732566bf29eb968549ada5e8)

Co-authored-by: cclauss <cclauss@me.com>

[2.7] bpo-12639: msilib.Directory.start_component() fails if *keyfile* is not None (GH-13688)

* bpo-12639: msilib.Directory.start_component() fails if *keyfile* is not None (GH-13688)

msilib.Directory.start_component() was passing an extra argument to CAB.gen_id().
(cherry picked from commit c8d5bf6c3fa09b43f6a5ee779d493d251dbcc53c)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

[2.7] bpo-33071: remove outdated PyPI docs (GH-13087) (GH-13584)

Patch by Kojo Idrissa.
(cherry picked from commit 1b4abcf302ff2c8f4d4881294510d48ba5186b53)

Co-authored-by: Kojo Idrissa <kojoidrissa@users.noreply.github.com>
https://bugs.python.org/issue33071

[2.7] bpo-33006 - Correct filter doc string to clarify 2nd argument can be iterable (GH-6015)

https://bugs.python.org/issue33006

bpo-26423: Fix test_descr.test_wrap_lenfunc_bad_cast() on 32-bit Windows (GH-13629)

Skip the test if xrange(sys.maxsize) raises an OverflowError.

bpo-26423: Fix possible overflow in wrap_lenfunc() (GH-13606) (GH-13625)

Fix possible overflow in wrap_lenfunc() when
sizeof(long) < sizeof(Py_ssize_t) (e.g., 64-bit Windows).

(cherry picked from commit 05f16416d99dc9fc76fef11e56f16593e7a5955e)

bpo-35907: Clarify the NEWS entry (GH-13557)

bpo-36713: Rename duplicated method in test_unicode. (#13525)

modified:   Lib/ctypes/test/test_unicode.py
  modified:   Misc/ACKS
  new file:   Misc/NEWS.d/next/Library/2019-05-23-15-57-36.bpo-36713.sjPhnf.rst

bpo-35907: Complete test_urllib.test_local_file_open() (GH-13506)

Test also URLopener().open(), URLopener().retrieve(), and
DummyURLopener().retrieve().

bpo-35907, CVE-2019-9948: urllib rejects local_file:// scheme  (GH-11842)

 CVE-2019-9948: Avoid file reading as disallowing the unnecessary URL scheme in urllib.urlopen().

bpo-30458: Disallow control chars in http URLs (GH-12755) (GH-13154) (GH-13315)

Disallow control chars in http URLs in urllib2.urlopen.  This
addresses a potential security problem for applications that do not
sanity check their URLs where http request headers could be injected.

Disable https related urllib tests on a build without ssl (GH-13032)
These tests require an SSL enabled build. Skip these tests when
python is built without SSL to fix test failures.

Use httplib.InvalidURL instead of ValueError as the new error case's
exception. (GH-13044)

Backport Co-Authored-By: Miro Hrončok <miro@hroncok.cz>

(cherry picked from commit 7e200e0763f5b71c199aaf98bd5588f291585619)

Notes on backport to Python 2.7:

* test_urllib tests urllib.urlopen() which quotes the URL and so is
  not vulerable to HTTP Header Injection.
* Add tests to test_urllib2 on urllib2.urlopen().
* Reject non-ASCII characters: range 0x80-0xff.

[2.7] Update idlelib NEWS.txt for 2.7 (GH-13436)

closes bpo-36951: Correct some types in the type_members struct in typeobject.c. (GH-13403)

(cherry picked from commit 53d378c81286644138415cb56da52a7351e1a477)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

closes bpo-36755: Suppress noisy error output in test HTTPS server by default. (GH-13370)

TLS 1.3 has a more efficient handshake protocol. The client can reject the server's credentials and close the connection before the server has even finished writing out all of its initial data. Depending on whether the server finishes writing the rest of its handshake before the it sees the connection is reset, the server will read an empty line or see a ECONNRESET OSError. Nothing is really wrong here with the server or client, so just suppress the error output in the OSError case to fix the test.

This fix isn't required in Python 3 because clients that reject the server's certificate will shut down the TLS layer before closing the TCP connection.

bpo-27987: pymalloc: align by 16bytes on 64bit platform (GH-12850) (GH-13319)

(cherry picked from commit f0be4bbb9b3cee876249c23f2ae6f38f43fa7495)

[2.7] bpo-36807: When saving a file in IDLE, call flush and fsync (GH-13102) (GH-13293)

[2.7] bpo-35925: Skip SSL tests that fail due to weak external certs or old TLS (GH-13124) (GH-13253)

Modern Linux distros such as Debian Buster have default OpenSSL system
configurations that reject connections to servers with weak certificates
by default. This causes our test suite run with external networking
resources enabled to skip these tests when they encounter such a
failure.

Fixing the network servers is a separate issue.
(cherry picked from commit 2cc0223)

Changes to test_ssl.py required as 2.7 has legacy protocol tests.

The test_httplib.py change is omitted from this backport as
self-signed.pythontest.net's certificate was updated and the
test_nntplib.py change is not applicable on 2.7.

Authored-by: Gregory P. Smith greg@krypto.org

[2.7] closes bpo-14353: Fix detection of bind_textdomain_codeset in libintl. (GH-13265)

In Python-2.7, we were only searching for bind_textdomain_codeset in
libc.  We should have also checked for it in libintl.  This change from
Mel Flynn https://bugs.python.org/file24918/python27-configure.in.patch
fixes that.

[2.7] bpo-36816: Update the self-signed.pythontest.net cert (GH-13192) (GH-13199)

* [2.7] bpo-36816: Update the self-signed.pythontest.net cert (GH-13192)

We updated the server, our testsuite must match.

https://bugs.python.org/issue36816

✈️ CLE -> DEN ✈️ #pycon2019 #beyonce
(cherry picked from commit 6bd81734de0b73f1431880d6a75fb71bcbc65fa1)

The 2.7 tree also needed a certificate in the capath directory updated.
The filename for that was determined by `openssl x509 -in $cert.pem -subject_hash`.

Authored-by: Gregory P. Smith <greg@krypto.org>

[2.7] bpo-24712: Doc: Make sidebar sticky using browser support. (GH-13179)

Patch by Mike Taylor.

[2.7] bpo-14546: Fix the argument handling in Tools/scripts/lll.py (GH-13026) (GH-13063)

(cherry picked from commit c4e78b116f9a4299f3b3bfbbd18ef49782bb1143)

Change bisect to bisect_cmd in docstring (GH-13040)

(cherry picked from commit 11e4a941e9c6225776a986b05230a1963e83f4fb)

Co-authored-by: Xtreak <tir.karthi@gmail.com>

bpo-36742: Fixes handling of pre-normalization characters in urlsplit() (GH-13017)

closes bpo-35329: Change 'Package' to 'package' in accordance with PEP8. (GH-13008)

(cherry picked from commit ee0309f3d83ab9ffa02542bcf45ece84f4fb265e)

Co-authored-by: Utkarsh Gupta <guptautkarsh2102@gmail.com>

bpo-35952: Sync test.pythoninfo from master (GH-13010)

bpo-28552: Fix distutils.sysconfig for empty sys.executable (GH-12875) (GH-12949)

bpo-28552, bpo-7774: Fix distutils.sysconfig if sys.executable is
None or an empty string: use os.getcwd() to initialize project_base.

Fix also the distutils build command: don't use sys.executable if
it's evaluated as false (None or empty string).

[2.7] bpo-9194: Fix the bounds checking in winreg.c's fixupMultiSZ() (GH-12687) (GH-12916)

(cherry picked from commit 56ed86490cb8221c874d432461d77702437f63e5)

https://bugs.python.org/issue9194

bpo-36605: make tags: parse Modules/_io directory (GH-12789) (GH-12815)

"make tags" and "make TAGS" now also parse Modules/_io/*.c
and Modules/_io/*.h.

(cherry picked from commit 21a74a9d77c5ac628808b9faace18b824ca056f7)

bpo-34652: Use AC_CHECK_FUNCS for lchmod. (GH-12799)

A fix for 69e96910153219b0b15a18323b917bd74336d229, which resulted in lchmod being disabled on all platforms, not just Linux.

(cherry picked from commit ed709d5699716bf7237856dc20aba321e2dfff6d)

bpo-36235: Fix distutils test_customize_compiler() on macOS (GH-12751)

Set CUSTOMIZED_OSX_COMPILER to True to disable
_osx_support.customize_compiler().

bpo-36560: Fix reference leak hunting in regrtest (GH-12744) (GH-12745)

Fix reference leak hunting in regrtest: compute also deltas (of
reference count and file descriptor count) during warmup, to ensure
that everything is initialized before starting to hunt reference
leaks.

Other changes:

* Replace gc.collect() with support.gc_collect() in clear_caches()
* dash_R() is now more quiet with --quiet option (don't display
  progress).
* Precompute the full range for "for it in range(repcount):" to
  ensure that the iteration doesn't allocate anything new.
* dash_R() now is responsible to call warm_caches().

(cherry picked from commit 5aaac94eeb44697e92b0951385cd557bc27e0f6a)

bpo-30134: fix BytesWarning doc, docstring and message (GH-12739)

bpo-30134: add BytesWarning in warnings.rst (GH-12738)

bpo-30134: add an explanation of BytesWarning (GH-1249)

bpo-36504: Fix signed integer overflow in _ctypes.c's PyCArrayType_new(). (GH-12660) (GH-12678)

(cherry picked from commit 487b73ab39c80157474821ef9083f51e0846bd62)

bpo-36150: Fix possible assertion failures due to _ctypes.c's PyCData_reduce(). (GH-12106) (GH-12643)

(cherry picked from commit 5f2c50810a67982b0c80f6d3258fee3647f67005)