bpo-35907: Clarify the NEWS entry (GH-13557)

bpo-36713: Rename duplicated method in test_unicode. (#13525)

modified:   Lib/ctypes/test/test_unicode.py
  modified:   Misc/ACKS
  new file:   Misc/NEWS.d/next/Library/2019-05-23-15-57-36.bpo-36713.sjPhnf.rst

bpo-35907: Complete test_urllib.test_local_file_open() (GH-13506)

Test also URLopener().open(), URLopener().retrieve(), and
DummyURLopener().retrieve().

bpo-35907, CVE-2019-9948: urllib rejects local_file:// scheme  (GH-11842)

 CVE-2019-9948: Avoid file reading as disallowing the unnecessary URL scheme in urllib.urlopen().

bpo-30458: Disallow control chars in http URLs (GH-12755) (GH-13154) (GH-13315)

Disallow control chars in http URLs in urllib2.urlopen.  This
addresses a potential security problem for applications that do not
sanity check their URLs where http request headers could be injected.

Disable https related urllib tests on a build without ssl (GH-13032)
These tests require an SSL enabled build. Skip these tests when
python is built without SSL to fix test failures.

Use httplib.InvalidURL instead of ValueError as the new error case's
exception. (GH-13044)

Backport Co-Authored-By: Miro Hrončok <miro@hroncok.cz>

(cherry picked from commit 7e200e0763f5b71c199aaf98bd5588f291585619)

Notes on backport to Python 2.7:

* test_urllib tests urllib.urlopen() which quotes the URL and so is
  not vulerable to HTTP Header Injection.
* Add tests to test_urllib2 on urllib2.urlopen().
* Reject non-ASCII characters: range 0x80-0xff.

[2.7] Update idlelib NEWS.txt for 2.7 (GH-13436)

closes bpo-36951: Correct some types in the type_members struct in typeobject.c. (GH-13403)

(cherry picked from commit 53d378c81286644138415cb56da52a7351e1a477)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

closes bpo-36755: Suppress noisy error output in test HTTPS server by default. (GH-13370)

TLS 1.3 has a more efficient handshake protocol. The client can reject the server's credentials and close the connection before the server has even finished writing out all of its initial data. Depending on whether the server finishes writing the rest of its handshake before the it sees the connection is reset, the server will read an empty line or see a ECONNRESET OSError. Nothing is really wrong here with the server or client, so just suppress the error output in the OSError case to fix the test.

This fix isn't required in Python 3 because clients that reject the server's certificate will shut down the TLS layer before closing the TCP connection.

bpo-27987: pymalloc: align by 16bytes on 64bit platform (GH-12850) (GH-13319)

(cherry picked from commit f0be4bbb9b3cee876249c23f2ae6f38f43fa7495)

[2.7] bpo-36807: When saving a file in IDLE, call flush and fsync (GH-13102) (GH-13293)

[2.7] bpo-35925: Skip SSL tests that fail due to weak external certs or old TLS (GH-13124) (GH-13253)

Modern Linux distros such as Debian Buster have default OpenSSL system
configurations that reject connections to servers with weak certificates
by default. This causes our test suite run with external networking
resources enabled to skip these tests when they encounter such a
failure.

Fixing the network servers is a separate issue.
(cherry picked from commit 2cc0223)

Changes to test_ssl.py required as 2.7 has legacy protocol tests.

The test_httplib.py change is omitted from this backport as
self-signed.pythontest.net's certificate was updated and the
test_nntplib.py change is not applicable on 2.7.

Authored-by: Gregory P. Smith greg@krypto.org

[2.7] closes bpo-14353: Fix detection of bind_textdomain_codeset in libintl. (GH-13265)

In Python-2.7, we were only searching for bind_textdomain_codeset in
libc.  We should have also checked for it in libintl.  This change from
Mel Flynn https://bugs.python.org/file24918/python27-configure.in.patch
fixes that.

[2.7] bpo-36816: Update the self-signed.pythontest.net cert (GH-13192) (GH-13199)

* [2.7] bpo-36816: Update the self-signed.pythontest.net cert (GH-13192)

We updated the server, our testsuite must match.

https://bugs.python.org/issue36816

✈️ CLE -> DEN ✈️ #pycon2019 #beyonce
(cherry picked from commit 6bd81734de0b73f1431880d6a75fb71bcbc65fa1)

The 2.7 tree also needed a certificate in the capath directory updated.
The filename for that was determined by `openssl x509 -in $cert.pem -subject_hash`.

Authored-by: Gregory P. Smith <greg@krypto.org>

[2.7] bpo-24712: Doc: Make sidebar sticky using browser support. (GH-13179)

Patch by Mike Taylor.

[2.7] bpo-14546: Fix the argument handling in Tools/scripts/lll.py (GH-13026) (GH-13063)

(cherry picked from commit c4e78b116f9a4299f3b3bfbbd18ef49782bb1143)

Change bisect to bisect_cmd in docstring (GH-13040)

(cherry picked from commit 11e4a941e9c6225776a986b05230a1963e83f4fb)

Co-authored-by: Xtreak <tir.karthi@gmail.com>

bpo-36742: Fixes handling of pre-normalization characters in urlsplit() (GH-13017)

closes bpo-35329: Change 'Package' to 'package' in accordance with PEP8. (GH-13008)

(cherry picked from commit ee0309f3d83ab9ffa02542bcf45ece84f4fb265e)

Co-authored-by: Utkarsh Gupta <guptautkarsh2102@gmail.com>

bpo-35952: Sync test.pythoninfo from master (GH-13010)

bpo-28552: Fix distutils.sysconfig for empty sys.executable (GH-12875) (GH-12949)

bpo-28552, bpo-7774: Fix distutils.sysconfig if sys.executable is
None or an empty string: use os.getcwd() to initialize project_base.

Fix also the distutils build command: don't use sys.executable if
it's evaluated as false (None or empty string).

[2.7] bpo-9194: Fix the bounds checking in winreg.c's fixupMultiSZ() (GH-12687) (GH-12916)

(cherry picked from commit 56ed86490cb8221c874d432461d77702437f63e5)

https://bugs.python.org/issue9194

bpo-36605: make tags: parse Modules/_io directory (GH-12789) (GH-12815)

"make tags" and "make TAGS" now also parse Modules/_io/*.c
and Modules/_io/*.h.

(cherry picked from commit 21a74a9d77c5ac628808b9faace18b824ca056f7)

bpo-34652: Use AC_CHECK_FUNCS for lchmod. (GH-12799)

A fix for 69e96910153219b0b15a18323b917bd74336d229, which resulted in lchmod being disabled on all platforms, not just Linux.

(cherry picked from commit ed709d5699716bf7237856dc20aba321e2dfff6d)

bpo-36235: Fix distutils test_customize_compiler() on macOS (GH-12751)

Set CUSTOMIZED_OSX_COMPILER to True to disable
_osx_support.customize_compiler().

bpo-36560: Fix reference leak hunting in regrtest (GH-12744) (GH-12745)

Fix reference leak hunting in regrtest: compute also deltas (of
reference count and file descriptor count) during warmup, to ensure
that everything is initialized before starting to hunt reference
leaks.

Other changes:

* Replace gc.collect() with support.gc_collect() in clear_caches()
* dash_R() is now more quiet with --quiet option (don't display
  progress).
* Precompute the full range for "for it in range(repcount):" to
  ensure that the iteration doesn't allocate anything new.
* dash_R() now is responsible to call warm_caches().

(cherry picked from commit 5aaac94eeb44697e92b0951385cd557bc27e0f6a)

bpo-30134: fix BytesWarning doc, docstring and message (GH-12739)

bpo-30134: add BytesWarning in warnings.rst (GH-12738)

bpo-30134: add an explanation of BytesWarning (GH-1249)

bpo-36504: Fix signed integer overflow in _ctypes.c's PyCArrayType_new(). (GH-12660) (GH-12678)

(cherry picked from commit 487b73ab39c80157474821ef9083f51e0846bd62)

bpo-36150: Fix possible assertion failures due to _ctypes.c's PyCData_reduce(). (GH-12106) (GH-12643)

(cherry picked from commit 5f2c50810a67982b0c80f6d3258fee3647f67005)

bpo-36459: Fix a possible double PyMem_FREE() due to tokenizer.c's tok_nextc() (12601)

Remove the PyMem_FREE() call added in cb90c89.  The buffer will be
freed when PyTokenizer_Free() is called on the tokenizer state.
(cherry picked from commit cda139d1ded6708665b53e4ed32ccc1d2627e1da)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-36245: Avoid problems when building in a directory containing spaces. (GH-12241)

bpo-31292: Fixed distutils check --restructuredtext for include directives (GH-10605)

(cherry picked from commit d5a5a33f12b60129d57f9b423b77d2fcba506834)

Co-authored-by: Philipp A <flying-sheep@web.de>

bpo-33832: Add "magic method" glossary entry (GH-7630)

(cherry picked from commit f760610bddd7e8f8ac0914d5d59ef806bc16a73b)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

[2.7] bpo-34203: FAQ: improve wording of paragraph about 2.x vs. 3.x (GH-9821) (GH-12568)

(cherry picked from commit 6cd658b1a5cb2413230dbc2d9395d20498be8518)

Co-authored-by: Tal Einat <taleinat+github@gmail.com>
https://bugs.python.org/issue34203

bpo-36430: Fix a possible reference leak in itertools.count(). (GH-12551) (GH-12554)

(cherry picked from commit 0523c39e7720b82b38ad793d3f1a5681adcdf873)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-34085: Improve wording on classmethod/staticmethod (GH-8228)

* bpo-34085: Improve wording on classmethod/staticmethod

* Address comments from Éric

* Address comments from Éric
(cherry picked from commit 548cb6060ab9d5a66931ea2be4da08c2c72c9176)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

[2.7] bpo-36421: Fix ref counting bugs in _ctypes.c's PyCArrayType_new(). (GH-12534)

Add missing Py_DECREF()s.

bpo-36367: Free buffer if realloc fails in tokenize.c (GH-12442) (GH-12470)

(cherry picked from commit cb90c89de14aab636739b3e810cf949e47b54a0c)

[2.7] bpo-35564: add master_doc='contents' to conf.py (GH-12462)

(cherry picked from commit fc8284e22074af8154e9865c8391b955f13a308b)

Co-authored-by: Jean-François B <jfbu@free.fr>

[2.7] bpo-18368: Fix memory leaks in PyOS_StdioReadline() when realloc() fails (GH-12334)

(cherry picked from commit 9ae513caa74a05970458dee17fb995ea49965bb5)

bpo-36307: Travis: upgrade to Xenial environment (GH-12356)

(cherry picked from commit 74ae50e53e59bbe39d6287b902757f0cd01327dc)

Co-authored-by: CAM Gerlach <CAM.Gerlach@Gerlach.CAM>

bpo-36337: socket.send()/sendall() use Py_ssize_t (GH-12397)

Fix buffer overflow in send() and sendall() methods of socket.socket
for data larger than 2 GiB.

[2.7] bpo-35605: Fix documentation build for sphinx<1.6 (GH-12413)

(cherry picked from commit dfc8fc15fa989acba3c372572e52bbcb5ab38a37)

bpo-36235: Enhance distutils test_customize_compiler() (GH-12403) (GH-12417)

The test test_customize_compiler() now mocks all sysconfig variables
and all environment variables used by customize_compiler().

(cherry picked from commit 72c7b372cf145fded93a9a776acc742a60090f95)

bpo-36235: Fix CFLAGS in distutils customize_compiler() (GH-12236) (GH-12349)

Fix CFLAGS in customize_compiler() of distutils.sysconfig: when the
CFLAGS environment variable is defined, don't override CFLAGS variable with
the OPT variable anymore.

Initial patch written by David Malcolm.

Co-Authored-By: David Malcolm <dmalcolm@redhat.com>
(cherry picked from commit 86082c22d23285995a32aabb491527c9f5629556)

bpo-36262: Fix _Py_dg_strtod() memory leak (goto undfl) (GH-12276) (GH-12332)

Fix an unlikely memory leak on conversion from string to float in the
function _Py_dg_strtod() used by float(str), complex(str),
pickle.load(), marshal.load(), etc.

Fix an unlikely memory leak in _Py_dg_strtod() on "undfl:" label:
rewrite memory management in this function to always release all
memory before exiting the function. Initialize variables to NULL, and
set them to NULL after calling Bfree() at the "cont:" label.

Note: Bfree(NULL) is well defined: it does nothing.

(cherry picked from commit 9776b0636ae39668d3ce1c006d4be01dad01bf9f)

[2.7] bpo-36289: Fix a possible reference leak in the io module (GH-12329)

Fix a reference leak in _bufferedreader_read_all():
_io.BufferedIOMixin.read() leaks a reference on 'data'
when it reads the whole file content but flush() fails.

[2.7] bpo-36291: Fix a possible reference leak in the json module (GH-12330)

Fix a reference leak in json if parsing a floating point number fails.

If PyOS_string_to_double() fails in _match_number_str():
decrement numstr ref counter.

[2.7] bpo-36212: Fix two possible reference leaks in the hotshot module (GH-12327)

Fix reference leaks in _hotshot.LogReaderType on PyTuple_New() failure.

bpo-36174: Update nuget authoring for new license field. (GH-12300)

[3.7] bpo-36216: Only print test messages when verbose (GH-12291)

bpo-36234: test_os: check TypeError for invalid uid type (GH-12235)

Patch written by David Malcolm.

Co-Authored-By: David Malcolm <dmalcolm@redhat.com>

bpo-35807: Upgrade ensurepip bundled pip and setuptools (GH-12189)

* Update pip to 19.0.3
* Update setuptools to 40.8.0
(cherry picked from commit 01e0f439f5009f37b95ab516e91906fcc7fcb8c3)

Co-authored-by: Pradyun Gedam <pradyunsg@gmail.com>

[2.7] IDLE: Fix typo in keybindingDialog.py (GH-2322) (GH-12231)

Cherry picked by hand from a0e911b

bpo-36140: Fix an incorrect check in msidb_getsummaryinformation() (GH-12074)

(cherry picked from commit bf94cc7b496a379e1f604aa2e4080bb70ca4020e)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-36216: Add check for characters in netloc that normalize to separators (GH-12201)

Fix the documentation for set.copy() (GH-12176)

Remove 's' mention as there's no argument.
(cherry picked from commit e942e7b5c91995ae1ad967ef2c0f116a5d8555de)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

bpo-36147: Fix a memory leak in ctypes s_get() (GH-12102)

The s_get() function leaks the result variable on low memory.
Partially backport commit 19b52545df898ec911c44e29f75badb902924c0
to fix it.

[2.7] bpo-36186: Fix linuxaudiodev.linux_audio_device() error handling (GH-12163)

Fix linuxaudiodev.linux_audio_device() error handling:
close the internal file descriptor if it fails to open the device.

[2.7] bpo-36019: Use pythontest.net in urllib network tests (GH-11941) (GH-12177)

Use test_support.TEST_HTTP_URL (pythontest.net) instead of http://www.example.com/.

[2.7] bpo-36149 Fix potential use of uninitialized memory in cPickle (#12105)

Fix off-by-one bug in cPickle that caused it to use uninitialised memory on truncated pickles read from FILE*s.

[2.7] bpo-36179: Fix ref leaks in _hashopenssl (GH-12158) (GH-12166)

Fix two unlikely reference leaks in _hashopenssl. The leaks only occur in
out-of-memory cases. Thanks to Charalampos Stratakis.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue36179.
(cherry picked from commit b7bc283ab6a23ee98784400ebffe7fe410232a2e)

Co-authored-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue36179

[2.7] bpo-13096: Fix memory leak in ctypes POINTER handling of large values (GH-12100)

Post-2.7.16 version bump.

Delete old NEWS file.

Merge branch 'release-2.7.16' into 2.7

Set version to 2.7.16 final.

Make 2.7.16 release note.

bpo-32129: Avoid blurry IDLE application icon on macOS with Tk 8.6. Original patch by Kevin Walzer. (GH-12034)

bpo-32129: Avoid blurry IDLE application icon on macOS with Tk 8.6. Original patch by Kevin Walzer. (GH-12034)

bpo-36126: Fix ref count leakage in structseq_repr. (GH-12035)

Document the surprising sideeffect PyErr_Print(). (GH-12081)

Did you know an API documented as printing the pending traceback would sometimes exit the process?

You do now.
(cherry picked from commit 4173772031747a9b249be4100b4aa9eda805ea23)

Co-authored-by: Gregory P. Smith <greg@krypto.org>

Update FAQ to point to Infrastructure Team website. (GH-12079)

[2.7] bpo-36106: resolve sinpi name clash with libm (IEEE-754 violation). (GH-12027) (GH-12050)

The standard math library (libm) may follow IEEE-754 recommendation to
include an implementation of sinPi(), i.e. sinPi(x):=sin(pi*x).
And this triggers a name clash, found by FreeBSD developer
Steve Kargl, who worked on putting sinpi into libm used on FreeBSD
(it has to be named "sinpi", not "sinPi", cf. e.g.
https://en.cppreference.com/w/c/experimental/fpext4).

Run autoreconf.

closes bpo-13497: Fix `broken nice` configure test. (GH-12041)

Per POSIX, `nice(3)` requires `unistd.h` and `exit(3)` requires `stdlib.h`.

Fixing the test will prevent false positives with pedantic compilers like clang.
(cherry picked from commit 90c6facebd5666fec85f125ee2795b48b30319a4)

Co-authored-by: ngie-eign <1574099+ngie-eign@users.noreply.github.com>

[2.7] bpo-27313: Avoid test_ttk_guionly ComboboxTest fail with macOS Cocoa Tk (GH-12015)

bpo-26386: Re-enable missing widget testcases in test_ttk_guionly. (GH-12014)

bpo-36089: Fix formatting/spelling on SimpleHTTPServer docs. (GH-11995)

bpo-35584: Clarify role of caret in a class class (GH-11946) (GH-11948)

https://bugs.python.org/issue35584
(cherry picked from commit 3bacf6126522a9b3bcb6be0c4f3ee6a895dfe772)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

[2.7] bpo-35126: Fix a mistake in FAQ about converting number to string (GH-11911)

https://bugs.python.org/issue35126

[2.7] bpo-1104: msilib.SummaryInfo.GetProperty() truncates the string by one character (GH-4517) (GH-11749)

Add one char to MsiSummaryInfoGetProperty() output
Based on the patch in [bpo-1104](https://bugs.python.org/issue1104) by Anthony Tuininga (atuining) and Mark McMahon (markm)
(cherry picked from commit 2de576e16d42ce43698d384d0dd46ba6cf165424)

Co-authored-by: Tzu-ping Chung <uranusjr@gmail.com>
https://bugs.python.org/issue1104

Set version to 2.7.16rc1+.

Add product codes until the end of time. (GH-11901)

Set version to 2.7.16rc1.

Collect 2.7.16rc1 release notes.

Update IDLE.app plist copyright date. (GH-11890)

[2.7] bpo-33570: Enable OpenSSL 1.1.1 testing within the multissltests (GH-11879)

multissltests: fix _build_src(), add 'cwd' variable.

[2.7] bpo-32947: Fixes for TLS 1.3 and OpenSSL 1.1.1 (GH-8761) (GH-11876)

Backport of TLS 1.3 related fixes from 3.7.

Misc fixes and workarounds for compatibility with OpenSSL 1.1.1 from git
master and TLS 1.3 support. With OpenSSL 1.1.1, Python negotiates TLS 1.3 by
default. Some test cases only apply to TLS 1.2.

OpenSSL 1.1.1 has added a new option OP_ENABLE_MIDDLEBOX_COMPAT for TLS
1.3. The feature is enabled by default for maximum compatibility with
broken middle boxes. Users should be able to disable the hack and CPython's test suite needs
it to verify default options

Signed-off-by: Christian Heimes <christian@python.org>
(cherry picked from commit 2a4ee8aa01d61b6a9c8e9c65c211e61bdb471826)

Fixup from test_ssl test_default_ecdh_curve (GH-11877)

Partial backport from cb5b68abdeb1b1d56c581d5b4d647018703d61e3

Co-authored-by: Christian Heimes <christian@python.org>

[2.7] bpo-28043: improved default settings for SSLContext (GH-10608)

The options OP_NO_COMPRESSION, OP_CIPHER_SERVER_PREFERENCE,
OP_SINGLE_DH_USE, OP_SINGLE_ECDH_USE, OP_NO_SSLv2 (except
for PROTOCOL_SSLv2), and OP_NO_SSLv3 (except for PROTOCOL_SSLv3)
are set by default. The initial cipher suite list contains only
HIGH ciphers, no NULL ciphers and MD5 ciphers (except for PROTOCOL_SSLv2).

(cherry picked from commit 358cfd426ccc0fcd6a7940d306602138e76420ae)

[2.7] bpo-33570: TLS 1.3 ciphers for OpenSSL 1.1.1 (GH-6976) (GH-8760) (GH-10607)

Change TLS 1.3 cipher suite settings for compatibility with OpenSSL
1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 cipers enabled by
default.

Also update multissltests to test with latest OpenSSL.

Signed-off-by: Christian Heimes <christian@python.org>.
(cherry picked from commit 3e630c541b35c96bfe5619165255e559f577ee71)
Co-authored-by: Christian Heimes <christian@python.org>

bpo-35746: Credit Colin Read and Nicolas Edet (GH-11866)

Add credit for the cert parser vulnerability. Mention also Cisco
TALOS-2018-0758 identifier.

Doc sidebar: 3.6 has moved to security-fix mode. (GH-11810)

(cherry picked from commit 9db56fb8faaa3cd66e7fe82740a4ae4d786bb27f)

Co-authored-by: Julien Palard <julien@palard.fr>

[2.7] Fix url to core-mentorship mailing list (GH-11775). (GH-11778)

(cherry picked from commit e9bc4172d18db9c182d8e04dd7b033097a994c06)

Co-authored-by: Mariatta <Mariatta@users.noreply.github.com>

bpo-25592: Improve documentation of distutils data_files (GH-9767) (GH-11734)

(cherry picked from commit 598e15d4feaee3849a91d92c9ca51f17baafe19c)

Co-authored-by: jdemeyer <J.Demeyer@UGent.be>

bpo-35746: Fix segfault in ssl's cert parser (GH-11569)

Fix a NULL pointer deref in ssl module. The cert parser did not handle CRL
distribution points with empty DP or URI correctly. A malicious or buggy
certificate can result into segfault.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue35746
(cherry picked from commit a37f52436f9aa4b9292878b72f3ff1480e2606c3)

Co-authored-by: Christian Heimes <christian@python.org>

[2.7] bpo-8765: Deprecate writing unicode to binary streams in Py3k mode. (GH-11127)

bpo-34512: Document platform-specific strftime() behavior for non-ASCII format strings (GH-8948)

(cherry picked from commit 1cffd0eed313011c0c2bb071c8affeb4a7ed05c7)

Co-authored-by: Alexey Izbyshev <izbyshev@ispras.ru>