bpo-36307: Travis: upgrade to Xenial environment (GH-12356)

(cherry picked from commit 74ae50e53e59bbe39d6287b902757f0cd01327dc)

Co-authored-by: CAM Gerlach <CAM.Gerlach@Gerlach.CAM>

bpo-36337: socket.send()/sendall() use Py_ssize_t (GH-12397)

Fix buffer overflow in send() and sendall() methods of socket.socket
for data larger than 2 GiB.

[2.7] bpo-35605: Fix documentation build for sphinx<1.6 (GH-12413)

(cherry picked from commit dfc8fc15fa989acba3c372572e52bbcb5ab38a37)

bpo-36235: Enhance distutils test_customize_compiler() (GH-12403) (GH-12417)

The test test_customize_compiler() now mocks all sysconfig variables
and all environment variables used by customize_compiler().

(cherry picked from commit 72c7b372cf145fded93a9a776acc742a60090f95)

bpo-36235: Fix CFLAGS in distutils customize_compiler() (GH-12236) (GH-12349)

Fix CFLAGS in customize_compiler() of distutils.sysconfig: when the
CFLAGS environment variable is defined, don't override CFLAGS variable with
the OPT variable anymore.

Initial patch written by David Malcolm.

Co-Authored-By: David Malcolm <dmalcolm@redhat.com>
(cherry picked from commit 86082c22d23285995a32aabb491527c9f5629556)

bpo-36262: Fix _Py_dg_strtod() memory leak (goto undfl) (GH-12276) (GH-12332)

Fix an unlikely memory leak on conversion from string to float in the
function _Py_dg_strtod() used by float(str), complex(str),
pickle.load(), marshal.load(), etc.

Fix an unlikely memory leak in _Py_dg_strtod() on "undfl:" label:
rewrite memory management in this function to always release all
memory before exiting the function. Initialize variables to NULL, and
set them to NULL after calling Bfree() at the "cont:" label.

Note: Bfree(NULL) is well defined: it does nothing.

(cherry picked from commit 9776b0636ae39668d3ce1c006d4be01dad01bf9f)

[2.7] bpo-36289: Fix a possible reference leak in the io module (GH-12329)

Fix a reference leak in _bufferedreader_read_all():
_io.BufferedIOMixin.read() leaks a reference on 'data'
when it reads the whole file content but flush() fails.

[2.7] bpo-36291: Fix a possible reference leak in the json module (GH-12330)

Fix a reference leak in json if parsing a floating point number fails.

If PyOS_string_to_double() fails in _match_number_str():
decrement numstr ref counter.

[2.7] bpo-36212: Fix two possible reference leaks in the hotshot module (GH-12327)

Fix reference leaks in _hotshot.LogReaderType on PyTuple_New() failure.

bpo-36174: Update nuget authoring for new license field. (GH-12300)

[3.7] bpo-36216: Only print test messages when verbose (GH-12291)

bpo-36234: test_os: check TypeError for invalid uid type (GH-12235)

Patch written by David Malcolm.

Co-Authored-By: David Malcolm <dmalcolm@redhat.com>

bpo-35807: Upgrade ensurepip bundled pip and setuptools (GH-12189)

* Update pip to 19.0.3
* Update setuptools to 40.8.0
(cherry picked from commit 01e0f439f5009f37b95ab516e91906fcc7fcb8c3)

Co-authored-by: Pradyun Gedam <pradyunsg@gmail.com>

[2.7] IDLE: Fix typo in keybindingDialog.py (GH-2322) (GH-12231)

Cherry picked by hand from a0e911b

bpo-36140: Fix an incorrect check in msidb_getsummaryinformation() (GH-12074)

(cherry picked from commit bf94cc7b496a379e1f604aa2e4080bb70ca4020e)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-36216: Add check for characters in netloc that normalize to separators (GH-12201)

Fix the documentation for set.copy() (GH-12176)

Remove 's' mention as there's no argument.
(cherry picked from commit e942e7b5c91995ae1ad967ef2c0f116a5d8555de)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

bpo-36147: Fix a memory leak in ctypes s_get() (GH-12102)

The s_get() function leaks the result variable on low memory.
Partially backport commit 19b52545df898ec911c44e29f75badb902924c0
to fix it.

[2.7] bpo-36186: Fix linuxaudiodev.linux_audio_device() error handling (GH-12163)

Fix linuxaudiodev.linux_audio_device() error handling:
close the internal file descriptor if it fails to open the device.

[2.7] bpo-36019: Use pythontest.net in urllib network tests (GH-11941) (GH-12177)

Use test_support.TEST_HTTP_URL (pythontest.net) instead of http://www.example.com/.

[2.7] bpo-36149 Fix potential use of uninitialized memory in cPickle (#12105)

Fix off-by-one bug in cPickle that caused it to use uninitialised memory on truncated pickles read from FILE*s.

[2.7] bpo-36179: Fix ref leaks in _hashopenssl (GH-12158) (GH-12166)

Fix two unlikely reference leaks in _hashopenssl. The leaks only occur in
out-of-memory cases. Thanks to Charalampos Stratakis.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue36179.
(cherry picked from commit b7bc283ab6a23ee98784400ebffe7fe410232a2e)

Co-authored-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue36179

[2.7] bpo-13096: Fix memory leak in ctypes POINTER handling of large values (GH-12100)

Post-2.7.16 version bump.

Delete old NEWS file.

Merge branch 'release-2.7.16' into 2.7

Set version to 2.7.16 final.

Make 2.7.16 release note.

bpo-32129: Avoid blurry IDLE application icon on macOS with Tk 8.6. Original patch by Kevin Walzer. (GH-12034)

bpo-32129: Avoid blurry IDLE application icon on macOS with Tk 8.6. Original patch by Kevin Walzer. (GH-12034)

bpo-36126: Fix ref count leakage in structseq_repr. (GH-12035)

Document the surprising sideeffect PyErr_Print(). (GH-12081)

Did you know an API documented as printing the pending traceback would sometimes exit the process?

You do now.
(cherry picked from commit 4173772031747a9b249be4100b4aa9eda805ea23)

Co-authored-by: Gregory P. Smith <greg@krypto.org>

Update FAQ to point to Infrastructure Team website. (GH-12079)

[2.7] bpo-36106: resolve sinpi name clash with libm (IEEE-754 violation). (GH-12027) (GH-12050)

The standard math library (libm) may follow IEEE-754 recommendation to
include an implementation of sinPi(), i.e. sinPi(x):=sin(pi*x).
And this triggers a name clash, found by FreeBSD developer
Steve Kargl, who worked on putting sinpi into libm used on FreeBSD
(it has to be named "sinpi", not "sinPi", cf. e.g.
https://en.cppreference.com/w/c/experimental/fpext4).

Run autoreconf.

closes bpo-13497: Fix `broken nice` configure test. (GH-12041)

Per POSIX, `nice(3)` requires `unistd.h` and `exit(3)` requires `stdlib.h`.

Fixing the test will prevent false positives with pedantic compilers like clang.
(cherry picked from commit 90c6facebd5666fec85f125ee2795b48b30319a4)

Co-authored-by: ngie-eign <1574099+ngie-eign@users.noreply.github.com>

[2.7] bpo-27313: Avoid test_ttk_guionly ComboboxTest fail with macOS Cocoa Tk (GH-12015)

bpo-26386: Re-enable missing widget testcases in test_ttk_guionly. (GH-12014)

bpo-36089: Fix formatting/spelling on SimpleHTTPServer docs. (GH-11995)

bpo-35584: Clarify role of caret in a class class (GH-11946) (GH-11948)

https://bugs.python.org/issue35584
(cherry picked from commit 3bacf6126522a9b3bcb6be0c4f3ee6a895dfe772)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

[2.7] bpo-35126: Fix a mistake in FAQ about converting number to string (GH-11911)

https://bugs.python.org/issue35126

[2.7] bpo-1104: msilib.SummaryInfo.GetProperty() truncates the string by one character (GH-4517) (GH-11749)

Add one char to MsiSummaryInfoGetProperty() output
Based on the patch in [bpo-1104](https://bugs.python.org/issue1104) by Anthony Tuininga (atuining) and Mark McMahon (markm)
(cherry picked from commit 2de576e16d42ce43698d384d0dd46ba6cf165424)

Co-authored-by: Tzu-ping Chung <uranusjr@gmail.com>
https://bugs.python.org/issue1104

Set version to 2.7.16rc1+.

Add product codes until the end of time. (GH-11901)

Set version to 2.7.16rc1.

Collect 2.7.16rc1 release notes.

Update IDLE.app plist copyright date. (GH-11890)

[2.7] bpo-33570: Enable OpenSSL 1.1.1 testing within the multissltests (GH-11879)

multissltests: fix _build_src(), add 'cwd' variable.

[2.7] bpo-32947: Fixes for TLS 1.3 and OpenSSL 1.1.1 (GH-8761) (GH-11876)

Backport of TLS 1.3 related fixes from 3.7.

Misc fixes and workarounds for compatibility with OpenSSL 1.1.1 from git
master and TLS 1.3 support. With OpenSSL 1.1.1, Python negotiates TLS 1.3 by
default. Some test cases only apply to TLS 1.2.

OpenSSL 1.1.1 has added a new option OP_ENABLE_MIDDLEBOX_COMPAT for TLS
1.3. The feature is enabled by default for maximum compatibility with
broken middle boxes. Users should be able to disable the hack and CPython's test suite needs
it to verify default options

Signed-off-by: Christian Heimes <christian@python.org>
(cherry picked from commit 2a4ee8aa01d61b6a9c8e9c65c211e61bdb471826)

Fixup from test_ssl test_default_ecdh_curve (GH-11877)

Partial backport from cb5b68abdeb1b1d56c581d5b4d647018703d61e3

Co-authored-by: Christian Heimes <christian@python.org>

[2.7] bpo-28043: improved default settings for SSLContext (GH-10608)

The options OP_NO_COMPRESSION, OP_CIPHER_SERVER_PREFERENCE,
OP_SINGLE_DH_USE, OP_SINGLE_ECDH_USE, OP_NO_SSLv2 (except
for PROTOCOL_SSLv2), and OP_NO_SSLv3 (except for PROTOCOL_SSLv3)
are set by default. The initial cipher suite list contains only
HIGH ciphers, no NULL ciphers and MD5 ciphers (except for PROTOCOL_SSLv2).

(cherry picked from commit 358cfd426ccc0fcd6a7940d306602138e76420ae)

[2.7] bpo-33570: TLS 1.3 ciphers for OpenSSL 1.1.1 (GH-6976) (GH-8760) (GH-10607)

Change TLS 1.3 cipher suite settings for compatibility with OpenSSL
1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 cipers enabled by
default.

Also update multissltests to test with latest OpenSSL.

Signed-off-by: Christian Heimes <christian@python.org>.
(cherry picked from commit 3e630c541b35c96bfe5619165255e559f577ee71)
Co-authored-by: Christian Heimes <christian@python.org>

bpo-35746: Credit Colin Read and Nicolas Edet (GH-11866)

Add credit for the cert parser vulnerability. Mention also Cisco
TALOS-2018-0758 identifier.

Doc sidebar: 3.6 has moved to security-fix mode. (GH-11810)

(cherry picked from commit 9db56fb8faaa3cd66e7fe82740a4ae4d786bb27f)

Co-authored-by: Julien Palard <julien@palard.fr>

[2.7] Fix url to core-mentorship mailing list (GH-11775). (GH-11778)

(cherry picked from commit e9bc4172d18db9c182d8e04dd7b033097a994c06)

Co-authored-by: Mariatta <Mariatta@users.noreply.github.com>

bpo-25592: Improve documentation of distutils data_files (GH-9767) (GH-11734)

(cherry picked from commit 598e15d4feaee3849a91d92c9ca51f17baafe19c)

Co-authored-by: jdemeyer <J.Demeyer@UGent.be>

bpo-35746: Fix segfault in ssl's cert parser (GH-11569)

Fix a NULL pointer deref in ssl module. The cert parser did not handle CRL
distribution points with empty DP or URI correctly. A malicious or buggy
certificate can result into segfault.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue35746
(cherry picked from commit a37f52436f9aa4b9292878b72f3ff1480e2606c3)

Co-authored-by: Christian Heimes <christian@python.org>

[2.7] bpo-8765: Deprecate writing unicode to binary streams in Py3k mode. (GH-11127)

bpo-34512: Document platform-specific strftime() behavior for non-ASCII format strings (GH-8948)

(cherry picked from commit 1cffd0eed313011c0c2bb071c8affeb4a7ed05c7)

Co-authored-by: Alexey Izbyshev <izbyshev@ispras.ru>

[2.7] bpo-35552: Fix reading past the end in PyString_FromFormat(). (GH-11276) (GH-11534)

Format character "%s" in PyString_FromFormat() no longer read memory
past the limit if precision is specified.
(cherry picked from commit d586ccb04f79863c819b212ec5b9d873964078e4)

bpo-33817: Fix _PyString_Resize() and _PyUnicode_Resize() for empty strings. (GH-11515)

bpo-24746: Fix doctest failures when running the testsuite with -R (#11501) (#11512)

Update bugs.rst (GH-11487)

(cherry picked from commit 91c6158dbc5d70fcd91993b4e62c7bae926c2ea2)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

[2.7] bpo-24746: Avoid stripping trailing whitespace in doctest fancy diff (#11482)

* bpo-24746: Avoid stripping trailing whitespace in doctest fancy diff

* [2.7] bpo-24746: Avoid stripping trailing whitespace in doctest fancy diff (GH-10639).
(cherry picked from commit cbb16459934eaf29c7c7d362939cd05550b2f21f)

Co-authored-by: Sanyam Khurana <8039608+CuriousLearner@users.noreply.github.com>

Remove README.rst inadvertandly "backported" from 3.x in 5a89c71580529549e71567abf557c812eb470b2b. (GH-11409)

[2.7] Bump copyright years to 2019. (GH-11408)

(cherry picked from commit 9a69ae8a78785105ded02b083b2e5cd2dd939307)

macOS installer build: mitigate hdiutil resource busy bug

Revert "bpo-35402: Update macOS installer to use Tcl 8.6.9 / Tk 8.6.9.1 (GH-11101)"

This reverts commit aa580508431d231677cfaa13ac9b6aa37538b9ef.

Due to regressions found with using Tk 8.6.9.1, build the python.org
macOS installers with Tcl/Tk 8.6.8 as used in previous releases.

bpo-11566: Remove hypot -> _hypot macro for very old compilers (GH-11283)

This addresses C extension build errors related to an undefined _hypot
symbol when building with the Microsoft Visual C++ Compiler for Python
2.7 [1] or MinGWPy [2]. It also addresses errors when building a C++
extension with MinGWPy and C++11 from cmath, 'error "::hypot' has not
been declared'

[1] https://www.microsoft.com/en-us/download/details.aspx?id=44266
[2] https://mingwpy.github.io/

[2.7] bpo-31715 Add mimetype for extension .mjs (GH-3908) (GH-10978)

(cherry picked from 0854b92cd2)

bpo-35504: Fix segfaults and SystemErrors when deleting certain attrs. (GH-11175) (GH-11249)

(cherry picked from commit 842acaab1376c5c84fd5966bb6070e289880e1ca)

bpo-35529: Fix a reference counting bug in PyCFuncPtr_FromDll(). (GH-11229)

"dll" would leak if an error occurred in _validate_paramflags() or
GenericPyCData_new().
(cherry picked from commit d77d97c9a1f593fe161afab97e2a3e2292ab88b9)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

[2.7] bpo-35441: Remove dead and buggy code related to PyList_SetItem(). (GH-11033) (GH-11234)

In _localemodule.c and selectmodule.c, remove dead code that would
cause double decrefs if run.

In addition, replace PyList_SetItem() with PyList_SET_ITEM() in cases
where a new list is populated and there is no possibility of an error.

In addition, check if the list changed size in the loop in array_array_fromlist().
(cherry picked from commit 99d56b53560b3867844472ae381fb3f858760621)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-10320: Use PY_FORMAT_LONG_LONG in ctypes' PyCArg_repr(). (GH-11230)

bpo-10320: Replace nonstandard sprintf() length modifier in ctypes' PyCArg_repr(). (GH-10853)

Use "ll" instead of the nonstandard "q".
(cherry picked from commit 062cbb67726f26794b1b461853e40696b4a0b220)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-10496: distutils check_environ() handles getpwuid() error (GH-10931) (GH-11213)

check_environ() of distutils.utils now catchs KeyError on calling
pwd.getpwuid(): don't create the HOME environment variable in this
case.

(cherry picked from commit 17d0c0595e101c4ce76b58e55de37e6b5083e6cd)

bpo-34279: regrtest consider that skipped tests are ran (GH-11132) (GH-11158)

bpo-34279, bpo-35412: support.run_unittest() no longer raises
TestDidNotRun if a test result contains skipped tests. The
exception is now only raised if no test have been run and no test
have been skipped.

(cherry picked from commit 3a8f4fef4a4dd0e4a800545468eef9542e126181)

bpo-16039: CVE-2013-1752: Limit imaplib.IMAP4_SSL.readline() (GH-11120)

* bpo-16039: CVE-2013-1752: Change use of readline() in
  imaplib.IMAP4_SSL to limit line length. Remove IMAP4_SSL.readline()
  and IMAP4_SSL.read() to inherit safe IMAP4 implementation.
* bpo-20118: reenable test_linetoolong() of test_imaplib
  on ThreadedNetworkedTests and ThreadedNetworkedTestsSSL.
  The test now sets the _MAXLINE limit to 10 characters.

bpo-11617: Try to strengthen test_httpservers (GH-11121)

(cherry picked from commit cb342182ee47c3e2c743de50d81aad60f4eebefd)

[2.7] bpo-15663: the 10.6+ macOS installers for 3.6/2.7 now provide a private Tcl/Tk 8.6 (GH-11110)

bpo-35402: Update macOS installer to use Tcl 8.6.9 / Tk 8.6.9.1 (GH-11101)

(cherry picked from commit 7cf3d8e25174c8871883e42f3240fd7f01efd3a8)

Co-authored-by: Ned Deily <nad@python.org>

[3.6] bpo-35401: Update macOS installer to OpenSSL 1.0.2q (GH-11095)

https://bugs.python.org/issue35401
(cherry picked from commit 419b5ffc2ca46d7adf0be6216ca3a6e40028e50f)

Co-authored-by: Ned Deily <nad@python.org>

bpo-35401: Updates Windows build to OpenSSL 1.0.2q (GH-11089)

[2.7] bpo-31374: Include pyconfig.h earlier in expat (GH-11078)

Include <pyconfig.h> ealier in Modules/expat/xmlparse.c to define
properly _POSIX_C_SOURCE and _XOPEN_SOURCE.

ceval.c: mark debug 'filename' variable as unused (GH-11074)

Use GCC __attribute__((unused)) to mark the debug variable 'filename'
as unused in Python/ceval.c.

bpo-31374: Include pyconfig.h earlier in expat (GH-11064)

Include <pyconfig.h> ealier in Modules/expat/xmltok.c to define
properly _POSIX_C_SOURCE. Python defines _POSIX_C_SOURCE as 200809L,
whereas <features.h> (included indirectly by <string.h>) defines
_POSIX_C_SOURCE as 199506L.
(cherry picked from commit cf247359d5b7082044eea1fa94b5211a172b1ff6)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-35052: Fix handler on xml.dom.minidom.cloneNode() (GH-11061) (GH-11068)

Fix xml.dom.minidom cloneNode() on a document with an entity: pass
the correct arguments to the user data handler of an entity (fix an
old copy/paste mistake).

Bug spotted and fix proposed by Charalampos Stratakis, initial
reproducer written by Petr Viktorin.

Co-Authored-By: Charalampos Stratakis <cstratak@redhat.com>
Co-Authored-By: Petr Viktorin <encukou@gmail.com>
(cherry picked from commit 8e0418688906206fe59bd26344320c0fc026849e)

[2.7] bpo-33023: Fix NotImplemented to NotImplementedError. (GH-10934). (GH-11001) (GH-11008)

(cherry picked from commit 42b1d6127bd8595522a78a75166ebb9fba74a6a2)
(cherry picked from commit 7a2cf1e7d3bf300e98c702589d405734f4a8fcf8)

Add missing period in distutils.dep_util.newer_group doc (GH-11003)

(cherry picked from commit c9566b8c454120e3d0ddb5ab970f262a6cd80077)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

bpo-35359: Add _CRT_SECURE_NO_WARNINGS to pythoncore project (GH-10819)

Define _CRT_SECURE_NO_WARNINGS in the Visual Studio pythoncore
project to make quiet security warnings when building zlib C files
(Modules\zlib\ subdirectory).

[2.7] bpo-33709: test_ntpath and test_posixpath fail in Windows with ACP!=1252. (GH-7278) (GH-7279)

[2.7] Correct a couple of unbalanced parenthesis. (GH-10779). (GH-10963)

(cherry picked from commit 55f41e45b4318cbe19209f5144641344d0049fb8)

Revert "[2.7] bpo-34172: multiprocessing.Pool leaks resources after being deleted (GH-9686)" (GH-10970)

This reverts commit 4a7dd30f5810e8861a3834159a222ab32d5c97d0.

Fix typo in xml.dom.minidom documentation (GH-10956)

Escape the \t and \n.
Follow up from https://github.com/python/cpython/pull/10814.
(cherry picked from commit 2d8f976cde4794d174b44ff7d5fd970aa89c65e8)

Co-authored-by: E Kawashima <e-kwsm@users.noreply.github.com>

[2.7] bpo-34052: Prevent SQLite functions from setting callbacks on exceptions. (GH-8113). (GH-10946) (GH-10955)

(cherry picked from commit 5b25f1d03100e2283c1b129d461ba68ac0169a14)
(cherry picked from commit 1de91a0032fed500ddd3d8c4fb7a38c0b8719f67)

Co-authored-by: Sergey Fedoseev <fedoseev.sergey@gmail.com>.

[2.7] bpo-34738: Add directory entries in ZIP files created by distutils. (GH-9419). (GH-10950)

(cherry picked from commit 67a93b3a0b3814e97ef9d077b21325fc8ce351b2)

[2.7] bpo-35250: Correct argument name "num" -> "btn" in turtle docs. (GH-10565). (GH-10943)

(cherry picked from commit 4edeaeac4c194ba5d09187640b5cfca5e03be617)

Co-authored-by: Srinivas Thatiparthy (శ్రీనివాస్ తాటిపర్తి) <thatiparthysreenivas@gmail.com>

[2.7] Move __missing__ after __delitem__ in Data model. (GH-10923). (GH-10944)

(cherry picked from commit 1ce853f37783575e2b3aaa159ddcebc8660830ef)

Co-authored-by: Andre Delfino <adelfino@gmail.com>

bpo-10496: posixpath.expanduser() catchs pwd.getpwuid() error (GH-10919) (GH-10930)

* posixpath.expanduser() now returns the input path unchanged if
  the HOME environment variable is not set and pwd.getpwuid() raises
  KeyError (the current user identifier doesn't exist in the password
  database).
* Add test_no_home_directory() to test_site.

(cherry picked from commit f2f4555d8287ad217a1dba7bbd93103ad4daf3a8)

bpo-34185: Fix test module collision in test_bdb when ran as script. (GH-8537)

When running test_bdb.py as a script, `import test_module` would be
importing the existing Lib/test/test_modules.py instead of the
tempcwd/test_module.py module which was dynamically created by
test_bdb.py itself.
(cherry picked from commit 54fd45505b3a365e6d53441e6dd7e0d1ec13b46f)

Co-authored-by: Alex H <1884912+lajarre@users.noreply.github.com>