Backport Doc build venv fixes (#3979)

Remove retired and security branches from active docs (#3883)

[3.4][Security] bpo-30947, bpo-31170: Update expat from 2.2.1 to 2.2.4 (#3353)

* bpo-30947, bpo-31170: Update expat from 2.2.1 to 2.2.4

* Upgrade libexpat embedded copy from version 2.2.1 to 2.2.3 to get security
  fixes.

* Update libexpat from 2.2.3 to 2.2.4. Fix copying of partial
  characters for UTF-8 input (libexpat bug 115):
  https://github.com/libexpat/libexpat/issues/115

* Define XML_POOR_ENTROPY when compiling expat

bpo-29169: Update zlib to 1.2.11 (#3107)

Python 3.4 backport: convert the Misc/NEWS entry using blurb.

(cherry picked from commit 34e7e2ecb1741850190e78f42875480693d3537b)

Post-release bump for 3.4.7 final.

Version bump for 3.4.7 final.

Blurb release and pydoc topics for 3.4.7 final.

[3.5] bpo-31036: use an existing Misc/NEWS rather than trying to use blurb (#2874) (#2926)

(cherry picked from commit 3de144890ad3bc50694368a1b33be6d7f3a780b3)

[3.4] bpo-30119: fix ftplib.FTP.putline() to throw an error for a illegal command (#1214) (#2893)

Post-release bump for 3.4.7rc1.

Version bump and copyright year fixes for 3.4.7rc1.

Update pydoc topics and susp-ignored for 3.4.7rc1.

blurb release for 3.4.7rc1.

Switch to using blurb to manage Misc/NEWS!

[3.4] Backport CI config from master (#2475)

* Issues #23808, #25911: Trying to fix walk tests on Windows.

On Windows a symlink can has the FILE_ATTRIBUTE_DIRECTORY flag.

(cherry picked from commit 388b90f28e029daaf06aae8026b596e2f20a1cd3)

* bpo-30231: Remove skipped test_imaplib tests (#1419) (#2193)

The public cyrus.andrew.cmu.edu IMAP server (port 993) doesn't accept
TLS connection using our self-signed x509 certificate. Remove the two
tests which are already skipped.
(cherry picked from commit 7895a0585b4b6a1c8082d17227307c6ce2c8bb8b)

* Backport CI config from master

* Add .travis.yml for Travis CI
* Add .github/ for AppVeyor and CodeCov.

* Travis CI: remove "make regen-all" check

The regen-all Makefile rule doesn't exist in Python 3.4, only since
Python 3.5 and newer (and 2.7).

* appveyor: replace --slowest with --slow

* Travis CI: remove the GCC coverage job

* Travis CI: remove tzdata resource from regrtest

tzdata resource doesn't exist in Python 3.4.

* Travis CI: remove the doc job

Fixing Sphinx warnings requires to backport huge intrusive changes
like:

- commit d97b7dc94b19063f0589d401bdc4aaadc7030762
- commit 5c6793394066b012b9674681b0815667938ce4d9

* appveyor: set version to 3.4.6+

* bpo-30730: Fix test_os tests.

Fix test_invalid_cmd() and test_invalid_env(), TypeError is raised on
Python 3.4.

(cherry picked from commit 5e22721e586344b547194f0f7ea67fd425f94e72)

bpo-30939: Avoid Sphinx deprecation warning in docs build. (#2721) (#2724)

(cherry picked from commit 50f58163a69abe2f35e91044d1df165ee7bdbb42)

[3.4] bpo-26617: Ensure gc tracking is off when invoking weakref callbacks. (#2695)

* [3.4] bpo-26617: Ensure gc tracking is off when invoking weakref callbacks.
(cherry picked from commit 8f657c35b978b681e6e919f08358992e1aed7dc1)

* Rewrite a NEWS entry as a NEWS.d entry.

bpo-26657: Fix Windows directory traversal vulnerability with http.server (#782)

Based on patch by Philipp Hagemeister.  This fixes a regression caused by
revision f4377699fd47.

(cherry picked from commit d274b3f1f1e2d8811733fb952c9f18d7da3a376a)

bpo-30500: urllib: Simplify splithost by calling into urlparse. (#1849) (#2291)

The current regex based splitting produces a wrong result. For example::

  http://abc#@def

Web browsers parse that URL as ``http://abc/#@def``, that is, the host
is ``abc``, the path is ``/``, and the fragment is ``#@def``.
(cherry picked from commit 90e01e50ef8a9e6c91f30d965563c378a4ad26de)

[3.4] bpo-29591, bpo-30694: Upgrade Modules/expat to libexpat 2.2.1 (#2164) (#2203)

* bpo-29591: Upgrade Modules/expat to libexpat 2.2 (#2164)

* bpo-29591: Upgrade Modules/expat to libexpat 2.2

* bpo-29591: Restore Python changes on expat

* bpo-29591: Remove expat config of unsupported platforms

Remove the configuration (Modules/expat/*config.h) of unsupported
platforms:

* Amiga
* MacOS Classic on PPC32
* Open Watcom

* bpo-29591: Remove useless XML_HAS_SET_HASH_SALT

The XML_HAS_SET_HASH_SALT define of Modules/expat/expat.h became
useless since our local expat copy was upgrade to expat 2.1 (it's now
expat 2.2.0).

(cherry picked from commit 23ec4b57e1359f9c539b8defc317542173ae087e)

* bpo-30694: Upgrade Modules/expat/ to libexpat 2.2.1 (#2300)

New file: Modules/expat/siphash.h.
(cherry picked from commit 5ff7132313eb651107b179d20218dfe5d4e47f13)

* bpo-30726: PCbuild _elementtree: remove duplicate defines (#2348)

bpo-30726, bpo-29591: libexpat 2.2.1 of Modules/expat/ now uses
a winconfig.h configuration file which already defines:

* XML_NS
* XML_DTD
* BYTEORDER=1234
* XML_CONTEXT_BYTES=1024
* HAVE_MEMMOVE

Remove these defines from PCbuild/_elementtree.vcxproj to prevent
compiler warnings.

Co-Authored-By: Jeremy Kloth <jeremy.kloth@gmail.com>
(cherry picked from commit c8fb58bd7917151e63398587a7fc2126db7c26de)

* bpo-30726: Fix elementtree warnings on Windows due to expat upgrade (#2319)

* bpo-30726: Fix elementtree warnings on Windows

Caused by usage of `getenv` which should be safe. And a few integer
truncations which should also be ok.

* bpo-30726: Don't ignore libexpat warnings which haypo intends to fix upstream

(cherry picked from commit 87c65550730a8f85ce339ba197bce4fb7e836619)

[3.4] [3.5] bpo-27945: Fixed various segfaults with dict. (GH-1657) (GH-1678) (#2248)

Based on patches by Duane Griffin and Tim Mitchell.
(cherry picked from commit 753bca3934a7618a4fa96e107ad1c5c18633a683).
(cherry picked from commit 2f7f533cf6fb57fcedcbc7bd454ac59fbaf2c655)

[security][3.4] bpo-30730: Prevent environment variables injection in subprocess on Windows. (GH-2325) (#2362)

* [3.4] bpo-30730: Prevent environment variables injection in subprocess on Windows. (GH-2325)

Prevent passing other invalid environment variables and command arguments..
(cherry picked from commit d174d24a5d37d1516b885dc7c82f71ecd5930700)

* Update NEWS

Add "Misc/NEWS.d" directory tree for "blurb". GH-2331

CPython workflow is changing!  We're going to start using "blurb"
to manage Misc/NEWS entries:
    https://github.com/python/core-workflow
(This will be a big win for release managers, honest.)

This checkin simply populates the "Misc/NEWS.d" subdirectory tree
so that people can start putting their news entries in there.
No other changes (yet).

Issues #27850 and #27766: Remove 3DES from ssl default cipher list and add ChaCha20 Poly1305. (#224)

Backport: replace 3.5.3 with 3.4.7 in the doc versionchanged.

(cherry picked from commit 03d13c0cbfe912eb0f9b9a02987b9e569f25fe19)

bpo-25008: Deprecate smtpd and point to aiosmtpd (#274) (#280)

Post-release updates for 3.4.6.

Added tag v3.4.6 for changeset b662f4776921

Version bump for Python 3.4.6.

Merge Python 3.4.6rc1 changes back into main branch.

Post-release fixups for Python 3.4.6rc1.

merge 3.3

ring IDLE.app into 2017, too

Added tag v3.4.6rc1 for changeset e199a272ccda

Version bump for 3.4.6rc1.

Regenerated pydoc topics for 3.4.6rc1.  (Also fixed doc error, improved build.)

Fix test failure so it's no longer dependent on example.com.

merge 3.3

ring in 2017 for Python

Upgrade pip to 9.0.1 and setuptools to 28.8.0

Issue #28563: Make plural form selection more lenient and accepting
non-integer numbers.  Django tests depend on this.

Issue #28563: Make plural form selection more lenient and accepting
non-integer numbers.  Django tests depend on this.

Issue #28648: Fixed crash in Py_DecodeLocale() in debug build on Mac OS X
when decode astral characters.

Issue #28648: Fixed crash in Py_DecodeLocale() in debug build on Mac OS X
when decode astral characters.

Issue #28563: Fixed possible DoS and arbitrary code execution when handle
plural form selections in the gettext module.  The expression parser now
supports exact syntax supported by GNU gettext.

Issue #28563: Fixed possible DoS and arbitrary code execution when handle
plural form selections in the gettext module.  The expression parser now
supports exact syntax supported by GNU gettext.

Upgrade pip to 9.0 and setuptools to 28.7.1

Issue #28426: Fixed potential crash in PyUnicode_AsDecodedObject() in debug build.

Issue #28248: Update Windows build to use OpenSSL 1.0.2j

Issue #27759: Fix selectors incorrectly retain invalid file descriptors.

(Backported to 3.4 as this bug might be exploited to for DoS)

properly handle the single null-byte file (closes #24022)

Issue #26171: Null merge

Issue #26171: Prevent buffer overflow in get_data

Backport of 01ddd608b85c.

Upgrade setuptools to 27.1.2

Upgrade setuptools to 27.1.1

Issue #27960: Revert state to 675e20c38fdac6, backing out all changes by developed for Issue #12885.

Issue #12885: Revert commits in 3.4 branch which is security-only fixes.

Issue #12885: Correct issue reference in NEWS

Backed out changeset cc86e9e102e8

Issue #12285: Update NEWS

rearrange methodcaller_new so that the main error case does not cause uninitialized memory usage (closes #27783)

do not decref value borrowed from list (closes #27774)

fix possible integer overflow in binascii.b2a_qp (closes #27760)

Reported by Thomas E. Hybel

check for overflow in join_append_data (closes #27758)

Reported by Thomas E. Hybel

Issue #20160: Handled passing of large structs to callbacks correctly.

Switch upload.pypi.io to upload.pypi.org

Prevent HTTPoxy attack (CVE-2016-1000110)

Ignore the HTTP_PROXY variable when REQUEST_METHOD environment is set, which
indicates that the script is in CGI mode.

Issue #27568 Reported and patch contributed by Rémi Rampin.

Issue #27369: Merge test_pyexpat from 3.2 into 3.3

Issue #27369: Don’t test error message detail that changed in Expat 2.2.0

Issue #22758: Move NEWS entry to Library section

#22758 null merge

#22758: fix regression in handling of secure cookies.

This backports the fix from #16611, per discussion with the release
manager.

Switch to the new upload url for PyPI

Issue #25940: On Windows, connecting to port 444 returns ETIMEDOUT

Issue #25940: Use self-signed.pythontest.net in SSL tests

This is instead of svn.python.org, whose certificate recently expired, and
whose new certificate uses a different root certificate.

The certificate used at the pythontest server was modifed to set the "basic
constraints" CA flag. This flag seems to be required for test_get_ca_certs_
capath() to work (in Python 3.4+).

Added the new self-signed certificate to capath with the following commands:

cp Lib/test/{selfsigned_pythontestdotnet.pem,capath/}
c_rehash -v Lib/test/capath/
c_rehash -v -old Lib/test/capath/
# Note the generated file names
cp Lib/test/capath/{selfsigned_pythontestdotnet.pem,0e4015b9.0}
mv Lib/test/capath/{selfsigned_pythontestdotnet.pem,ce7b8643.0}

The new server responds with "No route to host" when connecting to port 444.

Issue #25709: Fixed problem with in-place string concatenation and utf-8 cache.

Issue #25940: Merge ETIMEDOUT fix from 3.2 into 3.3

Issue #25940: Merge self-signed.pythontest.net testing from 3.2 into 3.3

remove some copyright notices supserseded by the toplevel ones

add 2015 and 2016

reflow

2016 will be another year of writing copyrighted code

fix reordering

merge 3.2

add CVE and issue number

Issue #12285: Replace implementation of findall with implementation from Setuptools 7ce820d524db.

Issue #25021: Correctly make sure that product.__setstate__ does not access
invalid memory.

Sort result to avoid spurious errors due to order.

Add docstring and additional test revealing nuances of the implementation as found in setuptools.

Add another test capturing the basic discovery expectation.

Issue #12285: Add test capturing failure.

Use modern mechanism for test discovery

merge 3.3 (#27783)

merge 3.3 (#27774)

fail when negative values are passed to instr()

Update setuptools/pip to 25.2.0/8.1.2

merge 3.3 (closes #27760)

do not allow reading negative values with getstr()

merge 3.3 (#27758)

Issue #20160: Merged fix from 3.3.

Merge 3.3