]> git.ipfire.org Git - thirdparty/Python/cpython.git/commitdiff
Closes #22668: Merge from 3.4.
authorStefan Krah <skrah@bytereef.org>
Thu, 29 Jan 2015 13:29:51 +0000 (14:29 +0100)
committerStefan Krah <skrah@bytereef.org>
Thu, 29 Jan 2015 13:29:51 +0000 (14:29 +0100)
1  2 
Doc/whatsnew/3.5.rst
Include/memoryobject.h
Lib/test/test_sys.py
Objects/memoryobject.c

index 98e421d9df3ab9465f2f158d35aad61a51e6e781,0000000000000000000000000000000000000000..c309aa80c7cbb7214ed95172b037fec01b8bd873
mode 100644,000000..100644
--- /dev/null
@@@ -1,493 -1,0 +1,499 @@@
 +****************************
 +  What's New In Python 3.5
 +****************************
 +
 +:Release: |release|
 +:Date: |today|
 +
 +.. Rules for maintenance:
 +
 +   * Anyone can add text to this document.  Do not spend very much time
 +   on the wording of your changes, because your text will probably
 +   get rewritten to some degree.
 +
 +   * The maintainer will go through Misc/NEWS periodically and add
 +   changes; it's therefore more important to add your changes to
 +   Misc/NEWS than to this file.
 +
 +   * This is not a complete list of every single change; completeness
 +   is the purpose of Misc/NEWS.  Some changes I consider too small
 +   or esoteric to include.  If such a change is added to the text,
 +   I'll just remove it.  (This is another reason you shouldn't spend
 +   too much time on writing your addition.)
 +
 +   * If you want to draw your new text to the attention of the
 +   maintainer, add 'XXX' to the beginning of the paragraph or
 +   section.
 +
 +   * It's OK to just add a fragmentary note about a change.  For
 +   example: "XXX Describe the transmogrify() function added to the
 +   socket module."  The maintainer will research the change and
 +   write the necessary text.
 +
 +   * You can comment out your additions if you like, but it's not
 +   necessary (especially when a final release is some months away).
 +
 +   * Credit the author of a patch or bugfix.   Just the name is
 +   sufficient; the e-mail address isn't necessary.
 +
 +   * It's helpful to add the bug/patch number as a comment:
 +
 +   XXX Describe the transmogrify() function added to the socket
 +   module.
 +   (Contributed by P.Y. Developer in :issue:`12345`.)
 +
 +   This saves the maintainer the effort of going through the Mercurial log
 +   when researching a change.
 +
 +This article explains the new features in Python 3.5, compared to 3.4.
 +
 +For full details, see the :source:`Misc/NEWS` file.
 +
 +.. note:: Prerelease users should be aware that this document is currently in
 +   draft form. It will be updated substantially as Python 3.5 moves towards
 +   release, so it's worth checking back even after reading earlier versions.
 +
 +
 +.. seealso::
 +
 +    :pep:`478` - Python 3.5 Release Schedule
 +
 +
 +Summary -- Release highlights
 +=============================
 +
 +.. This section singles out the most important changes in Python 3.3.
 +   Brevity is key.
 +
 +New syntax features:
 +
 +* None yet.
 +
 +New library modules:
 +
 +* None yet.
 +
 +New built-in features:
 +
 +* None yet.
 +
 +Implementation improvements:
 +
 +* When the ``LC_TYPE`` locale is the POSIX locale (``C`` locale),
 +  :py:data:`sys.stdin` and :py:data:`sys.stdout` are now using the
 +  ``surrogateescape`` error handler, instead of the ``strict`` error handler
 +  (:issue:`19977`).
 +
 +Significantly Improved Library Modules:
 +
 +* None yet.
 +
 +Security improvements:
 +
 +* None yet.
 +
 +Please read on for a comprehensive list of user-facing changes.
 +
 +
 +.. PEP-sized items next.
 +
 +.. _pep-4XX:
 +
 +.. PEP 4XX: Virtual Environments
 +.. =============================
 +
 +
 +.. (Implemented by Foo Bar.)
 +
 +.. .. seealso::
 +
 +    :pep:`4XX` - Python Virtual Environments
 +       PEP written by Carl Meyer
 +
 +
 +
 +
 +Other Language Changes
 +======================
 +
 +Some smaller changes made to the core Python language are:
 +
 +* Added the ``'namereplace'`` error handlers.  The ``'backslashreplace'``
 +  error handlers now works with decoding and translating.
 +  (Contributed by Serhiy Storchaka in :issue:`19676` and :issue:`22286`.)
 +
 +
 +
 +New Modules
 +===========
 +
 +.. module name
 +.. -----------
 +
 +* None yet.
 +
 +
 +Improved Modules
 +================
 +
 +code
 +----
 +
 +* The :func:`code.InteractiveInterpreter.showtraceback` method now prints
 +  the full chained traceback, just like the interactive interpreter.
 +  (Contributed by Claudiu.Popa in :issue:`17442`.)
 +
 +compileall
 +----------
 +
 +* :func:`compileall.compile_dir` and :mod:`compileall`'s command-line interface
 +  can now do parallel bytecode compilation.
 +  (Contributed by Claudiu Popa in :issue:`16104`.)
 +
 +contextlib
 +----------
 +
 +* The new :func:`contextlib.redirect_stderr` context manager(similar to
 +  :func:`contextlib.redirect_stdout`) makes it easier for utility scripts to
 +  handle inflexible APIs that write their output to :data:`sys.stderr` and
 +  don't provide any options to redirect it.
 +  (Contributed by Berker Peksag in :issue:`22389`.)
 +
 +distutils
 +---------
 +
 +* The ``build`` and ``build_ext`` commands now accept a ``-j``
 +  option to enable parallel building of extension modules.
 +  (Contributed by Antoine Pitrou in :issue:`5309`.)
 +
 +doctest
 +-------
 +
 +* :func:`doctest.DocTestSuite` returns an empty :class:`unittest.TestSuite` if
 +  *module* contains no docstrings instead of raising :exc:`ValueError`.
 +  (Contributed by Glenn Jones in :issue:`15916`.)
 +
 +glob
 +----
 +
 +* :func:`~glob.iglob` and :func:`~glob.glob` now support recursive search in
 +  subdirectories using the "``**``" pattern.
 +  (Contributed by Serhiy Storchaka in :issue:`13968`.)
 +
 +imaplib
 +-------
 +
 +* :class:`IMAP4` now supports the context management protocol.  When used in a
 +  :keyword:`with` statement, the IMAP4 ``LOGOUT`` command will be called
 +  automatically at the end of the block.  (Contributed by Tarek Ziadé and
 +  Serhiy Storchaka in :issue:`4972`.)
 +
 +imghdr
 +------
 +
 +* :func:`~imghdr.what` now recognizes the `OpenEXR <http://www.openexr.com>`_
 +  format.  (Contributed by Martin vignali and Cladui Popa in :issue:`20295`.)
 +
 +importlib
 +---------
 +
 +* :class:`importlib.util.LazyLoader` allows for the lazy loading of modules in
 +  applications where startup time is paramount.
 +  (Contributed by Brett Cannon in :issue:`17621`.)
 +
 +* :func:`importlib.abc.InspectLoader.source_to_code` is now a
 +  static method to make it easier to work with source code in a string.
 +  With a module object that you want to initialize you can then use
 +  ``exec(code, module.__dict__)`` to execute the code in the module.
 +
 +* :func:`importlib.util.module_from_spec` is now the preferred way to create a
 +  new module. Compared to :class:`types.ModuleType`, this new function will set
 +  the various import-controlled attributes based on the passed-in spec object.
 +
 +inspect
 +-------
 +
 +* :class:`inspect.Signature` and :class:`inspect.Parameter` are now
 +  picklable and hashable.  (Contributed by Yury Selivanov in :issue:`20726`
 +  and :issue:`20334`.)
 +
 +* New class method :meth:`inspect.Signature.from_callable`, which makes
 +  subclassing of :class:`~inspect.Signature` easier.  (Contributed
 +  by Yury Selivanov and Eric Snow in :issue:`17373`.)
 +
 +ipaddress
 +---------
 +
 +* :class:`ipaddress.IPv4Network` and :class:`ipaddress.IPv6Network` now
 +  accept an ``(address, netmask)`` tuple argument, so as to easily construct
 +  network objects from existing addresses.  (Contributed by Peter Moody
 +  and Antoine Pitrou in :issue:`16531`.)
 +
 +json
 +----
 +
 +* The output of :mod:`json.tool` command line interface is now in the same
 +  order as the input. Use the :option:`--sort-keys` option to sort the output
 +  of dictionaries alphabetically by key.  (Contributed by Berker Peksag in
 +  :issue:`21650`.)
 +
 +* JSON decoder now raises :exc:`json.JSONDecodeError` instead of
 +  :exc:`ValueError`.   (Contributed by Serhiy Storchaka in :issue:`19361`.)
 +
 +os
 +--
 +
 +* :class:`os.stat_result` now has a :attr:`~os.stat_result.st_file_attributes`
 +  attribute on Windows.  (Contributed by Ben Hoyt in :issue:`21719`.)
 +
 +re
 +--
 +
 +* Number of capturing groups in regular expression is no longer limited by 100.
 +  (Contributed by Serhiy Storchaka in :issue:`22437`.)
 +
 +* Now unmatched groups are replaced with empty strings in :func:`re.sub`
 +  and :func:`re.subn`.  (Contributed by Serhiy Storchaka in :issue:`1519638`.)
 +
 +math
 +----
 +
 +* :data:`math.inf` and :data:`math.nan` constants added.  (Contributed by Mark
 +  Dickinson in :issue:`23185`.)
 +
 +shutil
 +------
 +
 +* :func:`~shutil.move` now accepts a *copy_function* argument, allowing,
 +  for example, :func:`~shutil.copy` to be used instead of the default
 +  :func:`~shutil.copy2` if there is a need to ignore metadata.  (Contributed by
 +  Claudiu Popa in :issue:`19840`.)
 +
 +signal
 +------
 +
 +* Different constants of :mod:`signal` module are now enumeration values using
 +  the :mod:`enum` module. This allows meaningful names to be printed during
 +  debugging, instead of integer “magic numbers”.  (Contributed by Giampaolo
 +  Rodola' in :issue:`21076`.)
 +
 +smtpd
 +-----
 +
 +* Both :class:`~smtpd.SMTPServer` and :class:`smtpd.SMTPChannel` now accept a
 +  *decode_data* keyword to determine if the DATA portion of the SMTP
 +  transaction is decoded using the ``utf-8`` codec or is instead provided to
 +  :meth:`~smtpd.SMTPServer.process_message` as a byte string.  The default
 +  is ``True`` for backward compatibility reasons, but will change to ``False``
 +  in Python 3.6.  (Contributed by Maciej Szulik in :issue:`19662`.)
 +
 +* It is now possible to provide, directly or via name resolution, IPv6
 +  addresses in the :class:`~smtpd.SMTPServer` constructor, and have it
 +  successfully connect.  (Contributed by Milan Oberkirch in :issue:`14758`.)
 +
 +* :mod:`~smtpd.SMTPServer` now supports :rfc:`6531` via the *enable_SMTPUTF8*
 +  constructor argument and a user-provided
 +  :meth:`~smtpd.SMTPServer.process_smtputf8_message` method.
 +
 +smtplib
 +-------
 +
 +* A new :meth:`~smtplib.SMTP.auth` method provides a convenient way to
 +  implement custom authentication mechanisms.
 +  (Contributed by Milan Oberkirch in :issue:`15014`.)
 +
 +sndhdr
 +------
 +
 +* :func:`~sndhdr.what` and :func:`~sndhdr.whathdr` now return
 +  :func:`~collections.namedtuple`.
 +  (Contributed by Claudiu Popa in :issue:`18615`.)
 +
 +socket
 +------
 +
 +* New :meth:`socket.socket.sendfile` method allows to send a file over a socket
 +  by using high-performance :func:`os.sendfile` function on UNIX resulting in
 +  uploads being from 2x to 3x faster than when using plain
 +  :meth:`socket.socket.send`.
 +  (Contributed by Giampaolo Rodola' in :issue:`17552`.)
 +
 +time
 +----
 +
 +* The :func:`time.monotonic` function is now always available.  (Contributed by
 +  Victor Stinner in :issue:`22043`.)
 +
 +time
 +----
 +
 +* A new :class:`urllib.request.HTTPBasicPriorAuthHandler` allows HTTP Basic
 +  Authentication credentials to be sent unconditionally with the first HTTP
 +  request, rather than waiting for a HTTP 401 Unauthorized response from the
 +  server.
 +  (Contributed by Matej Cepl in :issue:`19494`.)
 +
 +wsgiref
 +-------
 +
 +* *headers* parameter of :class:`wsgiref.headers.Headers` is now optional.
 +  (Contributed by Pablo Torres Navarrete and SilentGhost in :issue:`5800`.)
 +
 +xmlrpc
 +------
 +
 +* :class:`xmlrpc.client.ServerProxy` is now a :term:`context manager`.
 +  (Contributed by Claudiu Popa in :issue:`20627`.)
 +
 +
 +Optimizations
 +=============
 +
 +The following performance enhancements have been added:
 +
 +* Construction of ``bytes(int)`` (filled by zero bytes) is faster and use less
 +  memory for large objects. ``calloc()`` is used instead of ``malloc()`` to
 +  allocate memory for these objects.
 +
 +* Some operations on :class:`~ipaddress.IPv4Network` and
 +  :class:`~ipaddress.IPv6Network` have been massively sped up, such as
 +  :meth:`~ipaddress.IPv4Network.subnets`, :meth:`~ipaddress.IPv4Network.supernet`,
 +  :func:`~ipaddress.summarize_address_range`, :func:`~ipaddress.collapse_addresses`.
 +  The speed up can range from 3x to 15x.
 +  (:issue:`21486`, :issue:`21487`, :issue:`20826`)
 +
 +
 +Build and C API Changes
 +=======================
 +
 +Changes to Python's build process and to the C API include:
 +
 +* New ``calloc`` functions:
 +
 +  * :c:func:`PyMem_RawCalloc`
 +  * :c:func:`PyMem_Calloc`
 +  * :c:func:`PyObject_Calloc`
 +  * :c:func:`_PyObject_GC_Calloc`
 +
 +
 +Deprecated
 +==========
 +
 +Unsupported Operating Systems
 +-----------------------------
 +
 +* None yet.
 +
 +
 +Deprecated Python modules, functions and methods
 +------------------------------------------------
 +
 +* The :mod:`formatter` module has now graduated to full deprecation and is still
 +  slated for removal in Python 3.6.
 +
 +* :mod:`smtpd` has in the past always decoded the DATA portion of email
 +  messages using the ``utf-8`` codec.  This can now be controlled by the new
 +  *decode_data* keyword to :class:`~smtpd.SMTPServer`.  The default value is
 +  ``True``, but this default is deprecated.  Specify the *decode_data* keyword
 +  with an appropriate value to avoid the deprecation warning.
 +
 +
 +Deprecated functions and types of the C API
 +-------------------------------------------
 +
 +* None yet.
 +
 +
 +Deprecated features
 +-------------------
 +
 +* None yet.
 +
 +
 +Removed
 +=======
 +
 +API and Feature Removals
 +------------------------
 +
 +The following obsolete and previously deprecated APIs and features have been
 +removed:
 +
 +* The ``__version__`` attribute has been dropped from the email package.  The
 +  email code hasn't been shipped separately from the stdlib for a long time,
 +  and the ``__version__`` string was not updated in the last few releases.
 +
 +* The internal ``Netrc`` class in the :mod:`ftplib` module was deprecated in
 +  3.4, and has now been removed.
 +  (Contributed by Matt Chaput in :issue:`6623`.)
 +
 +Porting to Python 3.5
 +=====================
 +
 +This section lists previously described changes and other bugfixes
 +that may require changes to your code.
 +
 +Changes in the Python API
 +-------------------------
 +
 +* Before Python 3.5, a :class:`datetime.time` object was considered to be false
 +  if it represented midnight in UTC.  This behavior was considered obscure and
 +  error-prone and has been removed in Python 3.5.  See :issue:`13936` for full
 +  details.
 +
 +* :meth:`ssl.SSLSocket.send()` now raises either :exc:`ssl.SSLWantReadError`
 +  or :exc:`ssl.SSLWantWriteError` on a non-blocking socket if the operation
 +  would block. Previously, it would return 0.  See :issue:`20951`.
 +
 +* The ``__name__`` attribute of generator is now set from the function name,
 +  instead of being set from the code name. Use ``gen.gi_code.co_name`` to
 +  retrieve the code name. Generators also have a new ``__qualname__``
 +  attribute, the qualified name, which is now used for the representation
 +  of a generator (``repr(gen)``). See :issue:`21205`.
 +
 +* The deprecated "strict" mode and argument of :class:`~html.parser.HTMLParser`,
 +  :meth:`HTMLParser.error`, and the :exc:`HTMLParserError` exception have been
 +  removed.  (Contributed by Ezio Melotti in :issue:`15114`.)
 +  The *convert_charrefs* argument of :class:`~html.parser.HTMLParser` is
 +  now ``True`` by default.  (Contributed by Berker Peksag in :issue:`21047`.)
 +
 +* Although it is not formally part of the API, it is worth noting for porting
 +  purposes (ie: fixing tests) that error messages that were previously of the
 +  form "'sometype' does not support the buffer protocol" are now of the form "a
 +  bytes-like object is required, not 'sometype'".  (Contributed by Ezio Melotti
 +  in :issue:`16518`.)
 +
 +* If the current directory is set to a directory that no longer exists then
 +  :exc:`FileNotFoundError` will no longer be raised and instead
 +  :meth:`~importlib.machinery.FileFinder.find_spec` will return ``None``
 +  **without** caching ``None`` in :data:`sys.path_importer_cache` which is
 +  different than the typical case (:issue:`22834`).
 +
 +* HTTP status code and messages from `http.client` and `http.server` were
 +  refactored into a common :class:`~http.HTTPStatus` enum.  The values in
 +  `http.client` and `http.server` remain available for backwards compatibility.
 +  (Contributed by Demian Brecht in :issue:`21793`.)
 +
 +* When an import loader defines :meth:`~importlib.machinery.Loader.exec_module`
 +  it is now expected to also define
 +  :meth:`~importlib.machinery.Loader.create_module` (raises a
 +  :exc:`DeprecationWarning` now, will be an error in Python 3.6). If the loader
 +  inherits from :class:`importlib.abc.Loader` then there is nothing to do, else
 +  simply define :meth:`~importlib.machinery.Loader.create_module` to return
 +  ``None`` (:issue:`23014`).
 +
 +Changes in the C API
 +--------------------
 +
++* The undocumented :c:member:`~PyMemoryViewObject.format` member of the
++  (non-public) :c:type:`PyMemoryViewObject` structure has been removed.
++
++  All extensions relying on the relevant parts in ``memoryobject.h``
++  must be rebuilt.
++
 +* The :c:type:`PyMemAllocator` structure was renamed to
 +  :c:type:`PyMemAllocatorEx` and a new ``calloc`` field was added.
 +
 +* Removed non-documented macro :c:macro:`PyObject_REPR` which leaked references.
 +  Use format character ``%R`` in :c:func:`PyUnicode_FromFormat`-like functions
 +  to format the :func:`repr` of the object.
index c2e11944467b657b979f410b4df426324f0cb04a,382ca92e1f328b35d9a1d83b6950f6734efebf23..ab5ee0956c6eeb569f94df734eaf6e4eab571525
@@@ -45,9 -45,9 +45,6 @@@ typedef struct 
  } _PyManagedBufferObject;
  
  
- /* static storage used for casting between formats */
 -/* deprecated, removed in 3.5 */
--#define _Py_MEMORYVIEW_MAX_FORMAT 3 /* must be >= 3 */
--
  /* memoryview state flags */
  #define _Py_MEMORYVIEW_RELEASED    0x001  /* access to master buffer blocked */
  #define _Py_MEMORYVIEW_C           0x002  /* C-contiguous layout */
@@@ -62,7 -62,7 +59,6 @@@ typedef struct 
      int flags;                    /* state flags */
      Py_ssize_t exports;           /* number of buffer re-exports */
      Py_buffer view;               /* private copy of the exporter's view */
-     char format[_Py_MEMORYVIEW_MAX_FORMAT]; /* used for casting */
 -    char format[_Py_MEMORYVIEW_MAX_FORMAT]; /* deprecated, removed in 3.5 */
      PyObject *weakreflist;
      Py_ssize_t ob_array[1];       /* shape, strides, suboffsets */
  } PyMemoryViewObject;
index bd2d20477157f105d4a950c4854e74de5d57a32b,f8a9e5eceeea206b501f26ded26062f9cfff2e85..edb9c10d7ac7d2d45c7bdb805708f2f6c375b5d8
@@@ -965,7 -897,7 +965,7 @@@ class SizeofTest(unittest.TestCase)
          check(int(PyLong_BASE**2-1), vsize('') + 2*self.longdigit)
          check(int(PyLong_BASE**2), vsize('') + 3*self.longdigit)
          # memoryview
--        check(memoryview(b''), size('Pnin 2P2n2i5P 3cPn'))
++        check(memoryview(b''), size('Pnin 2P2n2i5P Pn'))
          # module
          check(unittest, size('PnPPP'))
          # None
Simple merge