]> git.ipfire.org Git - thirdparty/Python/cpython.git/commit
bpo-41894: Fix UnicodeDecodeError while loading native module (GH-22466)
authorMiss Skeleton (bot) <31488909+miss-islington@users.noreply.github.com>
Thu, 15 Oct 2020 02:25:45 +0000 (19:25 -0700)
committerGitHub <noreply@github.com>
Thu, 15 Oct 2020 02:25:45 +0000 (19:25 -0700)
commitf07448bef48d645c8cee862b1f25a99003a6140e
tree5bc7e3eed4fbf6afc4f3f8b838df9f6559a9b7b1
parent69f040c0009dc4ca72f487446e74fdb2f91c95dc
bpo-41894: Fix UnicodeDecodeError while loading native module (GH-22466)

When running in a non-UTF-8 locale, if an error occurs while importing a
native Python module (say because a dependent share library is missing),
the error message string returned may contain non-ASCII code points
causing a UnicodeDecodeError.

PyUnicode_DecodeFSDefault is used for buffers which may contain
filesystem  paths. For consistency with os.strerror(),
PyUnicode_DecodeLocale is used for buffers which contain system error
messages. While the shortname parameter is always encoded in ASCII
according to PEP 489, it is left decoded using PyUnicode_FromString to
minimize the changes and since it should not affect the decoding (albeit
_potentially_ slower).

In dynload_hpux, since the error buffer contains a message generated
from a static ASCII string and the module filesystem path,
PyUnicode_DecodeFSDefault is used instead of PyUnicode_DecodeLocale as
is used elsewhere.

* bpo-41894: Fix bugs in dynload error msg handling

For both dynload_aix and dynload_hpux, properly handle the possibility
that decoding strings may return NULL and when such an error happens,
properly decrement any previously decoded strings and return early.

In addition, in dynload_aix, ensure that we pass the decoded string
*object* pathname_ob to PyErr_SetImportError instead of the original
pathname buffer.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
(cherry picked from commit 2d2af320d94afc6561e8f8adf174c9d3fd9065bc)

Co-authored-by: Kevin Adler <kadler@us.ibm.com>
Misc/NEWS.d/next/Core and Builtins/2020-10-02-11-35-33.bpo-41894.ffmtOt.rst [new file with mode: 0644]
Python/dynload_aix.c
Python/dynload_hpux.c
Python/dynload_shlib.c