Backport of missing part of r52229

Port of universal binary support for Mac OSX from python 2.5. This takes away
the need for the out-of-tree universal binary support that was used to build
the 2.4.3 installer.

Missing here relative to that tree are some changes to IDLE, IMHO those patches
aren't appropriate for the 2.4 branch and users are better of using 2.5's IDLE.

Move an old news entry about cjkcodecs to the right place; "Extension
Modules".

Backport from trunk r52223:

Bug #1572832: fix a bug in ISO-2022 codecs which may cause segfault
when encoding non-BMP unicode characters.  (Submitted by Ray Chason)

[Backport r43695 | neal.norwitz]

Remove dead code (reported by HP compiler).

Can probably be backported if anyone cares.

[Backport r46044 | neal.norwitz]

Fix #132 from Coverity, retval could have been derefed
if a continue inside a try failed.

[Backport r46602 | neal.norwitz]

Patch #1357836:

Prevent an invalid memory read from test_coding in case the done flag is set.
In that case, the loop isn't entered.  I wonder if rather than setting
the done flag in the cases before the loop, if they should just exit early.

This code looks like it should be refactored.

Backport candidate (also the early break above if decoding_fgets fails)

Case fixes

Add user32.lib to the libraries. Fixes #1571023.

- update links
- remove Sleepycat name now that they have been bought

Include sgml_input.html.

[Backport r50679 | neal.norwitz.  This is the last Klocwork bug to be
 backported.]

Use sizeof(buffer) instead of duplicating the constants to ensure they won't
be wrong.

The real change is to pass (bufsz - 1) to PyOS_ascii_formatd and 1
to strncat.  strncat copies n+1 bytes from src (not dest).

Reported by Klocwork #58.

[Backport r50681 | neal.norwitz]

PyFunction_SetDefaults() is documented as taking None or a tuple.
A NULL would crash the PyTuple_Check().  Now make NULL return a SystemError.

Reported by Klocwork #73.

[Backport r51222 | neal.norwitz -- if you hack the code to set r=NULL,
 you find that Python does print "MemoryError".  There's no traceback
 and no indication of which line of code is responsible, but it's
 better than a segfault.]

Handle NULL nodes while parsing.  I'm not entirely sure this is correct.
There might be something else that needs to be done to setup the error.

Klocwork #295.

[Backport r51246 | neal.norwitz]

Handle a whole lot of failures from PyString_FromInternedString().

Should fix most of Klocwork 234-272.

[Backport r51400 | neal.norwitz]

Move initialization of interned strings to before allocating the
object so we don't leak op.  (Fixes an earlier patch to this code)

Klockwork #350

[Backport r51221 | neal.norwitz -- the original commit message is wrong;
 this code is only used if WITHOUT_COMPLEX is *not* defined, which is the
 common case for Python builds.]

This code is actually not used unless WITHOUT_COMPLEX is defined.
However, there was no error checking that PyFloat_FromDouble returned
a valid pointer.  I believe this change is correct as it seemed
to follow other code in the area.

Klocwork # 292.

[Backport r51220 | neal.norwitz]

It's highly unlikely, though possible for PyEval_Get*() to return NULLs.
So be safe and do an XINCREF.

Klocwork # 221-222.

[Backport r50685 | neal.norwitz]

Reported by Klocwork #151.

v2 can be NULL if exception2 is NULL.  I don't think that condition can happen,
but I'm not sure it can't either.  Now the code will protect against either
being NULL.

[Backport r50783 | neal.norwitz.  The bytes_left code is complicated,
 but looks correct on a casual inspection and hasn't been modified
 in the trunk.  Does anyone want to review further?]

Ensure we don't write beyond errText.  I think I got this right, but
it definitely could use some review to ensure I'm not off by one
and there's no possible overflow/wrap-around of bytes_left.
Reported by Klocwork #1.

Fix a problem if there is a failure allocating self->db.
Found with failmalloc.

[Partial backport of r51218 | neal.norwitz -- the changes to ast.c, symtable.c,
 and _elementtree.c weren't applicable]

Klocwork made another run and found a bunch more problems.
This is the first batch of fixes that should be easy to verify based on context.
This fixes problem numbers: 220 (ast), 323-324 (symtable),
321-322 (structseq), 215 (array), 210 (hotshot), 182 (codecs), 209 (etree).

[Partial backport of r50773 | neal.norwitz -- other parts of this patch
 applied to pyarena.c, compile.c, and symtable.c, which were different in 2.4.]

Fix more memory allocation issues found with failmalloc.

[Backport r50743 | neal.norwitz]

Handle allocation failures gracefully.  Found with failmalloc.
Many (all?) of these could be backported.

[Backport r52147 | andrew.kuchling]

Cause a PyObject_Malloc() failure to trigger a MemoryError, and then
add 'if (PyErr_Occurred())' checks to various places so that NULL is
returned properly.

[Backport r51223 | neal.norwitz]

If _stat_float_times is false, we will try to INCREF ival which could be NULL.
Return early in that case.  The caller checks for PyErr_Occurred so this
should be ok.

Klocwork #297

[Backport r51224 | neal.norwitz]

Move the assert which checks for a NULL pointer first.
Klocwork #274.

[Backport r51247 | neal.norwitz]

cpathname could be NULL if it was longer than MAXPATHLEN.  Don't try
to write the .pyc to NULL.

Check results of PyList_GetItem() and PyModule_GetDict() are not NULL.

Klocwork 282, 283, 285

[Backport r51248 | neal.norwitz]

Fix segfault when doing string formatting on subclasses of long if
__oct__, __hex__ don't return a string.

Klocwork 308

[Backport r51255 | neal.norwitz]

Really address the issue of where to place the assert for leftblock.
(Followup of Klocwork 274)

Remove bogus openssl-0.9.8a directory.

Build _ssl.pyd with OpenSSL 0.9.7l

[Backport r51225 | neal.norwitz]

Try to handle a malloc failure.  I'm not entirely sure this is correct.
There might be something else we need to do to handle the exception.

Klocwork # 212-213

[I think this needs more work; a malloc() failure will cause a match to fail,
 but nothing raises MemoryError.  I'll work on this on the trunk and backport.
 --amk]

[Backport r51232 | neal.norwitz]

Verify verdat which is returned from malloc is not NULL.
Ensure we don't pass NULL to free.

Klocwork #306 (at least the first part, checking malloc)

[Backport r51245 | neal.norwitz]

Move/copy assert for tstate != NULL before first use.
Verify that PyEval_Get{Globals,Locals} returned valid pointers.

Klocwork 231-232

[Backport r51251 | neal.norwitz]

Handle malloc and fopen failures more gracefully.

Klocwork 180-181

[Backport r51226 | neal.norwitz]

I'm not sure why this code allocates this string for the error message.
I think it would be better to always use snprintf and have the format
limit the size of the name appropriately (like %.200s).

Klocwork #340

Compilation problem caused by conflicting typedefs for uint32_t
(unsigned long vs. unsigned int).

A review of overflow-detecting code in the 2.4 branch.

* unified the way intobject, longobject and mystrtoul handle
  values around -sys.maxint-1.

* in general, trying to entierely avoid overflows in any computation
  involving signed ints or longs is extremely involved.  Fixed a few
  simple cases where a compiler might be too clever (but that's all
  guesswork).

* more overflow checks against bad data in marshal.c.

Add uuids for upcoming 2.4.4 release.

Patch #1570253: Fix build problems caused by backports.

Fix integer negation and absolute value to not rely
on undefined behaviour of the C compiler anymore.

decode_rfc2231(): As Christian Robottom Reis points out, it makes no sense to
test for parts > 3 when we use .split(..., 2).

[Backport r51252 | neal.norwitz]

It's very unlikely, though possible that source is not a string.  Verify
that PyString_AsString() returns a valid pointer.  (The problem can
arise when zlib.decompress doesn't return a string.)

Klocwork 346

[backport r51253 | neal.norwitz]

Handle failures from lookup.

Klocwork 341-342

[Backport r51033 | neal.norwitz]

Prevent memory leak on error.

Reported by Klocwork #36

[Backport r50858 | neal.norwitz]

No functional change.  Add comment and assert to describe why there
cannot be overflow which was reported by Klocwork.  Discussed on
python-dev.

[Backport r50782 | neal.norwitz]

nextlink can be NULL if teedataobject_new fails, so use XINCREF.
Ensure that dataobj is never NULL.

Reported by Klocwork #102

[Partial backport of r50777 | neal.norwitz]

Handle more mem alloc issues found with failmalloc

[The other half of this patch affected Python/symtable.c, and wasn't
 relevant for the 2.4 branch. --amk]

[Backport r51443 | neal.norwitz]

Handle a few more error conditions.

Klocwork 301 and 302.  Will backport.

[Backport r51231 | neal.norwitz]

PyModule_GetDict() can fail, produce fatal errors if this happens on startup.

Klocwork #298-299.

[Backport r51230 | neal.norwitz]

Check return of PyMem_MALLOC (garbage) is non-NULL.
Check seq in both portions of if/else.

Klocwork #289-290.

[Backport r51229 | neal.norwitz]

Don't deref v if it's NULL.

Klocwork #214

[Backport r50781 | neal.norwitz]

Fix memory leaks spotted by Klocwork #37.

[Backport r50779 | neal.norwitz]

Move the initialization of size_a down below the check for a being NULL.

Reported by Klocwork #106.

[Slight change required: in 2.5 Py_ssize_t is used, but 2.4 uses int.]

[Backport r50683 | neal.norwitz]

Stop INCREFing name, then checking if it's NULL.  name (f_name) should never
be NULL so assert it.  Fix one place where we could have passed NULL.

Reported by Klocwork #66.

[Backport r50680 | neal.norwitz]

Handle a NULL name properly.

[Backport r51256 | neal.norwitz]

Handle malloc failure.

Klocwork 281

[Backport r50678 | neal.norwitz]

Fix memory leak under some conditions.

Reported by Klocwork, #98.

[Backport r50677 | neal.norwitz]

Fix memory leaks in some conditions.

Reported by Klocwork #152.

[Backport rev. 42545 by georg.brandl]

Make staticmethod and classmethod complain about keyword args.

[Backport rev. 47010 by neal.norwitz]

Fix memory leak reported by valgrind while running test_subprocess

[Backport rev. 51728 by neal.norwitz]

Patch #1540470, for OpenBSD 4.0.  Backport candidate for 2.[34].

[Backport rev. 51669 by brett.cannon]

Make sure memory is properly cleaned up in file_init.

Backport candidate.

[Backport rev. 47171 by neal.norwitz]

Another problem reported by Coverity.  Backport candidate.

Guard uintptr_t test with HAVE_STDINT_H, test for
stdint.h.

Fix test for uintptr_t. Fixes #1568842.

Back out r52076, it's causing the buildbots to fail because of test_charmapcodec.

Bug #1446043: correctly raise a LookupError if an encoding name given
to encodings.search_function() contains a dot.
 (backport from rev. 52075)

Bug #1556784: allow format strings longer than 127 characters in
datetime's strftime function.
 (backport from rev. 52072)

Bug #1560617: in pyclbr, return full module name not only for classes,
but also for functions.
 (backport from rev. 52069)

Bug #1566602: correct failure of posixpath unittest when $HOME ends
with a slash.
 (backport from rev. 52065)

Patch #1567691: super() and new.instancemethod() now don't accept
keyword arguments any more (previously they accepted them, but didn't
use them).
 (backport from rev. 52058)

Bug #1567375: a minor logical glitch in example description.
 (backport from rev. 52053)

wording change

[Backport rev. 46882 by neal.norwitz]

Fix the socket tests so they can be run concurrently.  Backport candidate

Typo fix from rev. 46879

[Backport rev. 46878 by neal.norwitz]

Don't leak the list object if there's an error allocating the item
storage.  Backport candidate.

[Backport rev. 39743 by lemburg]

Bug fix for [ 1331062 ] utf 7 codec broken.

Backport candidate.

[Backport rev. 41696 by neal.norwitz]

Fix an int/long mismatch identified here:
        http://www.tortall.net/mu/blog/2005/12/01

Pointed out from SF #1365916.

Backport candidate.

[Backport rev39767 by nnorwitz]

Free coding spec (cs) if there was an error to prevent mem leak.
Maybe backport candidate.

[Bugfix seems applicable to 2.4 to me. --amk]

[Backport rev.39739 by nnorwitz]

SF bug #1328915, try to word kill a bit more generically.  Backport candidate.

[Backport rev 39653 by nnorwitz]

SF Bug # 941346, AIX shared library fix

Since I can't test this, I'm just adding a comment.  If we get access
to AIX boxes, we can test this and really resolve.  Anyone from IBM
want to offer help?

Backport candidate I suppose.

[Backport rev. 39645 by nnorwitz]

SF patch #1227568, bug #1219273, Expression AST node not documented.
Backport candidate if anyone cares.

[Backport rev. 39135 by mwh]

Fix bug

[ 1232517 ] OverflowError in time.utime() causes strange traceback

A needed error check was missing.

(Actually, this error check may only have become necessary in fairly
recent Python, not sure).

Backport candidate.

[A few lines below the code in 2.4 touched by the patch, there's already
 a similar check of (intval == -1 && PyErr_Occurred()), so I think
 this function can already report such errors, and therefore the fix
 still applies.  Perhaps Michael can clarify what he was referring to. --amk]

[Backport rev.39030 by nascheme]

Add missing INCREF.

[Backport rev. 39012 by mwh]

Add a missing incref.

[Backport rev. 38534 by loewis]

[Possibly controversial because it adds a parameter to a method.
 This parameter isn't documented, however, so arguably it's a private
 detail, and the fix is necessary to make GzipFile.flush() behave more
 similarly to regular file object.]

Patch #1110248: SYNC_FLUSH the zlib buffer for GZipFile.flush.
Partially fixes #1110242.

Make examples do error checking on Py_InitModule

[Backport of rev. 42093 by neal.norwitz]

Check return result from Py_InitModule*().  This API can fail.

Probably should be backported.

[Backport of rev. 51683 by neal.norwitz]

Bug #1548092: fix curses.tparm seg fault on invalid input.  Needs
backport to 2.5.1 and earlier.

[Backport rev.51254 from neal.norwitz]

Handle failure from PyModule_GetDict() (Klocwork 208).

Fix a bunch of refleaks in the init of the module.  This would only be found
when running python -v.

fix a bug with bsddb.DB.stat reversing its flags and txn keyword
arguments.  (reported by Louis Zechtzer)

Backport 51850 from release25-maint branch.

As mentioned on python-dev, reverting patch #1504333 because it introduced
an infinite loop in rev 47154.

This patch also adds a test to prevent the regression.

Backport from trunk r51737:

Fixed a few bugs on cjkcodecs:
- gbk and gb18030 codec now handle U+30FB KATAKANA MIDDLE DOT correctly.
- iso2022_jp_2 codec now encodes into G0 for KS X 1001, GB2312
 codepoints to conform the standard.
- iso2022_jp_3 and iso2022_jp_2004 codec can encode JIS X 0213:2
 codepoints now.

Remove bogus NEWS entry.

Fix missing import of the types module in logging.config.
 (backport from rev. 51785)

Bug #1551427: fix a wrong NULL pointer check in the win32 version
of os.urandom().
 (backport from rev. 51762)

Merge rev 51711 from the 2.5 branch.

i_divmod():  As discussed on Python-Dev, changed the overflow
checking to live happily with recent gcc optimizations that
assume signed integer arithmetic never overflows.

Backport trunk's revision 51565:

Fix SF bug #1545837: array.array borks on deepcopy.
array.__deepcopy__() needs to take an argument, even if it doesn't actually
use it. Will backport to 2.5 and 2.4 (if applicable.)

Backport rev 51448:
- Patch #1541585: fix buffer overrun when performing repr() on
  a unicode string in a build with wide unicode (UCS-4) support.

Patch #1540329: _hotshot.c fix backports.