Backport Jeremy's checkin 2.198:

Fix 2.1 nested scopes crash reported by Evan Simpson

The new test case demonstrates the bug.  Be more careful in
symtable_resolve_free() to add a var to cells or frees only if it
won't be added under some other rule.

XXX Add new assertion that will catch this bug.

Backport Fred's checkin 2.29:

Correct the sense of a couple of conditional compilations -- used #ifndef
when #ifdef was needed.
This closes (reallu!) SF bug #417418.

Add a list of mapping interface methods which are not supported by
rfc822.Message (per Barry's comments).

Add some clarifications about the mapping interface presented by
rfc822.Message objects, based on comments from Barry.

Update output to reflect additional precision produced by the repr() of
floating point numbers in an interactive example.

This closes SF bug #419434.

Add documentation for Py_Main() and PyThreadState_GetDict().

Typo: "that" --> "than"
This closes SF bug #425320.

Fix bug in smtplib example: the prompt said to end the message with ^D,
but doing so raised EOFError.  This makes it work as advertised and
converts to string methods where reasonable.

This closes SF bug #424776.

Make sure we include all of Python's numeric types in the data model
description, so that the introduction of complex is not a surprise.

This closes SF bug #423429.

the usual...

Migrate the last few revisions from the head to the bugfix branch -- these
have all been portability fixes and improving the consistency of how file
descriptors and file objects are handled.

Add a check for sys/modem.h, needed by termios on HP-UX.

Fix typo in weakref.proxy() documentation.
This closes SF bug #423087.

Remove all mentions of the strop module -- it has been pronounced Evil.
(The string "strop" is found in the rexec documentation, but that should
not be changed until strop is actually removed or rexec no longer allows
it.)

Fix typo reported by David Goodger.  This closes SF patch #422383.

Itamar Shtull-Trauring <python@itamarst.org>:
Updates zipfile.ZipFile docs to mention the fact that you can create a
ZipFile instance from an arbitrary file-like object.

This closes patch #418011.

Three uses of makesockaddr() used sockaddr buffers that had not be cleared;
this could cause invalid paths to be returned for AF_UNIX sockets on some
platforms (including FreeBSD 4.2-RELEASE), appearantly because there is
no assurance that the address will be nul-terminated when filled in by the
kernel.

This closes SF bug #416573.

Update build notes for Mac OS X 10.0.
This closes SF bug #416530.

Fix the operator precedence table: exponentiation binds tighter than
negation.

This closes SF bug #421999.

Update the directory names to match changes at SourceForge.

Work around limitations of the module synopsis table generation to avoid
leaking LaTeX2HTML's internal string munging.

This fixes SF bug #420399.

Job.build_html():  Be more robust in ensuring about.html exists; copying
    the right HTML file to the name about.html is needed even if the
    --numeric option was not given -- some other name may have been
    assigned due to some non-determinism in the algorithm use to perform
    name allocation.  ;-(

This closes the "About..." portion of SF bug #420216.

There is no IMAP class in the imaplib module; the class is IMAP4.
There is no imap module; refer to imaplib instead, since it exists.
Move the "See Also:" section in front of the sub-sections, for
consistency with other portions of the library reference.

This closes the library reference portion of SF bug #420216.

Note that when inplace=1 existing backup files will be removed silently.
Closes SF bug #420230.

Make the license GPL-compatible.

The weakref support in PyObject_InitVar() as well; this should have come out
at the same time as it did from PyObject_Init() .

Remove unnecessary intialization for the case of weakly-referencable objects;
the code necessary to accomplish this is simpler and faster if confined to
the object implementations, so we only do this there.

This causes no behaviorial changes beyond a (very slight) speedup.

Correct two floating-point representations printed by the interpreter in
interactive examples.  Error noted by Dinu Gherman.

Update publish-to-SourceForge scripts to automatically determine if the
branch is the head (development) branch or a maintenance brach, and use
the appropriate target directory for each.

Only document <file>.xreadlines() once; added version annotation.

This closes SF bug #417943 (in the maintenance branch).

Fix a number of minor markup errors.

The (fairly recent) \textasciicircum is not supported by LaTeX2HTML; add
support for it here.

Add versioning notes:  many of the signatures changed to allow the time
used to be omitted (meaning use the current time) as of Python 2.1.
Users who need cross-version portability need to know things like this.

Cut-&-paste-o noted by Wolfgang Teschner:  decompressobj() returns
*DE*compression objects, not compression objects!

Add description of the "explanation" optional parameter added to the
\versionadded macro.

I originally thought this should not be merged into the 2.1 maintenance
branch, but reconsidered:  documentation changes may actually *use* the
new version of the markup, so the lack of this markup variant can
reasonably be considered a bug.

\versionadded:  Add support for including an explanatory note along with
    the versioning information, similar to \versionchanged.

Added support for optional explanation parameter to the \versionadded
macro.

Refactored do_cmd_versionadded() and do_cmd_versionchanged() to do most
of the work in a helper function, with the do_cmd_*() wrappers just supplying
a portion of the replacement text.

Suggestion from Keith Briggs:  refer to RE objects consistently instead of
introducing a new term ("regex") without defining it.

Update version numbers for the maintenance branch of the documentation.

Make a number of small clarifications and correct a whole bunch of typos,
all reported by Bruce Smith.

Add note about the version in which GetoptError was added -- this can
bite people interested in 1.5.2 compatibility.

Set the version number to 2.1.1a1.  This checkin inaugurates the
release21-maint branch.

This commit was manufactured by cvs2svn to create branch
'release21-maint'.

This commit was manufactured by cvs2svn to create tag 'release21'.

Noted what's new in 2.1 (final).

Hopefully this is the last checkin for 2.1!

Fix three PyChecker-detected gotchas.

Import OPT_ symbols from _symtable.
Define has_exec() and has_import_star().

Export three optimization (fast locals) flags

Update Windows installer & buildno for 2.1 final.

In walk(), don't die when os.lstat() raises os.error, e.g. because a
file was deleted by a previous call to the visitor function.

This used to be the behavior in 1.5.2 and before, but a patch to avoid
making two stat() calls accidentally broke this in 2.0.

Moshe, this would be a good one for 2.0.1 too!

Update the version to 2.1final (again :-).

Add a test case for Weak*Dictionary.update() that would have caught a
recently reported bug; also exposed some other bugs in the implementation.

Weak*Dictionary.update():  Fix calls to [].append() to only have one
    parameter.

Weak*Dictionary.get():  Make the second parameter optional.

WeakKeyDictionary.has_key(), .keys():  Make these actually work!

Implement Mark Favas's suggestion.  There's a clear bug in _group():
its first return statement returns a single value while its caller
always expects it to return a tuple of two items.  Fix this by
returning (s, 0) instead.

This won't make the locale test on Irix succeed, but now it will fail
because of a bug in the platform's en_US locale rather than because of
a bug in the locale module.

Update document for the actual 2.1rc1

This commit was manufactured by cvs2svn to create tag 'r21c2'.

This is (hopefully) last checkin before releasing 2.1c2 -- get rid of
trailing whitespace.

Added news for 2.1c2.

Greatly updated news for 2.1c1 (!).

Update Windows installer & build number to 2.1c2 release.

We need another release candidate after so many "small" changes.

DO NOT CHECK ANYTHHING IN FROM NOW ON WITHOUT ASKING ME.

Change the test data to ask for class C from module __main__ rather
than from module pickletester.  Using the latter turned out to cause
the test to break when invoked as "import test.test_pickle" or "import
test.autotest".

Reverting Moshe's EGD patch *and* Martin's patch to make it work with
OpenSSL versions beore 0.9.5.  This just is too experimental to be
worth it, especially since the user would have to do some severe
hacking of the Modules/Setup file to even enable the EGD code, and
without the EGD code it would always spit out a warning on some
systems -- even when socket.ssl() is not used.  Fixing that properly
is not my job; the EGD patch is clearly not so important that it
should hold up the 2.1 release.

Tim pointed out a remaining vulnerability in popitem(): the
PyTuple_New() could *conceivably* clear the dict, so move the test for
an empty dict after the tuple allocation.  It means that we waste time
allocating and deallocating a 2-tuple when the dict is empty, but who
cares.  It also means that when the dict is empty *and* there's no
memory to allocate a 2-tuple, we raise MemoryError, not KeyError --
but that may actually a good idea: if there's no room for a lousy
2-tuple, what are the chances that there's room for a KeyError
instance?

Tentative fix for a problem that Tim discovered at the last moment,
and reported to python-dev: because we were calling dict_resize() in
PyDict_Next(), and because GC's dict_traverse() uses PyDict_Next(),
and because PyTuple_New() can cause GC, and because dict_items() calls
PyTuple_New(), it was possible for dict_items() to have the dict
resized right under its nose.

The solution is convoluted, and touches several places: keys(),
values(), items(), popitem(), PyDict_Next(), and PyDict_SetItem().

There are two parts to it. First, we no longer call dict_resize() in
PyDict_Next(), which seems to solve the immediate problem.  But then
PyDict_SetItem() must have a different policy about when *it* calls
dict_resize(), because we want to guarantee (e.g. for an algorithm
that Jeremy uses in the compiler) that you can loop over a dict using
PyDict_Next() and make changes to the dict as long as those changes
are only value replacements for existing keys using PyDict_SetItem().
This is done by resizing *after* the insertion instead of before, and
by remembering the size before we insert the item, and if the size is
still the same, we don't bother to even check if we might need to
resize.  An additional detail is that if the dict starts out empty, we
must still resize it before the insertion.

That was the first part. :-)

The second part is to make keys(), values(), items(), and popitem()
safe against side effects on the dict caused by allocations, under the
assumption that if the GC can cause arbitrary Python code to run, it
can cause other threads to run, and it's not inconceivable that our
dict could be resized -- it would be insane to write code that relies
on this, but not all code is sane.

Now, I have this nagging feeling that the loops in lookdict probably
are blissfully assuming that doing a simple key comparison does not
change the dict's size.  This is not necessarily true (the keys could
be class instances after all).  But that's a battle for another day.

SF bug reporters.

Fix SF bug [ #416231 ] urllib.basejoin fails to apply some ../.
Reported by Juan M. Bello Rivas.

SRE: made "copyright" string static, to avoid potential linking
conflicts.

Patch by Mark Favas to ensure that the zlib we find is 1.1.3 or
later.  This assumes that zlib.h has a line of the form

    #define ZLIB_VERSION "1.1.3"

This solves the problem where a zlib installation is found but it is
an older version -- this would break the build, while a better
solution is to simply ignore that zlib installation.

Get rid of the seek() method on the _Mailbox class.  This was a
cut-and-paste copy of the seek() method on the _Subfile class, but it
didn't make one bit of sense: it sets self.pos, which is not used in
this class or its subclasses, and it uses self.start and self.stop,
which aren't defined on this class or its subclasses.  This is purely
my own fault -- I added this in rev 1.4 and apparently never tried to
use it.  Since it's not documented, and of very questionable use given
that there's no tell(), I'm ripping it out.

This resolves SF bug 416199 by Andrew Dalke: mailbox.py seek problems.

In order to make this test work on Windows, the test locale has to be
set to 'en' there -- Windows does not understand the 'en_US' locale.
The test succeeds there.

Fix typo (missing "req." prefix on error_302_dict) found by Neil
Norwitz's PyChecker.

Fix typo in exception name (UnimplementedError should be
NotImplementedError) found by Neil Norwitz's PyChecker.

Fix typo in exception name (SGMLParserError should be SGMLParseError)
found by Neil Norwitz's PyChecker.

Fix typo in attribute name (file should be filename) found by
Neil Norwitz's PyChecker.

Fix typo in attribute name (chunk_size should be chunksize) found by
Neil Norwitz's PyChecker.

- Typo in message for TestCase.failIfEqual()
- Removed unused variable 'opts' in TestProgram.__init__ (thanks to PyChecker)

Set the SO_REUSEADDR socket option in the server thread -- this seems
needed on some platforms (e.g. Solaris 8) when the test is run twice
in quick succession.

Bump version number and set date.

Remove shared libraries as part of "make clean" rather than in "make
clobber".  This is done so that after a "make clean", setup.py will
also recompile all extensions.

Make one more private symbol static.

Make some private symbols static.

Mark Favas points out that there's an 'self.fp.flush()' call in the
ZipFile.close() method that should be part of the preceding 'if'
block.  On some platforms (Mark noticed this on FreeBSD 4.2) doing a
flush() on a file open for reading is not allowed.

Another ACK.

Pete Shinners discovered that zipfile.ZipFile() is called with mode
argument "wb", while the only valid modes are "r", "w" or "a".  Fix
this by changing the mode to "w".

Should resolve [ #416039 ] pstats browser crashes.

Add "import thread" at the top of the module; this prevents us from
failing later when Python is compiled without threading but a failing
'threading' module can be imported due to an earlier (caught) attempt.

Add more general warning against the SGI optimizer.

If the sunaudiodev module is available but we cannot find an audio
device to use, skip this test instead of allowing an error to occur
when we attempt to play sound on the absent device.

Verified by Mark Favas.

Import readline when possible to make the commaninterpreter UI nicer.

This commit was manufactured by cvs2svn to create tag 'r21c1'.

Tim convinced me to augment the PSF license with a final clause just
like the one in the BeOpen license (and similar to the one in the CNRI
license, but with the "click-to-accept" part elided).

Clean up the unsightly mess around the readline header files.  We now
always:

- #undef HAVE_CONFIG_H (because otherwise chardefs.h tries to include
  strings.h)

- #include readline.h and history.h

and we never declare any readline function prototypes ourselves.

This makes it compile with readline 4.2, albeit with a few warnings.
Some of the remaining warnings are about completion_matches(), which
is renamed to rl_completion_matches().

I've tested it with various other versions, from 2.0 up, and they all
seem to work (some with warnings) -- but only on Red Hat Linux 6.2.

Fixing the warnings for readline 4.2 would break compatibility with
3.0 (and maybe even earlier versions), and readline doesn't seem to
have a way to test for its version at compile time, so I'd rather
leave the warnings in than break compilation with older versions.

Add convenience targets that build all archive types for single formatting
versions.

Michael Hudson:
Update docs for PyDict_Next() based on the most recent changes to the
dictionary code.

This closes SF patch #409864.

I am TENTATIVELY checking in Martin von Loewis's patch for the SSL
problem reported by Neil Schemenauer on python-dev on 4/12/01, wth
subject "Problem with SSL and socketmodule on Debian Potato?".

It's tentative because Moshe objected, but Martin rebutted, and Moshe
seems unavailable for comments.

(Note that with OpenSSL 0.9.6a, I get a lot of compilation warnings
for socketmodule.c -- I'm assuming I can safely ignore these until 2.1
is released.)

split long line

Fixup some platform annotations.

Work around the conversion of ">>" and "<<" to guillemets.  Reported by Ping.

Work around the conversion of ">>" and "<<" to guillemets.  Reported by Ping.

Added regression test for SF bug #415660 (failure to invalidate all
references to an object before calling registered callbacks).

Change last uses of verify() to self.assert_().

cleanup_helper():  Make sure we invalidate all reference objects
                   before calling any callbacks.  This is important
                   since the callback objects only look at themselves
                   to determine that they are invalide.  This change
                   avoids a segfault when callbacks use a different
                   reference to an object in the process of being
                   deallocated.

This fixes SF bug #415660.