Merge remote-tracking branch 'origin/pr/131'

Merge pull request #130 from gthb/docfix-1

Fix doc typos and copy-paste error

Add note on begin_nested requiring rollback/commit

Avoid confusion about rollback/commit "must be issued" after
``session.begin_nested()`` --- this might be taken to mean call must be
*added*, but that's only true if not using the return value as a context
manager.

Fix doc typo 'conjunection'

Fix copy-paste error in Delete doc

- fix link

- The INSERT...FROM SELECT construct now implies ``inline=True``
on :class:`.Insert`.  This helps to fix a bug where an
INSERT...FROM SELECT construct would inadvertently be compiled
as "implicit returning" on supporting backends, which would
cause breakage in the case of an INSERT that inserts zero rows
(as implicit returning expects a row), as well as arbitrary
return data in the case of an INSERT that inserts multiple
rows (e.g. only the first row of many).
A similar change is also applied to an INSERT..VALUES
with multiple parameter sets; implicit RETURNING will no longer emit
for this statement either.  As both of these constructs deal
with varible numbers of rows, the
:attr:`.ResultProxy.inserted_primary_key` accessor does not
apply.   Previously, there was a documentation note that one
may prefer ``inline=True`` with INSERT..FROM SELECT as some databases
don't support returning and therefore can't do "implicit" returning,
but there's no reason an INSERT...FROM SELECT needs implicit returning
in any case.   Regular explicit :meth:`.Insert.returning` should
be used to return variable numbers of result rows if inserted
data is needed.
fixes #3169

- pep8

- factor out determination of current version id out of
_collect_update_commands and _collect_delete_commands

- Fixed bug in connection pool logging where the "connection checked out"
debug logging message would not emit if the logging were set up using
``logging.setLevel()``, rather than using the ``echo_pool`` flag.
Tests to assert this logging have been added.  This is a
regression that was introduced in 0.9.0.
fixes #3168

- pep8 cleanup

- simplify PK logic in update for row switch

- optimize collection of cols we insert as none

- move out checks for table in mapper._pks_by_table

- further reorganize collect_insert_commands to distinguish between
setting up given values vs. defaults.  again trying to shoot for
making this of more general use

- organize persistence methods in terms of generators,
narrow down argument lists and generator items for each function
down to just what each function needs.   This will help for them
to be of more multipurpose use for bulk operations

- major simplification of _collect_update_commands.  in particular,
we only call upon the history API fully for primary key columns.
We also now skip the whole step of looking at PK columns and using
any history at all if no net changes are detected on the object.

- Fixed bug where attribute "set" events or columns with
``@validates`` would have events triggered within the flush process,
when those columns were the targets of a "fetch and populate"
operation, such as an autoincremented primary key, a Python side
default, or a server-side default "eagerly" fetched via RETURNING.
fixes #3167

- oldest screwup in the book, forgot the file

- rework profiling, zoomark tests into single tests so that
they can be used under xdist

- changelog for pullreq github:125
- add pg8000 version detection for the "sane multi rowcount" feature

Merge remote-tracking branch 'origin/pr/125' into pr125

- support dialects w/o sane multi row count again

- need list() here for py3k

- max failures 25
- guard against some potential pytest snarkiness

- mutablemapping adds compiler overhead, so screw it

- port the _collect_insert_commands optimizations from ticket_3100

- The :class:`.IdentityMap` exposed from :class:`.Session.identity`
now returns lists for ``items()`` and ``values()`` in Py3K.
Early porting to Py3K here had these returning iterators, when
they technically should be "iterable views"..for now, lists are OK.

- TIL that dict.keys() in py3K is not an iterator, it is an iterable
view.  So copy collections.OrderedDict and use MutableMapping to set up
keys, items, values on our own OrderedDict.

Conflicts:
lib/sqlalchemy/engine/base.py

- clean up provision and keep sqlite on memory DBs if thats what we start with

- don't add the parent attach event within _on_table_attach
if we already have a table; this prevents reentrant calls and
we aren't supporting columns/etc being moved around between different parents

- other test fixes

- modify how class state is tracked here as it seems like things
are a little more crazy under xdist mode

- UPDATE statements can now be batched within an ORM flush
into more performant executemany() call, similarly to how INSERT
statements can be batched; this will be invoked within flush
to the degree that subsequent UPDATE statements for the
same mapping and table involve the identical columns within the
VALUES clause, as well as that no VALUES-level SQL expressions
are embedded.
- some other inlinings within persistence.py

pep8

pep8

- The string keys that are used to determine the columns impacted
for an INSERT or UPDATE are now sorted when they contribute towards
the "compiled cache" cache key.   These keys were previously not
deterministically ordered, meaning the same statement could be
cached multiple times on equivalent keys, costing both in terms of
memory as well as performance.
fixes #3165

- Removing (or adding) an event listener at the same time that the event
is being run itself, either from inside the listener or from a
concurrent thread, now raises a RuntimeError, as the collection used is
now an instance of ``colletions.deque()`` and does not support changes
while being iterated.  Previously, a plain Python list was used where
removal from inside the event itself would produce silent failures.
fixes #3163

pep8

on second thought we need to prioritize what really needs to be
here and what's just in changelog

- updates

- repair against use here

- The ``info`` parameter has been added to the constructor for
:class:`.SynonymProperty` and :class:`.ComparableProperty`.
- The ``info`` parameter has been added as a constructor argument
to all schema constructs including :class:`.MetaData`,
:class:`.Index`, :class:`.ForeignKey`, :class:`.ForeignKeyConstraint`,
:class:`.UniqueConstraint`, :class:`.PrimaryKeyConstraint`,
:class:`.CheckConstraint`.

fixes #2963

- The :meth:`.InspectionAttr.info` collection is now moved down to
:class:`.InspectionAttr`, where in addition to being available
on all :class:`.MapperProperty` objects, it is also now available
on hybrid properties, association proxies, when accessed via
:attr:`.Mapper.all_orm_descriptors`.
fixes #2971

- rename _InspectionAttr to InspectionAttr

flake8 cleanup

Merge branch 'pr126'

Conflicts:
doc/build/changelog/changelog_10.rst

- public method name is get_enums()
- return a list of dicts like other methods do
- don't combine 'schema' with 'name', leave them separate
- support '*' argument so that we can retrieve cross-schema
if needed
- remove "conn" argument
- use bound parameters for 'schema' in SQL
- order by schema, name, label
- adapt _load_enums changes to column reflection
- changelog
- module docs for get_enums()
- add drop of enums to --dropfirst

- changelog, fixes #3027

- rework documentation for reflection flags; also include
information regarding #3027.

Providing an autoload_with info automatically sets autoload to True

- add tests for the savepoint recipe

- rewrite all the sqlite/pysqlite transaction isolation docs

- oursql doesn't pass this consistently, not sure what the issue is

- use configured test_schema here

oursql seems to handle this?  unclear, might be dependent on mysql version

- have python setup.py test use xdist with -q

- memusage is fine for parallel

- turn off the testing reaper here, that's the source of the leaks
when we are running with pydist, and even when we are running without it
in fact...

Public inspector method to load enum list

Provide opportunity to get enums list via an inspector instance public
interface.

DropEnumType class available from postgres dialect

- take out the iterator approach here as it does not support concurrent access

-Fixed bug where Postgresql JSON type was not able to persist or
otherwise render a SQL NULL column value, rather than a JSON-encoded
``'null'``.  To support this case, changes are as follows:

* The value :func:`.null` can now be specified, which will always
  result in a NULL value resulting in the statement.

* A new parameter :paramref:`.JSON.none_as_null` is added, which
  when True indicates that the Python ``None`` value should be
  peristed as SQL NULL, rather than JSON-encoded ``'null'``.

Retrival of NULL as None is also repaired for DBAPIs other than
psycopg2, namely pg8000.

fixes #3159

- clarify docs that contains_eager() is included in the of_type() system,
fix #2438

Merge pull request #127 from mwhite/master

fix typo in cascade documentation

fix typo in cascade documentation

- add some docs to try to explain the behavior with MySQL / TIMESTAMP.
ref #3155

- Fixed bug in CTE where ``literal_binds`` compiler argument would not
be always be correctly propagated when one CTE referred to another
aliased CTE in a statement.
Fixes #3154

pg8000 now supports sane_multi_rowcount

From pg8000-1.9.14 sane_multi_rowcount is supported so this commit
updates the dialect accordingly.

two_phase_recover, COMMIT PREPARED in transaction

In test/engine/test_transaction/test_two_phase_recover(), a COMMIT
PREPARED is issued while in a transaction. This causes an error, and
a prepared transaction is left hanging around which causes
the subsequent test to hang. I've altered the test to execute the
offending query with autocommit=true, then when it gets to the COMMIT
PRPARED it can go ahead.

There's another complication for pg8000 because its tpc_recover() method
started a transaction if one wasn't already in progress. I've decided
that this is incorrect behaviour and so from pg8000-1.9.13 this method
never starts or stops a transaction.

Remove spurious print statements in pg8000 dialect

PEP8 tidy of test/engine/test_reconnect

With pg8000-1.9.13 passes engine/test_reconnect

The pg8000 dialect checks the text of the exception to determine if the
connection is closed. I'd (recklessly!) changed the text of the
exception in a recent version of the pg8000 driver adding capitalization
and a full stop. I've changed it back now so all works.

- update the literal binds section

- workaround removal of nested() in py3k

- ensure all tests are named test_*

- repair test finding to not skip the test_suite tests

- fix unit test affected by #3075

pep8 cleanup

- The exception wrapping system for DBAPI errors can now accommodate
non-standard DBAPI exceptions, such as the psycopg2
TransactionRollbackError.  These exceptions will now be raised
using the closest available subclass in ``sqlalchemy.exc``, in the
case of TransactionRollbackError, ``sqlalchemy.exc.OperationalError``.
fixes #3075

- Fixed 0.9.7 regression caused by :ticket:`3067` in conjunction with
a mis-named unit test such that so-called "schema" types like
:class:`.Boolean` and :class:`.Enum` could no longer be pickled.
fixes #3144

- find the remaining not cleaning up correctly test

fix test ordering issues

- remove print statement
- ensure non-tests wont run

- exclude profiling altogether from coverage

- disable C exts on coverage run

- remove debugging assertions
- keep sqlite as memory even with parallel for now

- add support for tags, including include/exclude support.
simplify tox again now that we can exclude tests more easily

- reorganize tox options

Merge branch 'master' into xdist_poc

fix paren here

- scale up for mysql, sqlite

Merge branch 'master' into xdist_poc

Conflicts:
lib/sqlalchemy/engine/url.py

- rework the exclusions system to have much better support for compound
rules, better message formatting

- fix whitespace

- use a template database for PG so extensions get created automatically

Merge branch 'master' into xdist_poc

- restore non_updating_cascade to test_manytomany_nonpassive, but also
add sane_multi_rowcount requirement, as pg8000 doesn't do "multi" row count.

- proof of concept for parallel testing

- more pg8000 tests passing