Merge remote-tracking branch 'origin/pr/231' into pr231

Docstring Fix

Change the docstring in short_selects example to match the code

- changelog for #3629, fixes #3629

Merge remote-tracking branch 'origin/pr/230'

redundant "using the by changing" -> "using the"

- Added :meth:`.Select.lateral` and related constructs to allow
for the SQL standard LATERAL keyword, currently only supported
by Postgresql.  fixes #2857

- Added support for rendering "FULL OUTER JOIN" to both Core and ORM.
Pull request courtesy Stefan Urbanek.  fixes #1957

- remember to not reassign self.connection now that __connect()
has no return value

- Added connection pool events :meth:`ConnectionEvents.close`,
:meth:`.ConnectionEvents.detach`,
:meth:`.ConnectionEvents.close_detached`.

- oracle doesn't release savepoints

- Further continuing on the common MySQL exception case of
a savepoint being cancelled first covered in :ticket:`2696`,
the failure mode in which the :class:`.Session` is placed when a
SAVEPOINT vanishes before rollback has been improved to allow the
:class:`.Session` to still function outside of that savepoint.
It is assumed that the savepoint operation failed and was cancelled.
fixes #3680

Merge remote-tracking branch 'origin/pr/251'

- Fixed bug where the negation of an EXISTS expression would not
be properly typed as boolean in the result, and also would fail to be
anonymously aliased in a SELECT list as is the case with a
non-negated EXISTS construct.
fixes #3682

ReST fix: missing backtick

Fixes a misrendering at http://docs.sqlalchemy.org/en/latest/dialects/mssql.html#nullability:

Fix typo

- ensure engine is restored even if we had a failure in cleanup
for stray connection

- Added basic isolation level support to the SQL Server dialects
via :paramref:`.create_engine.isolation_level` and
:paramref:`.Connection.execution_options.isolation_level`
parameters.  fixes #3534

- changelog and docs for #3332, fixes #3332
- make docs for isolation level more consistent between postgresql
and mysql
- move mysql autocommit tests

Merge branch 'master' into pr157

- add notes for pyodbc limitations with rowcount fixes #3675

- Fixed bug where a newly inserted instance that is rolled back
would still potentially cause persistence conflicts on the next
transaction, because the instance would not be checked that it
was expired.   This fix will resolve a large class of cases that
erronously cause the "New instance with identity X conflicts with
persistent instance Y" error.
fixes #3677

Adds documentation to Query.slice().

Update cascades.rst

- skip GC tests here when coverage is enabled, seems to interfere

- not sure why MySQL DROP DBs fail but we can't just ignore the error
like this

- move out unconsumed names tests from test_compiler out to test_insert, test_update
- establish consistent names between existing unconsumed names tests and new ones
added per ref #3666

- changelog for #3666, fixes #3666

Add test for inserting multiple values

Raise exception when we have multiple values with an unknown column. Fixes #3666.

- unfortunately calling upon "_label" here makes it unclear if
we're trying to hit columns without names yet and such, to suit the bug
right now just make it specific to FunctionElement

(cherry picked from commit 785224a92f39bd5bdd05bbc66f4dd79736abded5)

- Anonymous labeling is applied to a :attr:`.func` construct that is
passed to :func:`.column_property`, so that if the same attribute
is referred to as a column expression twice the names are de-duped,
thus avoiding "ambiguous column" errors.   Previously, the
``.label(None)`` would need to be applied in order for the name
to be de-anonymized.
fixes #3663

- An improvement to the workings of :meth:`.Query.correlate` such
that when a "polymorphic" entity is used which represents a straight
join of several tables, the statement will ensure that all the
tables within the join are part of what's correlating.
fixes #3662

- additional adjustment to the fix made in 8ad968f33100baeb3b13c7e0b724b6b79ab4277f
for ref #3657.  The Oracle dialect makes more use of the "select_wraps_for"
feature than SQL server because Oracle doesn't have "TOP" for a limit-only
select, so tests are showing more happening here.  In the case where
the select() has some dupe columns, these are deduped from the .c collection
so a positional match between the wrapper and original can't use .inner_columns,
because these collections wont match.  Using _columns_plus_names
instead which is the deduped collection that determines the SELECT display,
which definitely have to match up.

(cherry picked from commit aa9ce3f521f254da9879ede011e520ec35b8270e)

- Fixed bug in "to_list" conversion where a single bytes object
would be turned into a list of individual characters.  This would
impact among other things using the :meth:`.Query.get` method
on a primary key that's a bytes object.
fixes #3660

- update the mssql autoincrement reflection test to accommodate
the new behavior of the autoincrement flag as per ref #3216

- reworked the way the "select_wraps_for" expression is
handled within visit_select(); this attribute was added in the
1.0 series to accommodate the subquery wrapping behavior of
SQL Server and Oracle while also working with positional
column targeting and no longer relying upon "key fallback"
in order to target columns in such a statement.  The IBM DB2
third-party dialect also has this use case, but its implementation
is using regular expressions to rewrite the textual SELECT only
and does not make use of a "wrapped" select at this time.
The logic no longer attempts to reconcile proxy set collections as
this was not deterministic, and instead assumes that the select()
and the wrapper select() match their columns postionally,
at least for the column positions they have in common,
so it is now very simple and safe.  fixes #3657.
- as a side effect of #3657 it was also revealed that the
strategy of calling upon a ResultProxy._getter was not
correctly calling into NoSuchColumnError when an expected
column was not present, and instead returned None up to
loading.instances() to produce NoneType failures; added
a raiseerr argument to _getter() which is called when we
aren't expecting None, fixes #3658.

Add release date for 1.0.12 to changelog

- further edit the unnest() example to suit PG's esoteric requirements
exactly

- Fixed bug which would cause an eagerly loaded many-to-one attribute
to not be loaded, if the joined eager load were from a row where the
same entity were present multiple times, some calling for the attribute
to be eagerly loaded and others not.  The logic here is revised to
take in the attribute even though a different loader path has
handled the parent entity already. fixes #3431

- handle parameter sets that aren't correctly formed, so that
for example an exception object made within a test suite can
still repr (error seen in Keystone)

- do the trailing comma logic of tuple repr() exactly

- All string formatting of bound parameter sets and result rows for
logging, exception, and  ``repr()`` purposes now truncate very large
scalar values within each collection, including an
"N characters truncated"
notation, similar to how the display for large multiple-parameter sets
are themselves truncated.
fixes #2837

- add changelog, migration, version flags and some extra notes
to the new MutableList and MutableSet classes, fixes #3297

Merge remote-tracking branch 'origin/pr/236'

- use same colname as the alias we give to the PG function
here, fixes #3652

Add `sqlalchemy.ext.mutable.MutableSet`

from https://bitbucket.org/zzzeek/sqlalchemy/issues/3297

Add `sqlalchemy.ext.mutable.MutableList`

- Fixed bug in :meth:`.Session.merge` where an object with a composite
primary key that has values for some but not all of the PK fields
would emit a SELECT statement leaking the internal NEVER_SET symbol
into the query, rather than detecting that this object does not have
a searchable primary key and no SELECT should be emitted.
fixes #3647

- CTE functionality has been expanded to support all DML, allowing
INSERT, UPDATE, and DELETE statements to both specify their own
WITH clause, as well as for these statements themselves to be
CTE expressions when they include a RETURNING clause.
fixes #2551

- add more documentation to MutableDict explaining
that this structure is only intended to track additions
and removals from the dictionary, not recursive tracking
of embedded changes.  fixes #3646.

- don't drop the ts1/ts2 databases without seeing the primary DB,
because we never log in on the ts1/ts2.  races against other runs
and erases their DBs

- Fixed bug in :func:`.expression.text` construct where a double-colon
expression would not escape properly, e.g. ``some\:\:expr``, as is most
commonly required when rendering Postgresql-style CAST expressions.
fixes #3644

- A refinement to the logic which adds columns to the resulting SQL when
:meth:`.Query.distinct` is combined with :meth:`.Query.order_by` such
that columns which are already present will not be added
a second time, even if they are labeled with a different name.
Regardless of this change, the extra columns added to the SQL have
never been returned in the final result, so this change only impacts
the string form of the statement as well as its behavior when used in
a Core execution context.   Additionally, columns are no longer added
when the DISTINCT ON format is used, provided the query is not
wrapped inside a subquery due to joined eager loading.
fixes #3641

- switch to 2 workers for oracle

- Testing reveals that we have *no* weak references to any cx_Oracle connections at all,
yet cx_Oracle still has open sessions that cannot be killed until process dies.
Oracle wins!   Add a completely separate DB reaper script that runs
after py.test is done.

- use config-based test schema

- attempt a different style of session kill

- fully hyperlink the docstring for make_transient
- establish make_transient and make_transient_to_detached as special-use,
advanced use only functions
- list all conditions under make_transient() under which an attribute
will not be loaded and establish that make_transient() does not attempt
to load all attributes before detaching the object from its
session, fixes #3640

- additional fixes to get oracle + multiprocess to be reliable

- py3k fix for enum feature

- add missing __backend__ directives for SQL server

- add missing __backend__ directives so that oracle tests actually run with --backend-only

- detect "Enterprise" and assume compression stuff isn't available
if not

- adjust the MultiSchemaTest to handle multiple test_schemas / processes at the
same time

- adjust to allow dblink tests to work with multiprocess users.
unfortunately the synonym doesn't work for SQL statements here
when the dblink is on a different user, testing this is not really
critical so just removed it.

- add a session killer for oracle provisioning

- add an impl for Enum to Oracle which has subclassing requirements
on unicode.   Enum would be better as a TypeDecorator
at this point but then that becomes awkward with native enum
types (Interval works that way, but we don't need the bind_processor for
native interval...)

- more oracle fixes

- oracle requires GLOBAL here

- add multi-database provisioning for oracle

Fix typo in relationship persistance docs

- add literal_binds for delete() statements in addition to insert()/update()
- move tests to CRUDTest
- changelog, fixes #3643

fix passing literal_binds flag through for update and insert

- changelog for #3621 fixes #3621

Merge branch 'master' of https://bitbucket.org/carlrivers/sqlalchemy

- test fixes for metadata.enums value now being a list
- modernize those tests as well

- add changelog and migration notes for new Enum features,
fixes #3095, #3292
- reorganize enum constructor to again work with the MySQL
ENUM type
- add a new create_constraint flag to Enum to complement that of
Boolean
- reinstate the CHECK constraint tests for enum, these already
fail /skip against the MySQL backend
- simplify lookup rules in Enum, have them apply to all varieties
of Enum equally

- Initial implementation of support for PEP-435 enumerated types
within the Enum type.

- D rules seem to have been added overnight to the flake8 plugin
I'm using and many of these seem contradictory and/or undesirable.
block all until individual rules can be approved.

- Fixed issue where inadvertent use of the Python ``__contains__``
override with a column expression (e.g. by using ``'x' in col``)
would cause an endless loop in the case of an ARRAY type, as Python
defers this to ``__getitem__`` access which never raises for this
type.  Overall, all use of ``__contains__`` now raises
NotImplementedError.
fixes #3642

- put a retry in for PG database provisioning as it locks
on database use

- The ``sqlalchemy.dialects.postgres`` module, long deprecated, is
removed; this has emitted a warning for many years and projects
should be calling upon ``sqlalchemy.dialects.postgresql``.
Engine URLs of the form ``postgres://`` will still continue to function,
however.

- happy new year

same logic, but without the inner function

- use a StaticPool for componentreflectiontest to ensure
temp tables are reflectable on the same session they were
created

- use schema argument correctly when we are dropping for a schema

- using extras here has the effect of defeating the usedevelop flag
since SQLAlchemy gets installed as develop and in the virtualenv

- revert the change first made in a6fe4dc, as we are now generalizing
the warning here to all safe_reraise() cases in Python 2.
- Revisiting :ticket:`2696`, first released in 1.0.10, which attempts to
work around Python 2's lack of exception context reporting by emitting
a warning for an exception that was interrupted by a second exception
when attempting to roll back the already-failed transaction; this
issue continues to occur for MySQL backends in conjunction with a
savepoint that gets unexpectedly lost, which then causes a
"no such savepoint" error when the rollback is attempted, obscuring
what the original condition was.

The approach has been generalized to the Core "safe
reraise" function which takes place across the ORM and Core in any
place that a transaction is being rolled back in response to an error
which occurred trying to commit, including the context managers
provided by :class:`.Session` and :class:`.Connection`, and taking
place for operations such as a failure on "RELEASE SAVEPOINT".
Previously, the fix was only in place for a specific path within
the ORM flush/commit process; it now takes place for all transational
context managers as well.
fixes #2696

- properly handle negative indexes in RowProxy.__getitem__()

sqlite: reflect primary key constraint names, fixes #3629

- experimental - try out a very open ended design for the factors, assume
many more combinations of factors are possible and basically make them
more akin to command options at the tox level.

- reinstate "dont set up integer index in keymap if we're on cexts",
and this time also fix the cext itself to properly handle int vs. long
on py2k

- restore the use of PYTHONNOUSERSITE that was removed
in df3f125bd84fc7ec5d45592c5774daf3a39d9bc9, this flag is
explicitly checked within conftest.py and we need to continue to use
it, otherwise a tox build inside of .tox that isn't usedevelop
is ignored, including C extensions
- rework the whole system of running with coverage, so that
with coverage, we *are* using usedevelop, but also make sure
we rm the .so files for nocext, make sure we --cov-append, etc.

Revert "- dont set up integer index in keymap if we're on cexts"

This reverts commit de0d144a395c31eb74084177df95a4858b830f88.

Apparently the test suite is not using the cextensions correctly at the moment.

- dont set up integer index in keymap if we're on cexts

fix %x string format to compatible with Python 3.5

fix %x string format to compatible with Python 3.5

- unfortunately we need to match within join where col.key does not match
what's given so we need to use a set() here.  contains_column is not within
any performance paths

Merged zzzeek/sqlalchemy into master

- rework ColumnCollection to no longer persist "all_col_set"; we don't
need this collection except in the extend/update uses where we
create it ad-hoc.  simplifies pickling.  Compatibility with 1.0
should be OK as ColumnColleciton uses __getstate__ in any case
and the __setstate__ contract hasn't changed.
- Fixed bug in :class:`.Table` metadata construct which appeared
around the 0.9 series where adding columns to a :class:`.Table`
that was unpickled would fail to correctly establish the
:class:`.Column` within the 'c' collection, leading to issues in
areas such as ORM configuration.   This could impact use cases such
as ``extend_existing`` and others.  fixes #3632