Drop explicit tests retries

Now we just retry all failing tests automatically.

Retry automatically flakey tests in tox runs

Bump min version required for pytest-asyncio to 0.17.0

Older versions fail for the presence of asyncio_mode in pytest config,
which is required from 0.17 on instead.

Configure the async loop at test session start

Doing it in a fixture is too late: event_loop might have already been
called if the first test running is async, and it would fail on Windows.

This started to be needed after pytest-asyncio 0.17.0 was released.
See <https://github.com/pytest-dev/pytest-asyncio/issues/256>.

Set asyncio mode in pytest configuration

Remove the warning raised in pytest-async >= 0.17.0 if the setting is
missing.

Merge branch 'null-pool'

More robust null pool tests

Fix race conditions of tasks completing before a concurrent client is
queued.

Fix test relying on fixed broken behaviour of copy().

Use connection.info rather than connection.pgconn to obtain higher level
results (e.g. Enum instead of int).

Refactor pools to reduce code duplication

Use common getconn/putconn implementations and implement only the
different behaviours in subclasses.

Add null-pools documentation

Add NullPool and AsyncNullPool

Close #148

Minor changes to pool docs

Improve pool docs, especially pools and connections life cycle

Add wait parameter to pool.open()

Relax some timing tests tolerances

Seeing them failing regularly in Github workflows.

Drop support for Python 3.6

Bump version numbers for release

Leave start year only in docs footer

Update, once and for good, the copyright year

After getting more information about the matter and having convinced
myself that there is no need, except FOMO, to extend the copyright year
on source code, change all our entries to leave only the start year.

    git ls-tree -r HEAD --name-only \
        | xargs sed -i '/Copyright.*\(Varrazzo\|Psycopg\)/ s/-20..//'

Don't leave the connection ACTIVE on error in COPY_OUT

Cancel the active COPY operation if the server has not finished sending
the data yet.

Close #203.

Also fix the tests which were based on this broken behaviour. A case of
self-administered Hyrum's law.

Use info instead of pgconn in copy tests

It displays better information in case of assert failed.

Add prepare_threshold connection parameter

This can help configuring connections to use PgBouncer. It is possible
to use the attribute in the pool kwargs, for instance, instead of using
the more complex configure callback.

Close #200.

Exclude mypy 0.931 too from tests

It seems still affected by https://github.com/python/mypy/issues/11820.

Don't overwrite the module of the psycopg.pq.pq_ctypes objects

It might be useful to tell apart the C version from the python versions
for debugging. The C versions don't do it, so they repr as:

    <psycopg_binary.pq.PGconn [IDLE] (database=piro) at 0x7f8556deb040>

See #201.

Add example about DDL statement with quoted parameter

See #199.

Add mark for pool tests

Don't auto-skip pool test if import fails. This would miss serious
problems leading to the pool not being importable. If someone wants to
skip the pool tests they can use `-m 'not pool'` now.

Drop broken test about setting prepare attributes on the class

I'm just clobbering the property here. It doesn't work. Thankfully it
wasn't documented to work...

Don't look up other modules objects in __del__ methods

The modules might have been already cleaned up during interpreted
shutdown. See <https://bugs.python.org/issue46256#msg409847> for an
explanation.

The stdlib guards against the same thing happening too. However they
take a reference in the function closure, which is stronger than what we
do. Doing so, on our strictly typed codebase, is a tedious chore, so, if
this is enough (it should be, according to the OP), I'm happy this way.

Close #198.

Allow pools to have min_size = 0 as long as they can grow

Add tests to verify they can grow from 0 no problem.

Add ConnectionTimeout subclass of OperationalError

To be used in the connection pool to detect timeout on connection.

Backported to Psycopg 3.0.8 to allow the pool 3.1 to work with it, at
least on diminished capacity (NullPool.connection() would time out only
for clients in the queue, not in case of new connection timeout).

Merge branch 'pool-checks'

Raise PoolClosed on wait() on a closed pool

Previously it might have raised an assert, if, for instance, wait would
have failed and retried.

Raise ValueError if the pool min_size is <= 0

Before it would have created a broken pool, blocking forever on getconn.

Move some common checks to the pool base class

Use caplog.set_level instead of manual filtering in tests

Skip tests using the deaf_port fixture on macOS and Windows

They fail some 50% of the time, looks like the port is not really
listening, the fact that the function is called listen() is just a
practical joke.

https://github.com/psycopg/psycopg/runs/4719288041?check_suite_focus=true

Add deaf_port fixture and base timeout tests on it

Merge branch 'pool-open'

Use the present tense in PoolClosed error messages

Thank you John Aldis! https://twitter.com/johnaldis/status/1478016200634425348

Report if the pool was closed, or never opened, in getconn() error message

Add API docs for pool open method/param.

AsyncConnectionPool.open() made async.

This makes it symmetrical with close(). However it doesn't really do any
async work as it's awkward to call it from init. Something we might do,
if that will be needed, could be to start the scheduler only and use it
to schedule immediately a call to an async _open().

In the future, an anyio-based pool might instead disallow open=True on
init.

See https://github.com/psycopg/psycopg/pull/151 for some discussion
about the topic.

Add open param to pool init

Disallow pool re-opening

There seems to be no use case for re-opening a closed pool, so disable
this now (until we find a real use-case).

Factor out a _stop_workers() method on connection pool classes

The method is symmetrical with open().
In particular, we take advantage of this method in
ConnectionPool.__del__() to remove some duplication.

Reset workers state in *ConnectionPool.close()

This way, the pools may be re-opened after a close, even if we'll
disallow this later on.

Add an open() method to connection pool classes

This method is responsible for setting the '_closed' attribute, which
hence now defaults to True in the base class, along with the
_sched_runner attribute, which is reset to None in close().

Remove occurrences of "thread" term in pool_async

There is no threading involved here, only async tasks. Adjust comments
and docstrings to avoid confusion.

Separate pool packages building into a different workflow

Psycopg and pool releases are separate.

Bump pool minor version to start adding features

Hopefully more robust test to identify a closed connection

Merge branch 'executemany-returning'

Add returning parameter on executemany()

Keep results from all queries run through executemany()

Instead of overwriting cursor's results at each execution in
executemany() we now accumulate the results of all queries on cursor
state by turning _set_results() into _extend_results(). This way, each
result remains accessible and one can use nextset() to move from one
result to another.

Drop unneeded method signatures in docs

Rename a couple of internal cursor methods for clarity

Refactor cur._raise_from_results() into _raise_for_result()

The case of raising with different statuses doesn't practically happen.

Drop Cursor._set_results()

Split it into a _check_results() and leave the caller manage the cursor state.

Shorten traceback on executemany

Fix typo in comment

Fix test suite to run on database in locales different from English

Note in news file that 3.0.8 is still unreleased

Fix spurious warning about variable referenced before assignment

Add flake8 configuration in other package dirs

Vim ALE is confused otherwise. I don't really get how is that it picks
the package directory as the starting one (maybe it finds the setup.py)?

Change type of `wait` in `pool_async.py`

Will become an incompatible type in assignment with the release of
https://github.com/python/typeshed/pull/6783

Fix py_codecs data type

It doesn't contain str anymore since 3.0.4.

A stricter definition revealed a couple of wrong usages of the mapping.
Use more consistently the higher level `conninfo_encoding()` function
instead of directly the mapping.

Use conninfo encoding to encode errors on connection

PostgreSQL returns connection errors in the encoding specified in
lc_messages (e.g. EUC-JP for a server with `lc_messages=ja_JP.EUC-JP`).
However, because we don't have a connection, the message was decoded in
the fallback utf-8.

If the client has specified a client_encoding, use it to decode the
error message. Be more lenient than usual to look up the encoding
(because it is not normalised by the server and we don't care about
performance as this only happens on error handling). As for any other
error messages, still use an error=replace policy to avoid exploding
reporting an error in the wrong encoding.

Close #194.

Fix typo: a raw data -> raw data

Fix doc link to transactions management

Also, "transactions", not "transaction".

Add note about installing libpq via psql

Merge branch 'dependencies-bounds'

Add constraint file to test dependencies minimum version

Specify test/dev dependencies only at minor level

Where possible. pytest 6.2.5 is required by Python 3.10.

Specify lower bound for required backport packages

Remove upper bound from dependencies

Giving upper bounds to libraries creates problems if there are
transitive dependencies.

Our dependencies are only on dev/test time, but I'd rather get the
habit.

Schedule a daily test run and a weekly package run

This should help detecting breakages due to new depending packages. In
the future we may extend the tests to run on Python/Postgres master
branch too.

The intention is to remove the top bound from dependency packages,
because the practice is widely documented to be problematic. Thankfully
we have only dev/test dependencies, but I'd rather get the habit for
good.

This commit will be merged on master as it is because otherwise Github
won't pick the change.

Fix typos and grammar in documentation.

Avoid mypy version 0.930

The release is affected by the issues:

- https://github.com/python/mypy/issues/11820
- https://github.com/python/typeshed/issues/6661

already acknowledged as bugs.

Use mypy 0.920

One 'type: ignore' is no longer needed, it seems.

Reuse fixture across test module

The fixture is duplicated. Funnily enough, the dupe in async is less
efficient than the one in the sync test module, but it allowed to spot
the bug at the previous commit, after using it more than the prepared
threshold.

Ungratefully dropping it.

Fix prepared statements clearing

In the conditions illustrated by the test, i.e. with some statements
already prepared and a multiple statements query containing a DROP, the
check for multiple statements wouldn't have been triggered, and the
query would have eventually been asked for preparation, failing because
containing multiple statements.

Bump version to release 3.0.7

Fix Cursor.rowcount after an executemany hitting no result

Close #178

Fix executemany crash with empty input sequence

Close #179.

Reduce the work done on the cursor by executemany

Certain functions were executed once per query (e.g. _make_row_maker(),
_tx.set_pgresult()) but we can run them only once.

Finalise version 3.0.6 for release

Don't run Mypy tests on Windows/macOS

These tests are kinda slow and these platforms are the slowest to run.
Testing Mypy on Linux covers other platforms too.

A sample GitHub tests run (with no other concurrent job) went down from
22m to 18m.

Merge branch 'fix-177'

Detect out-of-order transactions exit when they have the same name too.

Detect out-of-order transactions exit when they have the same name too

Close #177

Don't try to execute transaction finalization with the connection closed

Refactor Transaction queries generation into internal methods

Refactor Transaction adding an internal push method

Nice and symmetric w.r.t. the pop method recently introduced.

Add tests to verify out-of-order detections without threads

Merge branch 'transaction-concurrency'

Raise ProgrammingError on out-of-order exit from transactions

Previously it would have failed an assert.

Further back in time, the condition was checked and reported as
ProgrammingError already. The check was dropped when
`conn.transaction()` started to return an entered transaction, so the
possibility of calling enter/exit manually was taken out of the public
API. However, we didn't consider the possibility of concurrent
threads operating on transaction independently.

Also fix the Transaction representation, which wouldn't have reported
`(terminated)` exiting on rollback, but only on commit.

Close #176.

Make the test to detect out-of-order transaction exiting reliable

Test transactions with concurrence [skip ci]

Fix docs typo

Improve Dumper, Loader documentation

Reword the types package description with more links to relevant docs

Fix duplicate docs for Cursor.description