fix(copy): chunk large buffers before queuing, not after

This is conceptually a better place to do it, because the queue has the
function of applying backpressure on the data generator. Splitting large
buffers later would flood the libpq without effectively slowing down the
producer.

Also, reduce the size of the chunks appended to the libpq from 1Mb to
128K. This makes an *immense* difference: the too large chunk probably
triggers some quadraticity in the libpq. The test script found in #255,
piped in `ts -s`, shows that pushing a block of data of about 1Gb size
(which will fail in Postgres anyway), with the smaller size, will take
about 9s. With the larger size, it takes 4.10m to get to waiting for
PQputCopyEnd, and other almost 6 minutes to receive the error message
from the server.

    00:00:47 putting 1048576 (or less) bytes in queue size 1023
    00:00:47 writing copy end
    00:00:47 got 1048576 bytes from queue size 1023
    ...
    00:01:25 got 1048576 bytes from queue size 640
    ...
    00:01:54 got 1048576 bytes from queue size 512
    ...
    00:03:00 got 1048576 bytes from queue size 256
    ...
    00:04:12 got 0 bytes from queue size 0
    00:04:12 wait for copy end
    00:09:59 Traceback (most recent call last):
    ...

Adding a few prints (see #255 for details) also shows that the time
spent in PQputCopyData increases, going from ~15 entries/sec processed
when the writer has just finished pushing data in the queue, down to ~4
items/sec towards the end.

Considering that a reduction of 10-20% of the input size causes a
decrease of the processing time of about 50%, there is definitely
something quadratic going on there. It might be possible to improve the
libpq, but for the moment it's better to try and coexist nicely with the
current state.

fix(copy): split large buffers before sending them to PQputCopyData

Sending excessively large data doesn't allow the libpq to flush its
content to the server, ending up in an infinite loop.

Close #255

fix(copy): propagate errors raised in the worker thread

Previously, an error in the worker thread was printed to stderr, but
processing continued, for no result but no exception.

Problem found in #255, but unrelated to it.

docs: drop outdated docstring description

build(docs): don't exit with success if building html docs failed

Responsible of 2020-03-19 docs downtime. See #252.

This commit is expected to fail linting if committed before
17f9703380ed4aed3ce88ba1e9f68a46b911dede and to succeed when rebased
after it.

...it doesn't: can't quite trigger a failure in Github Actions, although,
locally, "it fails correctly". Merging anyway.

fix: fix loading of text arrays with dimension information

The dimension information is a prefix such as ``[0:2]=`` in front of the
array. We just discard it when loading to lists, because for Python they
are always 0-based.

https://www.postgresql.org/docs/14/arrays.html#ARRAYS-IO

Close #253.

fix: install typing_extensions on Python < 3.10

For some reasons tests pass, but it's necessary.

Close #252.

Merge branch 'pgconn-in-exception'

docs: document PGconn needs_password and used_password attributes

This improves the documentation of Error class, which refers to those
in the new pgconn attribute documentation.

docs: specify that ANY() is available in psycopg2 too

doc: give more context to disconnection detection recipe

docs: add docs for `Error.pgconn` and `Error.pgresult`

feat: add `Error.pgresult` property

It might be useful for the same reason `pgconn` is.

For symmetry convert `pgconn` to a read-only attribute too.

feat: add `Error.pgconn` attribute

Might be useful to investigate errors such as bad/missing password. See #242
for details.

doc: fix duplications in class exceptions table titles

fix(c): fix portable endian aliases on different BSD flavours

See the commit at:
https://github.com/linux-sunxi/sunxi-tools/commit/384ff6473455da1a24b5037b358591f44f3bbf57

Close #241

chore: bump version number to 3.0.10

doc: fix typo in comment

fix: don't raise error accessing Cursor.description after COPY_OUT

COPY_OUT result advertises the number of columns but not their names (or
types). Use a surrogate name for description (which is more useful than
returning `None`, because at lest it tells how many columns were
emitted).

Close #235.

Merge branch 'fix-231'

test(win32): skip Ctrl-C test on Windows

As much as I've tried, haven't been able to send a Ctrl-C. Tests fail on
"ctrl-c not received".

fix: Cancel query on Ctrl-C

On KeyboardInterrupt, send a cancel to the server and keep waiting for
the result of the cancel, which is expected to raise a QueryCanceled,
then re-raise KeyboardInterrupt.

Before this, the connection was left in ACTIVE state, so it couldn't be rolled
back.

Only fixed on sync connections. Left a failing test for async
connections; the test fails with an output from the script such as:

    error ignored in rollback on <psycopg.AsyncConnection [ACTIVE] ...>:
    sending query failed: another command is already in progress
    Traceback (most recent call last):
      File "<string>", line 27, in <module>
      File "/usr/lib/python3.8/asyncio/runners.py", line 44, in run
        return loop.run_until_complete(main)
      File "/usr/lib/python3.8/asyncio/base_events.py", line 603, in run_until_complete
        self.run_forever()
      File "/usr/lib/python3.8/asyncio/base_events.py", line 570, in run_forever
        self._run_once()
      File "/usr/lib/python3.8/asyncio/base_events.py", line 1823, in _run_once
        event_list = self._selector.select(timeout)
      File "/usr/lib/python3.8/selectors.py", line 468, in select
        fd_event_list = self._selector.poll(timeout, max_ev)
    KeyboardInterrupt

And the except branch in `AsyncConnection.wait()` is not reached.

See #231

chore(pool): bump to next rev release

docs: declare psycopg 3.0.9 released

chore(pool):  Bump pool version to 3.1.1

refactor(pool): update some debug logging

Drop debug logging on `MaintenanceTask.init()`, which is not
particularly useful. Add debug entries on tasks `run()` early bailout,
which is a more interesting condition to follow (and would have allowed
to spot #230 more easily).

Merge branch 'fix-230'

Close #230.

fix(pool): set the open flag before starting the maintenance tasks

Failing to do so we might trigger the test in `MaintenanceTask.run()`
and find the pool closed, so discard the operation. It usually doesn't
happen, but with a few combination of IO operation it does happen: see
https://github.com/psycopg/psycopg/issues/230 for details.

test(pool): add test to show deadlock on logging

This deadlock seems reproducible at least on Python 3.8 and 3.10 on
Linux. It is caused by the logging statement in
``MaintenanceTask.__init__``: even just a ``print()`` there causes the lock.

See https://github.com/psycopg/psycopg/issues/230 for more details.

chore(pool): bump to next pool version

More regular and compact auto-generated exceptions

Also drop unneeded flake8 config file.

Set up the sqlstate-exception mapping using init_subclass

Merge branch 'fix-225'

Add doc section to refer to the exceptions list

Also clarify Error.sqlstate and further errors doc cleanup.

Set Error.sqlcode when unknown codes are received

Close #225.

Make the tzdata package a dependency on Windows

The package replaces the missing system tz database and allows to avoid
the warning and return timestamps in the client timezone instead of in
UTC.

Close #223

Set workflows to cancel jobs on the same branch

Docs at https://docs.github.com/en/actions/using-workflows/workflow-syntax-for-github-actions#concurrency

Merge pull request #224 from The-One-And-Only-H/asyncio-fix

Fix failures caused by the pytest-asyncio now raising a warning when a sync
function is marked asyncio.

Move Windows test to separate file to avoid applying the asyncio mark

Make synchronous test async to avoid asyncio error

Configure codespell to run on a dirty working directory

Add doc section about server messages handling

Fix typo/improve errors docs

Fix docs typo

Note Python 3.6 dropped support in pool release notes

Prepare psycopg_pool 3.1 for release

Fix typo in prepared statements+pooling warning

Fix pool docs typo

Merge branch 'black-stable'

Apply string manipulations from black --preview

They are stable under the current black and look an improvement.

Restore black max line length to its default

Trying black --preview, it performs several aggressive changes that are
made worse by the stricter margin, so relax it to the default.

Move to using the stable black version 22.1.0

fix: confusing named parameters in example query

In the named parameters example query, the name of the parameters are
Python built in data types: int and str.

This is confusing because it looks like we are casting values passed
as arguments instead of passing named arguments.

Fix typo

Toilets are not to be taken lightly.

Typo fixed

Merge pull request #211 from The-One-And-Only-H/codespell

Add codespell to pipeline

Configure codespell in tox.ini

Fix spelling errors found by codespell

Rename noe function to no_e

abc.rst: Fix typos discovered by codespell

https://pypi.org/project/codespell/

Allow one test to fail on Windows C implementation

This test doesn't run in tox, so it doesn't benefit from repeats, and it
fails often indeed on flakey tests.

Add pytest option to tolerate a number of failures, and use it.

Don't reset the random seed re-running failed tests

We don't want to make them pass because we didn't like the random draw.
It's not best of three.

Drop dataclasses package from constraints file

It is part of the stdlib in all supported Python versions, so it is no
more an external dependency.

Add compatibility macro for PQsetTraceFlags

Avoid a warning of implicit declaration compiling with libpq < 14.

Fix definitions for pipeline replacements macros

The previous definition caused a warning for implicit conversion from
void* to int.

Allow passing the PIP_CONSTRAINT env var to tox

This allows to run tests using the oldest, rather than the newest,
dependency packages, by passing it the tests/constraints.txt file.

Use wheel 0.37 as minimum version

It is the first version officially supporting Python 3.10
https://wheel.readthedocs.io/en/stable/news.html

Drop explicit tests retries

Now we just retry all failing tests automatically.

Retry automatically flakey tests in tox runs

Bump min version required for pytest-asyncio to 0.17.0

Older versions fail for the presence of asyncio_mode in pytest config,
which is required from 0.17 on instead.

Configure the async loop at test session start

Doing it in a fixture is too late: event_loop might have already been
called if the first test running is async, and it would fail on Windows.

This started to be needed after pytest-asyncio 0.17.0 was released.
See <https://github.com/pytest-dev/pytest-asyncio/issues/256>.

Set asyncio mode in pytest configuration

Remove the warning raised in pytest-async >= 0.17.0 if the setting is
missing.

Merge branch 'null-pool'

More robust null pool tests

Fix race conditions of tasks completing before a concurrent client is
queued.

Fix test relying on fixed broken behaviour of copy().

Use connection.info rather than connection.pgconn to obtain higher level
results (e.g. Enum instead of int).

Refactor pools to reduce code duplication

Use common getconn/putconn implementations and implement only the
different behaviours in subclasses.

Add null-pools documentation

Add NullPool and AsyncNullPool

Close #148

Minor changes to pool docs

Improve pool docs, especially pools and connections life cycle

Add wait parameter to pool.open()

Relax some timing tests tolerances

Seeing them failing regularly in Github workflows.

Drop support for Python 3.6

Bump version numbers for release

Leave start year only in docs footer

Update, once and for good, the copyright year

After getting more information about the matter and having convinced
myself that there is no need, except FOMO, to extend the copyright year
on source code, change all our entries to leave only the start year.

    git ls-tree -r HEAD --name-only \
        | xargs sed -i '/Copyright.*\(Varrazzo\|Psycopg\)/ s/-20..//'

Don't leave the connection ACTIVE on error in COPY_OUT

Cancel the active COPY operation if the server has not finished sending
the data yet.

Close #203.

Also fix the tests which were based on this broken behaviour. A case of
self-administered Hyrum's law.

Use info instead of pgconn in copy tests

It displays better information in case of assert failed.

Add prepare_threshold connection parameter

This can help configuring connections to use PgBouncer. It is possible
to use the attribute in the pool kwargs, for instance, instead of using
the more complex configure callback.

Close #200.

Exclude mypy 0.931 too from tests

It seems still affected by https://github.com/python/mypy/issues/11820.

Don't overwrite the module of the psycopg.pq.pq_ctypes objects

It might be useful to tell apart the C version from the python versions
for debugging. The C versions don't do it, so they repr as:

    <psycopg_binary.pq.PGconn [IDLE] (database=piro) at 0x7f8556deb040>

See #201.

Add example about DDL statement with quoted parameter

See #199.

Add mark for pool tests

Don't auto-skip pool test if import fails. This would miss serious
problems leading to the pool not being importable. If someone wants to
skip the pool tests they can use `-m 'not pool'` now.

Drop broken test about setting prepare attributes on the class

I'm just clobbering the property here. It doesn't work. Thankfully it
wasn't documented to work...

Don't look up other modules objects in __del__ methods

The modules might have been already cleaned up during interpreted
shutdown. See <https://bugs.python.org/issue46256#msg409847> for an
explanation.

The stdlib guards against the same thing happening too. However they
take a reference in the function closure, which is stronger than what we
do. Doing so, on our strictly typed codebase, is a tedious chore, so, if
this is enough (it should be, according to the OP), I'm happy this way.

Close #198.

Allow pools to have min_size = 0 as long as they can grow

Add tests to verify they can grow from 0 no problem.

Add ConnectionTimeout subclass of OperationalError

To be used in the connection pool to detect timeout on connection.

Backported to Psycopg 3.0.8 to allow the pool 3.1 to work with it, at
least on diminished capacity (NullPool.connection() would time out only
for clients in the queue, not in case of new connection timeout).

Merge branch 'pool-checks'

Raise PoolClosed on wait() on a closed pool

Previously it might have raised an assert, if, for instance, wait would
have failed and retried.

Raise ValueError if the pool min_size is <= 0

Before it would have created a broken pool, blocking forever on getconn.