chore: update cibuildwheel to 2.5.0

Merge branch 'fix-293' into maint-3.0

Fix array oid dumping lists of integer

The problem was only in the list text dumper, which was trying to do more
than what needed. The list binary dumper worked alright.

Drop mixed array test, which don't really represent anything Postgres
can work with.

Close #293

test: add test to verify the wrong array oid with numbers

The array binary dumper does the right thing; the text one picks
numeric[] unconditionally. It was clearly made on purpose, but #293
shows that it's a bad idea.

fix: allow to use cancel() on a closed connection

docs: add hint about using add_signal_handler() to interrupt async queries

Courtesy @gjcarneiro, thank you!

Merge branch 'fix-286' into maint-3.0

perf: avoid unnecessary recvfrom() in cursor.stream()

Call PQisBusy() before PQconsumeInput() on fetching results. If not
busy, don't call PQconsumeInput() at all but just go to fetching results
and notifications.

This is especially useful in single-row mode because most of the times
the libpq can produce several results after a single network fetch.
Previously we were calling PQconsumeInput() also when results were
already on the client and there was nothing new to read, which forced
the libpq to run a select() to tell apart a lack of data from an EOF,
see `the grumble`_, and caused the overhead reported in #286.

Close #286.

.. _the grumble: https://github.com/postgres/postgres/blob/ed57cac84d1c5642737dab1e4c4b8cb4f0c4305f/src/interfaces/libpq/fe-misc.c#L681

test: add cursor.stream() test for empty result sets

Also add a missing async test for results with no column.

refactor: replace an assert with a type: ignore

It's not like we give away opcodes for free here.

refactor: send only once per stream

No need to do it at every row, probably entirely wrong. However this is
not the cause of the slowness reported in #286.

refactor: only clean up the wait() timeout if needed

Often we terminate the iteration at the first item, so no need to select
at all.

test: fix variable scope in ctrl-c test

test: verify ctrl-c in async mode using get_event_loop

chore: bump to next dev release

chore: bump to version 3.0.12

Merge branch 'fix-254' into maint-3.0

test: add tests to verify copy across tables works

feat(copy): allow bytearray/memoryview as copy.write() input

The C implementation can deal with these types efficiently and it may
save a memcopy if that's what the user has available.

Close #254

fix: fix dumping int enums in text mode, python implementation

The error was hidden by a broken test, failing to test the text mode.

fix: drop debug logging left over

ci: print versions of depending packages on psycopg-binary build

Only on manylinux and musllinux images for the moment.

See #262

chore: upgrade cibuildwheel to 2.3.1

build: upgrade system packages before building psycopg-binary

See #262

chore: bump to next dev version

chore: bump version number to 3.0.11

ci: upgrade black

This version is not affected by https://github.com/psf/black/issues/2964
and doesn't require pinning click.

test: display the version of the server tests are run against

docs: add back lost comment and extend it with new knowledge

perf: release the GIL in copy-related libpq functions

Tests have shown that these functions may do a considerable amount of
work, although purely CPU.

fix(copy): chunk large buffers before queuing, not after

This is conceptually a better place to do it, because the queue has the
function of applying backpressure on the data generator. Splitting large
buffers later would flood the libpq without effectively slowing down the
producer.

Also, reduce the size of the chunks appended to the libpq from 1Mb to
128K. This makes an *immense* difference: the too large chunk probably
triggers some quadraticity in the libpq. The test script found in #255,
piped in `ts -s`, shows that pushing a block of data of about 1Gb size
(which will fail in Postgres anyway), with the smaller size, will take
about 9s. With the larger size, it takes 4.10m to get to waiting for
PQputCopyEnd, and other almost 6 minutes to receive the error message
from the server.

    00:00:47 putting 1048576 (or less) bytes in queue size 1023
    00:00:47 writing copy end
    00:00:47 got 1048576 bytes from queue size 1023
    ...
    00:01:25 got 1048576 bytes from queue size 640
    ...
    00:01:54 got 1048576 bytes from queue size 512
    ...
    00:03:00 got 1048576 bytes from queue size 256
    ...
    00:04:12 got 0 bytes from queue size 0
    00:04:12 wait for copy end
    00:09:59 Traceback (most recent call last):
    ...

Adding a few prints (see #255 for details) also shows that the time
spent in PQputCopyData increases, going from ~15 entries/sec processed
when the writer has just finished pushing data in the queue, down to ~4
items/sec towards the end.

Considering that a reduction of 10-20% of the input size causes a
decrease of the processing time of about 50%, there is definitely
something quadratic going on there. It might be possible to improve the
libpq, but for the moment it's better to try and coexist nicely with the
current state.

fix(copy): split large buffers before sending them to PQputCopyData

Sending excessively large data doesn't allow the libpq to flush its
content to the server, ending up in an infinite loop.

Close #255

fix(copy): propagate errors raised in the worker thread

Previously, an error in the worker thread was printed to stderr, but
processing continued, for no result but no exception.

Problem found in #255, but unrelated to it.

fix: fix loading of text arrays with dimension information

The dimension information is a prefix such as ``[0:2]=`` in front of the
array. We just discard it when loading to lists, because for Python they
are always 0-based.

https://www.postgresql.org/docs/14/arrays.html#ARRAYS-IO

Close #253.

chore: bump to next dev release

doc: fix duplications in class exceptions table titles

fix(c): fix portable endian aliases on different BSD flavours

See the commit at:
https://github.com/linux-sunxi/sunxi-tools/commit/384ff6473455da1a24b5037b358591f44f3bbf57

Close #241

chore: bump version number to 3.0.10

fix: don't raise error accessing Cursor.description after COPY_OUT

COPY_OUT result advertises the number of columns but not their names (or
types). Use a surrogate name for description (which is more useful than
returning `None`, because at lest it tells how many columns were
emitted).

Close #235.

Merge branch 'fix-231' into maint-3.0

test(win32): skip Ctrl-C test on Windows

As much as I've tried, haven't been able to send a Ctrl-C. Tests fail on
"ctrl-c not received".

fix: Cancel query on Ctrl-C

On KeyboardInterrupt, send a cancel to the server and keep waiting for
the result of the cancel, which is expected to raise a QueryCanceled,
then re-raise KeyboardInterrupt.

Before this, the connection was left in ACTIVE state, so it couldn't be rolled
back.

Only fixed on sync connections. Left a failing test for async
connections; the test fails with an output from the script such as:

    error ignored in rollback on <psycopg.AsyncConnection [ACTIVE] ...>:
    sending query failed: another command is already in progress
    Traceback (most recent call last):
      File "<string>", line 27, in <module>
      File "/usr/lib/python3.8/asyncio/runners.py", line 44, in run
        return loop.run_until_complete(main)
      File "/usr/lib/python3.8/asyncio/base_events.py", line 603, in run_until_complete
        self.run_forever()
      File "/usr/lib/python3.8/asyncio/base_events.py", line 570, in run_forever
        self._run_once()
      File "/usr/lib/python3.8/asyncio/base_events.py", line 1823, in _run_once
        event_list = self._selector.select(timeout)
      File "/usr/lib/python3.8/selectors.py", line 468, in select
        fd_event_list = self._selector.poll(timeout, max_ev)
    KeyboardInterrupt

And the except branch in `AsyncConnection.wait()` is not reached.

See #231

chore: bump to next dev release

chore: bump version number to 3.0.9

More regular and compact auto-generated exceptions

Also drop unneeded flake8 config file.

Set up the sqlstate-exception mapping using init_subclass

Merge branch 'fix-225' into maint-3.0

Add doc section to refer to the exceptions list

Also clarify Error.sqlstate and further errors doc cleanup.

Set Error.sqlcode when unknown codes are received

Close #225.

Make the tzdata package a dependency on Windows

The package replaces the missing system tz database and allows to avoid
the warning and return timestamps in the client timezone instead of in
UTC.

Close #223

Set workflows to cancel jobs on the same branch

Docs at https://docs.github.com/en/actions/using-workflows/workflow-syntax-for-github-actions#concurrency

Move Windows test to separate file to avoid applying the asyncio mark

Make synchronous test async to avoid asyncio error

Add doc section about server messages handling

Fix typo/improve errors docs

Allow running tests with psycopg-pool 3.1

A few internal attributes changed but they are only poked at for
testing, they are not part of the interface.

Reconfigure black/flake8 as on master branch and re-blacken

fix: confusing named parameters in example query

In the named parameters example query, the name of the parameters are
Python built in data types: int and str.

This is confusing because it looks like we are casting values passed
as arguments instead of passing named arguments.

Fix typo

Toilets are not to be taken lightly.

Typo fixed

Allow one test to fail on Windows C implementation

This test doesn't run in tox, so it doesn't benefit from repeats, and it
fails often indeed on flakey tests.

Add pytest option to tolerate a number of failures, and use it.

Don't reset the random seed re-running failed tests

We don't want to make them pass because we didn't like the random draw.
It's not best of three.

Fix definitions for pipeline replacements macros

The previous definition caused a warning for implicit conversion from
void* to int.

Allow passing the PIP_CONSTRAINT env var to tox

This allows to run tests using the oldest, rather than the newest,
dependency packages, by passing it the tests/constraints.txt file.

Use wheel 0.37 as minimum version

It is the first version officially supporting Python 3.10
https://wheel.readthedocs.io/en/stable/news.html

Drop explicit tests retries

Now we just retry all failing tests automatically.

Retry automatically flakey tests in tox runs

Pin pytest-asyncio package in Psycopg 3.0.x maint branch

We cannot upgrade to 0.17.0 because it requires a config entry that then
makes 0.16.x fail.

Relax some timing tests tolerances

Seeing them failing regularly in Github workflows.

Bump to next maint releases

Separate pool packages building into a different workflow

Psycopg and pool releases are separate.

Bump version numbers for release

Leave start year only in docs footer

Update, once and for good, the copyright year

After getting more information about the matter and having convinced
myself that there is no need, except FOMO, to extend the copyright year
on source code, change all our entries to leave only the start year.

    git ls-tree -r HEAD --name-only \
        | xargs sed -i '/Copyright.*\(Varrazzo\|Psycopg\)/ s/-20..//'

Don't leave the connection ACTIVE on error in COPY_OUT

Cancel the active COPY operation if the server has not finished sending
the data yet.

Close #203.

Also fix the tests which were based on this broken behaviour. A case of
self-administered Hyrum's law.

Use info instead of pgconn in copy tests

It displays better information in case of assert failed.

Exclude mypy 0.931 too from tests

It seems still affected by https://github.com/python/mypy/issues/11820.

Don't overwrite the module of the psycopg.pq.pq_ctypes objects

It might be useful to tell apart the C version from the python versions
for debugging. The C versions don't do it, so they repr as:

    <psycopg_binary.pq.PGconn [IDLE] (database=piro) at 0x7f8556deb040>

See #201.

Add example about DDL statement with quoted parameter

See #199.

Add mark for pool tests

Don't auto-skip pool test if import fails. This would miss serious
problems leading to the pool not being importable. If someone wants to
skip the pool tests they can use `-m 'not pool'` now.

Drop broken test about setting prepare attributes on the class

I'm just clobbering the property here. It doesn't work. Thankfully it
wasn't documented to work...

Don't look up other modules objects in __del__ methods

The modules might have been already cleaned up during interpreted
shutdown. See <https://bugs.python.org/issue46256#msg409847> for an
explanation.

The stdlib guards against the same thing happening too. However they
take a reference in the function closure, which is stronger than what we
do. Doing so, on our strictly typed codebase, is a tedious chore, so, if
this is enough (it should be, according to the OP), I'm happy this way.

Close #198.

Allow pools to have min_size = 0 as long as they can grow

Add tests to verify they can grow from 0 no problem.

Add ConnectionTimeout subclass of OperationalError

To be used in the connection pool to detect timeout on connection.

Backported to Psycopg 3.0.8 to allow the pool 3.1 to work with it, at
least on diminished capacity (NullPool.connection() would time out only
for clients in the queue, not in case of new connection timeout).

Merge branch 'pool-checks' into maint-3.0

Raise PoolClosed on wait() on a closed pool

Previously it might have raised an assert, if, for instance, wait would
have failed and retried.

Raise ValueError if the pool min_size is <= 0

Before it would have created a broken pool, blocking forever on getconn.

Move some common checks to the pool base class

Use caplog.set_level instead of manual filtering in tests

Skip tests using the deaf_port fixture on macOS and Windows

They fail some 50% of the time, looks like the port is not really
listening, the fact that the function is called listen() is just a
practical joke.

https://github.com/psycopg/psycopg/runs/4719288041?check_suite_focus=true

Add deaf_port fixture and base timeout tests on it

Hopefully more robust test to identify a closed connection

Drop unneeded method signatures in docs

Rename a couple of internal cursor methods for clarity

Refactor cur._raise_from_results() into _raise_for_result()

The case of raising with different statuses doesn't practically happen.

Drop Cursor._set_results()

Split it into a _check_results() and leave the caller manage the cursor state.

Shorten traceback on executemany

Fix typo in comment

Fix test suite to run on database in locales different from English

Note in news file that 3.0.8 is still unreleased