chore: bump to version 3.0.12

Merge branch 'fix-254' into maint-3.0

test: add tests to verify copy across tables works

feat(copy): allow bytearray/memoryview as copy.write() input

The C implementation can deal with these types efficiently and it may
save a memcopy if that's what the user has available.

Close #254

fix: fix dumping int enums in text mode, python implementation

The error was hidden by a broken test, failing to test the text mode.

fix: drop debug logging left over

ci: print versions of depending packages on psycopg-binary build

Only on manylinux and musllinux images for the moment.

See #262

chore: upgrade cibuildwheel to 2.3.1

build: upgrade system packages before building psycopg-binary

See #262

chore: bump to next dev version

chore: bump version number to 3.0.11

ci: upgrade black

This version is not affected by https://github.com/psf/black/issues/2964
and doesn't require pinning click.

test: display the version of the server tests are run against

docs: add back lost comment and extend it with new knowledge

perf: release the GIL in copy-related libpq functions

Tests have shown that these functions may do a considerable amount of
work, although purely CPU.

fix(copy): chunk large buffers before queuing, not after

This is conceptually a better place to do it, because the queue has the
function of applying backpressure on the data generator. Splitting large
buffers later would flood the libpq without effectively slowing down the
producer.

Also, reduce the size of the chunks appended to the libpq from 1Mb to
128K. This makes an *immense* difference: the too large chunk probably
triggers some quadraticity in the libpq. The test script found in #255,
piped in `ts -s`, shows that pushing a block of data of about 1Gb size
(which will fail in Postgres anyway), with the smaller size, will take
about 9s. With the larger size, it takes 4.10m to get to waiting for
PQputCopyEnd, and other almost 6 minutes to receive the error message
from the server.

    00:00:47 putting 1048576 (or less) bytes in queue size 1023
    00:00:47 writing copy end
    00:00:47 got 1048576 bytes from queue size 1023
    ...
    00:01:25 got 1048576 bytes from queue size 640
    ...
    00:01:54 got 1048576 bytes from queue size 512
    ...
    00:03:00 got 1048576 bytes from queue size 256
    ...
    00:04:12 got 0 bytes from queue size 0
    00:04:12 wait for copy end
    00:09:59 Traceback (most recent call last):
    ...

Adding a few prints (see #255 for details) also shows that the time
spent in PQputCopyData increases, going from ~15 entries/sec processed
when the writer has just finished pushing data in the queue, down to ~4
items/sec towards the end.

Considering that a reduction of 10-20% of the input size causes a
decrease of the processing time of about 50%, there is definitely
something quadratic going on there. It might be possible to improve the
libpq, but for the moment it's better to try and coexist nicely with the
current state.

fix(copy): split large buffers before sending them to PQputCopyData

Sending excessively large data doesn't allow the libpq to flush its
content to the server, ending up in an infinite loop.

Close #255

fix(copy): propagate errors raised in the worker thread

Previously, an error in the worker thread was printed to stderr, but
processing continued, for no result but no exception.

Problem found in #255, but unrelated to it.

fix: fix loading of text arrays with dimension information

The dimension information is a prefix such as ``[0:2]=`` in front of the
array. We just discard it when loading to lists, because for Python they
are always 0-based.

https://www.postgresql.org/docs/14/arrays.html#ARRAYS-IO

Close #253.

chore: bump to next dev release

doc: fix duplications in class exceptions table titles

fix(c): fix portable endian aliases on different BSD flavours

See the commit at:
https://github.com/linux-sunxi/sunxi-tools/commit/384ff6473455da1a24b5037b358591f44f3bbf57

Close #241

chore: bump version number to 3.0.10

fix: don't raise error accessing Cursor.description after COPY_OUT

COPY_OUT result advertises the number of columns but not their names (or
types). Use a surrogate name for description (which is more useful than
returning `None`, because at lest it tells how many columns were
emitted).

Close #235.

Merge branch 'fix-231' into maint-3.0

test(win32): skip Ctrl-C test on Windows

As much as I've tried, haven't been able to send a Ctrl-C. Tests fail on
"ctrl-c not received".

fix: Cancel query on Ctrl-C

On KeyboardInterrupt, send a cancel to the server and keep waiting for
the result of the cancel, which is expected to raise a QueryCanceled,
then re-raise KeyboardInterrupt.

Before this, the connection was left in ACTIVE state, so it couldn't be rolled
back.

Only fixed on sync connections. Left a failing test for async
connections; the test fails with an output from the script such as:

    error ignored in rollback on <psycopg.AsyncConnection [ACTIVE] ...>:
    sending query failed: another command is already in progress
    Traceback (most recent call last):
      File "<string>", line 27, in <module>
      File "/usr/lib/python3.8/asyncio/runners.py", line 44, in run
        return loop.run_until_complete(main)
      File "/usr/lib/python3.8/asyncio/base_events.py", line 603, in run_until_complete
        self.run_forever()
      File "/usr/lib/python3.8/asyncio/base_events.py", line 570, in run_forever
        self._run_once()
      File "/usr/lib/python3.8/asyncio/base_events.py", line 1823, in _run_once
        event_list = self._selector.select(timeout)
      File "/usr/lib/python3.8/selectors.py", line 468, in select
        fd_event_list = self._selector.poll(timeout, max_ev)
    KeyboardInterrupt

And the except branch in `AsyncConnection.wait()` is not reached.

See #231

chore: bump to next dev release

chore: bump version number to 3.0.9

More regular and compact auto-generated exceptions

Also drop unneeded flake8 config file.

Set up the sqlstate-exception mapping using init_subclass

Merge branch 'fix-225' into maint-3.0

Add doc section to refer to the exceptions list

Also clarify Error.sqlstate and further errors doc cleanup.

Set Error.sqlcode when unknown codes are received

Close #225.

Make the tzdata package a dependency on Windows

The package replaces the missing system tz database and allows to avoid
the warning and return timestamps in the client timezone instead of in
UTC.

Close #223

Set workflows to cancel jobs on the same branch

Docs at https://docs.github.com/en/actions/using-workflows/workflow-syntax-for-github-actions#concurrency

Move Windows test to separate file to avoid applying the asyncio mark

Make synchronous test async to avoid asyncio error

Add doc section about server messages handling

Fix typo/improve errors docs

Allow running tests with psycopg-pool 3.1

A few internal attributes changed but they are only poked at for
testing, they are not part of the interface.

Reconfigure black/flake8 as on master branch and re-blacken

fix: confusing named parameters in example query

In the named parameters example query, the name of the parameters are
Python built in data types: int and str.

This is confusing because it looks like we are casting values passed
as arguments instead of passing named arguments.

Fix typo

Toilets are not to be taken lightly.

Typo fixed

Allow one test to fail on Windows C implementation

This test doesn't run in tox, so it doesn't benefit from repeats, and it
fails often indeed on flakey tests.

Add pytest option to tolerate a number of failures, and use it.

Don't reset the random seed re-running failed tests

We don't want to make them pass because we didn't like the random draw.
It's not best of three.

Fix definitions for pipeline replacements macros

The previous definition caused a warning for implicit conversion from
void* to int.

Allow passing the PIP_CONSTRAINT env var to tox

This allows to run tests using the oldest, rather than the newest,
dependency packages, by passing it the tests/constraints.txt file.

Use wheel 0.37 as minimum version

It is the first version officially supporting Python 3.10
https://wheel.readthedocs.io/en/stable/news.html

Drop explicit tests retries

Now we just retry all failing tests automatically.

Retry automatically flakey tests in tox runs

Pin pytest-asyncio package in Psycopg 3.0.x maint branch

We cannot upgrade to 0.17.0 because it requires a config entry that then
makes 0.16.x fail.

Relax some timing tests tolerances

Seeing them failing regularly in Github workflows.

Bump to next maint releases

Separate pool packages building into a different workflow

Psycopg and pool releases are separate.

Bump version numbers for release

Leave start year only in docs footer

Update, once and for good, the copyright year

After getting more information about the matter and having convinced
myself that there is no need, except FOMO, to extend the copyright year
on source code, change all our entries to leave only the start year.

    git ls-tree -r HEAD --name-only \
        | xargs sed -i '/Copyright.*\(Varrazzo\|Psycopg\)/ s/-20..//'

Don't leave the connection ACTIVE on error in COPY_OUT

Cancel the active COPY operation if the server has not finished sending
the data yet.

Close #203.

Also fix the tests which were based on this broken behaviour. A case of
self-administered Hyrum's law.

Use info instead of pgconn in copy tests

It displays better information in case of assert failed.

Exclude mypy 0.931 too from tests

It seems still affected by https://github.com/python/mypy/issues/11820.

Don't overwrite the module of the psycopg.pq.pq_ctypes objects

It might be useful to tell apart the C version from the python versions
for debugging. The C versions don't do it, so they repr as:

    <psycopg_binary.pq.PGconn [IDLE] (database=piro) at 0x7f8556deb040>

See #201.

Add example about DDL statement with quoted parameter

See #199.

Add mark for pool tests

Don't auto-skip pool test if import fails. This would miss serious
problems leading to the pool not being importable. If someone wants to
skip the pool tests they can use `-m 'not pool'` now.

Drop broken test about setting prepare attributes on the class

I'm just clobbering the property here. It doesn't work. Thankfully it
wasn't documented to work...

Don't look up other modules objects in __del__ methods

The modules might have been already cleaned up during interpreted
shutdown. See <https://bugs.python.org/issue46256#msg409847> for an
explanation.

The stdlib guards against the same thing happening too. However they
take a reference in the function closure, which is stronger than what we
do. Doing so, on our strictly typed codebase, is a tedious chore, so, if
this is enough (it should be, according to the OP), I'm happy this way.

Close #198.

Allow pools to have min_size = 0 as long as they can grow

Add tests to verify they can grow from 0 no problem.

Add ConnectionTimeout subclass of OperationalError

To be used in the connection pool to detect timeout on connection.

Backported to Psycopg 3.0.8 to allow the pool 3.1 to work with it, at
least on diminished capacity (NullPool.connection() would time out only
for clients in the queue, not in case of new connection timeout).

Merge branch 'pool-checks' into maint-3.0

Raise PoolClosed on wait() on a closed pool

Previously it might have raised an assert, if, for instance, wait would
have failed and retried.

Raise ValueError if the pool min_size is <= 0

Before it would have created a broken pool, blocking forever on getconn.

Move some common checks to the pool base class

Use caplog.set_level instead of manual filtering in tests

Skip tests using the deaf_port fixture on macOS and Windows

They fail some 50% of the time, looks like the port is not really
listening, the fact that the function is called listen() is just a
practical joke.

https://github.com/psycopg/psycopg/runs/4719288041?check_suite_focus=true

Add deaf_port fixture and base timeout tests on it

Hopefully more robust test to identify a closed connection

Drop unneeded method signatures in docs

Rename a couple of internal cursor methods for clarity

Refactor cur._raise_from_results() into _raise_for_result()

The case of raising with different statuses doesn't practically happen.

Drop Cursor._set_results()

Split it into a _check_results() and leave the caller manage the cursor state.

Shorten traceback on executemany

Fix typo in comment

Fix test suite to run on database in locales different from English

Note in news file that 3.0.8 is still unreleased

Fix spurious warning about variable referenced before assignment

Add flake8 configuration in other package dirs

Vim ALE is confused otherwise. I don't really get how is that it picks
the package directory as the starting one (maybe it finds the setup.py)?

Change type of `wait` in `pool_async.py`

Will become an incompatible type in assignment with the release of
https://github.com/python/typeshed/pull/6783

Fix py_codecs data type

It doesn't contain str anymore since 3.0.4.

A stricter definition revealed a couple of wrong usages of the mapping.
Use more consistently the higher level `conninfo_encoding()` function
instead of directly the mapping.

Use conninfo encoding to encode errors on connection

PostgreSQL returns connection errors in the encoding specified in
lc_messages (e.g. EUC-JP for a server with `lc_messages=ja_JP.EUC-JP`).
However, because we don't have a connection, the message was decoded in
the fallback utf-8.

If the client has specified a client_encoding, use it to decode the
error message. Be more lenient than usual to look up the encoding
(because it is not normalised by the server and we don't care about
performance as this only happens on error handling). As for any other
error messages, still use an error=replace policy to avoid exploding
reporting an error in the wrong encoding.

Close #194.

Fix typo: a raw data -> raw data

Fix doc link to transactions management

Also, "transactions", not "transaction".

Add note about installing libpq via psql

Merge branch 'dependencies-bounds' into maint-3.0

Add constraint file to test dependencies minimum version

Specify test/dev dependencies only at minor level

Where possible. pytest 6.2.5 is required by Python 3.10.

Specify lower bound for required backport packages

Remove upper bound from dependencies

Giving upper bounds to libraries creates problems if there are
transitive dependencies.

Our dependencies are only on dev/test time, but I'd rather get the
habit.

Fix typos and grammar in documentation.

Avoid mypy version 0.930

The release is affected by the issues:

- https://github.com/python/mypy/issues/11820
- https://github.com/python/typeshed/issues/6661

already acknowledged as bugs.