fix: don't clobber a Python exception on COPY FROM with QueryCanceled

We trigger the server to raise the QueryCanceled; however, the original
exception has more information (the traceback). We can consider the
server exception just a notification that cancellation worked as
expected.

This is a mild change in behaviour, as the fixed tests state. However,
raising QueryCanceled is not explicitly documented and not part of a
strict interface, so we can probably change the exception raised without
needing to wait for psycopg 4.

Close #593

chore: bump mypy to 1.4.1

The issue previously mentioned about '# type: ignore[arg-type]' in
rows.py got resolved.

The new '# type: ignore[comparison-overlap]' in test_pipeline*.py are
due to https://github.com/python/mypy/issues/15509, a known regression
from Mypy 1.4. We use the workaround documented in the release blog post
https://mypy-lang.blogspot.com/2023/06/mypy-140-released.html (section
"Narrowing Enum Values Using “==”").

ops: fix broken build on Windows amd64

Mark test_ctrl_c_handler as timing sensitive

psycopg> =================================== FAILURES ===================================
psycopg> _____________________________ test_ctrl_c_handler ______________________________
psycopg>         t0 = time.time()
psycopg>         proc = sp.Popen([sys.executable, "-s", "-c", script], creationflags=creationflags)
psycopg>         proc.communicate()
psycopg>         t = time.time() - t0
psycopg>         assert proc.returncode == 0
psycopg> >       assert 1 < t < 2
psycopg> E       assert 3.7456982135772705 < 2
psycopg>
psycopg> tests/test_concurrency.py:293: AssertionError

Merge branch 'fix-565-3.1' into maint-3.1

fix: finish the PGconn upon connection failure

Attaching the non-finished PGconn to exceptions raised in connect() is
causing problem, as described in issue #565, because the PGconn might
not get finished soon enough in application code and the socket would
remain open.

On the other hand, just removing the pgconn attribute from Error would
be a breaking change and we'd loose the inspection features introduced
in commit 9220293dc023b757f2a57702c14b1460ff8f25b0.

As an alternative, we define a new PGconn implementation that is
error-specific: it captures all attributes of the original PGconn and
fails upon other operations (methods call). Some attributes have a
default value since they are not available in old PostgreSQL versions.

Finally, the (real) PGconn is finished before raising exception in
generators.connect().

chore: add a trailing comma in Error.__init__() to make black happy

tests: check that OperationalError raised by connect() holds a pgconn

Sort of a non-regression test for the part of commit
9220293dc023b757f2a57702c14b1460ff8f25b0 concerning generators. It used
roughly the same logic as tests/pq/test_pgconn.py::test_used_password()
to determine if the test connection needs a password and gets skipped
otherwise.

fix(pool): check connections' max_lifetime on ``check()``

Close #482

Merge branch 'fix-585-3.1' into maint-3.1

fix: always validate PrepareManager cache in pipeline mode

Previously, when processing results in pipeline mode
(BasePipeline._process_results()), we'd run
'cursor._check_results(results)' early before calling
_prepared.validate() with prepared statement information. However, if
this check step fails, for example if the pipeline got aborted due to a
previous error, the latter step (PrepareManager cache validation) was
not run.

We fix this by reversing the logic, and checking results last.

However, this is not enough, because the results processing logic in
BasePipeline._fetch_gen() or _communicate_gen(), which sequentially
walked through fetched results, would typically stop at the first
exception and thus possibly never go through the step of validating
PrepareManager cache if a previous error happened.

We fix that by making sure that *all* results are processed, possibly
capturing the first exception and then re-raising it. In both
_communicate_gen() and _fetch_gen(), we no longer store results in the
'to_process' like, but process then upon reception as this logic is no
longer needed.

Fix #585.

docs: adjust PrepareManager.validate() docstring

From commit bfabe88aba4769e0a44206e1ace7c299991a957d, the method does
not return a command, but it records it through _rotate().

docs: remove outdated comments in PrepareManager's docstrings

PrepareManager's methods maybe_add_to_cache() and validate() are said to
only be used in pipeline mode, but this is wrong as can be seen in
BaseCursor._maybe_prepare_gen(). (Comments are probably a left-over from
a prior implementation of the pipeline mode.)

feat: allow binary JSON dumps

Some JSON libraries, in particular the widespread
[orjson](https://github.com/ijl/orjson#quickstart) library, directly
dump data in binary format.

This change allows it and avoids having to decode/encode in these cases
by testing the return type of the `dumps` function.

Added minimal Django integration tests.

chore: bump psycopg package version to 3.1.10.dev1

chore: bump psycopg package version to 3.1.9

Merge branch 'fix-json-dump-dict-3.1' into maint-3.1

test(json): fix dict registration test on crdb

fix(json): allow to register json dumpers on dict or other objects

fix: don't reuse the same Transformer in composite dumper

We need different dumpers because, in case a composite contains another
composite, we need to call `dump_sequence()` on different sequences, so
we row dumpers must be distinct.

Close #547

docs: fix cursor -> connection in the context of transaction management

Close #548

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: fix loading of different 'record' types in the same query

Different records in the same query might have different types.
Use a separate transformer for each sequence of types.

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: shorter traceback on ctrl-c interrupt

fix(async): cancel query upon receiving CanceledError in async wait

This interrupt a running query upon Ctrl-C for example, which wasn't
working as it was on sync connection.

Close #543.

chore: bump mypy to 1.2

Fix typo in docs

chore: bump psycopg_pool package version to 3.1.8.dev1

chore: bump psycopg_pool package version to 3.1.7

tests: skip test_sql::test_invalid_name if not a super-user

Creating a base type, as done in that test, requires being a superuser.

Merge branch 'fix-509-3.1' into maint-3.1

test(pool): skip cancellation tests on Python 3.7

The test hangs forever on Python 3.7, no the gather() statement, and
wait_for() doesn't solve the problem.

fix(pool): reinforce handling of errors in queued clients

Unlike the async counterpart, I have no idea how to test this condition,
because I don't think you can cancel a Python thread. I could put the
pool and the first client in threads and use the main thread as queued
client, but it seems pretty convoluted.

However, an error handling in the same place that fixed #509 in the
async pools doesn't hurt.

fix(pool): fix handling of errors in queued async tasks

Failing to do so, cancelled tasks still in the queue end up consuming
a connection without a chance of returning it, depleting the pool.

Close #509

test: mark some scheduler tests time-sensitive

Close #502

fix(c): fix incomplete error message for timestamp too small

Close #521.

doc: fix pg2pyenc() docstring

Merge branch 'cython-3.0b1' into maint-3.1

fix(c): add type cast to notice receiver callback

Necessary starting from Cython 3.0b1

fix(c): solve Cython compile warnings

chore: upgrade to mypy 1.0.0

Some "type: ignore" no longer needed, some need a different kind.

tests: mark as flaky tests seen failing randomly on release

test: use Windows asyncio policy in "non-asyncio" pool tests

In commit b6cc8343159fc0a27365e09a3beef06433f3f1b5, we drop the global
asyncio.set_event_loop_policy() for Windows in conftest.py, replacing it
with asyncio_options to be used by the anyio test runner. However, test
cases in test_pool_async_noasyncio.py are not "async def" so they would
not use that anyio runner (nor did they use pytest-asyncio's runner
before); but they need the event loop policy for Windows still.
Accordingly, we configure the loop from "anyio_backend_options" in
asyncio_run() fixture.

test: use anyio instead of pytest-asyncio

This is in preparation for adding support for other async libraries,
through anyio. AnyIO pytest plugin is used in replacement for
pytest-asyncio:

- either the pytest.mark.asyncio is replaced by pytest.mark.anyio, or,
- we rely on the 'anyio_backend' fixture that is pulled in 'aconn_cls'
  fixture (and hence 'aconn') providing automatic detection for test
  functions using it.

The 'anyio_backend' fixture is parametrized to only use asyncio and
selects the event loop policy we need on Windows platform as previously
done in pytest_sessionstart(), but only for Python version 3.8 or
higher.

This fixture is defined in main conftest.py, as well as in
pool/conftest.py since we'll change the former to support more async
backend while keeping the later asyncio-only for now.

Function test_concurrency_async.py::test_ctrl_c is no longer 'async'
because its code does not directly use asyncio (it's done through a
subprocess); but the 'async def' was needed before in order for
pytest-asyncio to run it since the test module had a global
pytest.mark.asyncio (and we were using the "auto" mode).

Merge branch 'fix-503' into maint-3.1

fixed broken link to pip docs

docs: add news entry about TypeInfo.fetch() with sql_ascii connection fix

test: test hstore registration using different encodings

Reproduce the "emerging" bug reported in #503.

fix: fix TypeInfo.fetch() with a sql_ascii encoding connection

Close #503

test: add TypeInfo.fetch() test with autocommit transaction

test: reproduce the error in TypeInfo.fetch() in sql_ascii connection

Reported in #503.

Merge branch 'sqlalchemy_pipeline' into maint-3.1

ci: add colors to pytest sqlalchemy run

ci: allow better job visualization in Action page

ci: fix postgres service in 3rd party workflow

ci: add sqlalchemy integration pipeline

chore: upgrade black to 23.1.0

Code reformatted to adhere to the new style requested (stricter on
redundant tuples unpacking brackets and blank lines at blocks start).

chore: bump psycopg package version to 3.1.9.dev1

ci: bump to PostgreSQL 15 on macOS package build

Try to do without brew update, which at the moment downloads half a
million of packages we don't use and then barfs on some java crap.

chore: bump cibuildwheel to 2.12.0

Checking if this fixes the current error in Github Actions, where the
macOS builds fail on `brew update`.

chore: bump psycopg_pool package version to 3.1.7.dev1

chore: bump psycopg_pool package version to 3.1.6

Merge branch 'kwargs-begone' into maint-3.1

docs(pool): mention change in constructors signatures in the news

refactor(pool): make constructor configuration parameters type-safe

Previously, arguments to ConnectionPool and friends would be forwarded
using `**kwargs` to `BasePool`. This is however not type-safe, and
prevents code editors from auto-completing the parameters.

Drop the `**kwargs`, duplicate the parameters instead.

Fixes #493.

chore: bump psycopg package version to 3.1.8

Fixed TypeInfo for ClientCursor.

TypeInfo had a hardcoded binary=True which doesn't work to well for
ClientCursor.

Merge branch 'rowcount' into maint-3.1

fix: set rowcount to the first result in executemany(..., returning=True)

Previously, _rowcount was unconditionally set to the overall number of
rows of all queries in executemany() and then reset only upon the first
call to nextset(). In the returning=True case, this lead the rowcount
attribute to be wrong for the first result (i.e. it didn't match the
number of rows that would be returned by .fetchall(), as can be seen in
updated tests).

Now we only set _rowcount to the cumulated number of rows of executed
queries *if* executemany() is not returning (so the value is still
useful, e.g., in to check the number of INSERTed rows):

    >>> cur.executemany("INSERT INTO t(r) VALUES (%s)", [(1,), (2,)])
    >>> cur.rowcount
    2  # number of inserted rows
    >>> cur.nextset()
    >>> cur.executemany("INSERT INTO t(r) VALUES (%s) RETURNING r", [(1,), (2,)], returning=True)
    >>> cur.rowcount
    1  # number of rows in the first result set
    >>> cur.fetchall()
    [(1,)]
    >>> cur.nextset()
    True
    >>> cur.rowcount
    1
    >>> cur.fetchall()
    [(2,)]
    >>> cur.nextset()

Besides, the code for processing results from executemany() in
_executemany_gen_no_pipeline() is now similar to that of
_set_results_from_pipeline().

refactor: drop superfluous _rowcount reset

In BaseCursor._set_results_from_pipeline() we were resetting _rowcount
if negative. This is superfluous as this code is reached when coming
from _executemany_gen_pipeline() in which we already do
'self._rowcount = 0' early on.

ci: install the "oldest" libpq from pgdg repository

doc: fix typo unless -> unlike

refactor: drop internal use of Union[] type definition in TypeInfo.fetch()

fix: use more uniformly the to_regtype function

Make the knowledge of the function to use independent from the knowledge
of the types implemented by a certain database.

test(crdb): fix flakey test

We often find a "delete" record more than once in the changefeed, before
deleting it. Tolerate one.

Use to_regtype instead of ::regtype in type info queries on supported dbs

fix: report the MultirangeInfo object exposed by psycopg.types.multirange

Merge branch 'build-backend' into maint-3.1

ci: add in-tree build backend to avoid installing Cython if not needed

Only install Cython when there are pyx files to build. If there aren't,
it means that the c files are already available and Cython is not
required.

Close #471.

ci: use the 'build' python package as build frontend

ci: fix building source packages

Something was broken recently and installing from the package root
doesn't work anymore.

Merge branch 'test-lower-bound-dependencies' into maint-3.1

ci: include a single test with the oldest dependencies versions

chore: update the lower bound dependencies in the constraint file

Lower minimum dependency on pytest-randomly to version 3.5, as
version 3.6 requires a newer importlib-metadata.

fix: raise known errors before checking for signals in waiting

test: add psycopg2 in green mode to benchmark script

This is a more accurate comparison between psycopg2 and 3.

test: add --concurrency option to benchmark script

Investigate the poor parallelism mentioned in #448.

style: uniform variable name between sync and async cursor

fix: raise OperationalError instead of MemoryError on several operations

Failure is related to the operation executed, not to memory not
available to store the result.

chore: add Documentation, Changes links to metadata

feat(bump-version): add --actions option

chore(c): lean win32

chore(c): fix build warnings on win32

ci: uniform and clean up test workflow

test(crdb): skip inet tests on v22.2.1

Work around https://github.com/cockroachdb/cockroach/issues/94192

chore(pool): add pyproject.toml

ci: configure the database to run two-phase-commit tests

We can't use the Github Actions PostgreSQL service because it doesn't
seem possible to configure the server for stored transactions:

- the service yaml definition doesn't take args to pass to run
- we can't overwrite the entry point with a script of ours because the
  service starts before actions/checkout
- the postgres image doesn't allow to pass extra parameters to the
  server via an env var

test: fix int mixin enum in test