test(json): fix dict registration test on crdb

fix(json): allow to register json dumpers on dict or other objects

fix: don't reuse the same Transformer in composite dumper

We need different dumpers because, in case a composite contains another
composite, we need to call `dump_sequence()` on different sequences, so
we row dumpers must be distinct.

Close #547

docs: fix cursor -> connection in the context of transaction management

Close #548

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: fix loading of different 'record' types in the same query

Different records in the same query might have different types.
Use a separate transformer for each sequence of types.

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: shorter traceback on ctrl-c interrupt

fix(async): cancel query upon receiving CanceledError in async wait

This interrupt a running query upon Ctrl-C for example, which wasn't
working as it was on sync connection.

Close #543.

chore: bump mypy to 1.2

Fix typo in docs

chore: fix declaration of PQsetTraceFlags in pyi

Running 'python -m psycopg.pq._pq_ctypes' currently produces a diff
because _PQsetTraceFlags is not present in .pyi but PQsetTraceFlags is.

chore: bump psycopg_pool package version to 3.1.7

tests: skip test_sql::test_invalid_name if not a super-user

Creating a base type, as done in that test, requires being a superuser.

Merge branch 'fix-509'

test(pool): skip cancellation tests on Python 3.7

The test hangs forever on Python 3.7, no the gather() statement, and
wait_for() doesn't solve the problem.

fix(pool): reinforce handling of errors in queued clients

Unlike the async counterpart, I have no idea how to test this condition,
because I don't think you can cancel a Python thread. I could put the
pool and the first client in threads and use the main thread as queued
client, but it seems pretty convoluted.

However, an error handling in the same place that fixed #509 in the
async pools doesn't hurt.

fix(pool): fix handling of errors in queued async tasks

Failing to do so, cancelled tasks still in the queue end up consuming
a connection without a chance of returning it, depleting the pool.

Close #509

test: mark some scheduler tests time-sensitive

Close #502

fix(c): fix incomplete error message for timestamp too small

Close #521.

doc: fix pg2pyenc() docstring

Merge branch 'dshick/support-async-reconn-failed-cb'

refactor(pool): rename SyncConnectFailedCB to ConnectFailedCB

For every other object in the codebase of which there are sync and
async versions, the sync one doesn't have a prefix.

docs(pool): mention async reconnect_failed support in docs and news

chore: use TypeAlias to clean up verbose types

fix: define reconnect_failed callback in each pool implementation, allow async functions in async pool

reuse existing test with pytest parameterization

Merge branch 'cython-3.0b1'

fix(c): add type cast to notice receiver callback

Necessary starting from Cython 3.0b1

fix(c): solve Cython compile warnings

Materialize `TAIL` -> `SUBSCRIBE`

chore: upgrade to mypy 1.0.0

Some "type: ignore" no longer needed, some need a different kind.

tests: mark as flaky tests seen failing randomly on release

test: use Windows asyncio policy in "non-asyncio" pool tests

In commit b6cc8343159fc0a27365e09a3beef06433f3f1b5, we drop the global
asyncio.set_event_loop_policy() for Windows in conftest.py, replacing it
with asyncio_options to be used by the anyio test runner. However, test
cases in test_pool_async_noasyncio.py are not "async def" so they would
not use that anyio runner (nor did they use pytest-asyncio's runner
before); but they need the event loop policy for Windows still.
Accordingly, we configure the loop from "anyio_backend_options" in
asyncio_run() fixture.

test: use anyio instead of pytest-asyncio

This is in preparation for adding support for other async libraries,
through anyio. AnyIO pytest plugin is used in replacement for
pytest-asyncio:

- either the pytest.mark.asyncio is replaced by pytest.mark.anyio, or,
- we rely on the 'anyio_backend' fixture that is pulled in 'aconn_cls'
  fixture (and hence 'aconn') providing automatic detection for test
  functions using it.

The 'anyio_backend' fixture is parametrized to only use asyncio and
selects the event loop policy we need on Windows platform as previously
done in pytest_sessionstart(), but only for Python version 3.8 or
higher.

This fixture is defined in main conftest.py, as well as in
pool/conftest.py since we'll change the former to support more async
backend while keeping the later asyncio-only for now.

Function test_concurrency_async.py::test_ctrl_c is no longer 'async'
because its code does not directly use asyncio (it's done through a
subprocess); but the 'async def' was needed before in order for
pytest-asyncio to run it since the test module had a global
pytest.mark.asyncio (and we were using the "auto" mode).

Merge branch 'set-results'

refactor: set cursor result in _maybe_prepare_gen()

When not in pipeline mode, we can actually set the results on the cursor
directly in this method instead of letting the caller handle this.

refactor: merge BaseCursor's _set_results() and _set_results_from_pipeline()

Per refactoring of previous commits, these are similar: the only
difference is the use of "first_batch" flag in the execute() branch when
not in pipeline mode, but in that case since there is actually only one
"batch", the behavior is actually preserved.

Since _set_results_from_pipeline() previously included a call to
_check_results() but _set_results() does not, that is reported in caller
(BasePipeline._process_results()).

refactor: handle returning-executemany() in _set_results()

refactor: introduce BaseCursor._set_results()

Similar to _set_results_from_pipeline(), this applies to the
non-pipeline case and reduce code repetition.

Merge branch 'sqlalchemy_pipeline'

ci: add colors to pytest sqlalchemy run

ci: allow better job visualization in Action page

ci: fix postgres service in 3rd party workflow

ci: add sqlalchemy integration pipeline

Merge branch 'fix-503'

docs: add news entry about TypeInfo.fetch() with sql_ascii connection fix

test: test hstore registration using different encodings

Reproduce the "emerging" bug reported in #503.

fix: fix TypeInfo.fetch() with a sql_ascii encoding connection

Close #503

test: add TypeInfo.fetch() test with autocommit transaction

test: reproduce the error in TypeInfo.fetch() in sql_ascii connection

Reported in #503.

fixed broken link to pip docs

chore: upgrade black to 23.1.0

Code reformatted to adhere to the new style requested (stricter on
redundant tuples unpacking brackets and blank lines at blocks start).

chore: bump psycopg_pool package version to 3.1.6

chore: bump psycopg package version to 3.1.8

ci: bump to PostgreSQL 15 on macOS package build

Try to do without brew update, which at the moment downloads half a
million of packages we don't use and then barfs on some java crap.

chore: bump cibuildwheel to 2.12.0

Checking if this fixes the current error in Github Actions, where the
macOS builds fail on `brew update`.

Merge branch 'kwargs-begone'

docs(pool): mention change in constructors signatures in the news

refactor(pool): make constructor configuration parameters type-safe

Previously, arguments to ConnectionPool and friends would be forwarded
using `**kwargs` to `BasePool`. This is however not type-safe, and
prevents code editors from auto-completing the parameters.

Drop the `**kwargs`, duplicate the parameters instead.

Fixes #493.

Merge pull request #484 from apollo13/typeinfo-for-clientcusor

Fixed TypeInfo for ClientCursor.

Fixed TypeInfo for ClientCursor.

TypeInfo had a hardcoded binary=True which doesn't work to well for
ClientCursor.

Merge branch 'refactor-typeinfo'

refactor: break circular import problem between sql, adapt, _typeinfo

Move the implementation of the Python Transformer to a further internal
module, which is only imported if the Python implementation is used.

The new module breaks the dependency of sql on adapt without introducing
a lazy import. Drop all the lazy imports required to work around the
above.

refactor: move TypeInfo subclasses to the module they are exported from

refactor: drop use of `postgres.types` to know OIDs at import time

style: blank line after the autogenerated section

refactor: import OID constants from the _oids module

feat: add _oid module to know OIDs at import time

refactor(crdb): only expose register_crdb_adapters()

Other functions are just an internal arrangement.

Merge pull request #479 from dlax/rowcount

fix: set rowcount to the first result in executemany(..., returning=True)

Previously, _rowcount was unconditionally set to the overall number of
rows of all queries in executemany() and then reset only upon the first
call to nextset(). In the returning=True case, this lead the rowcount
attribute to be wrong for the first result (i.e. it didn't match the
number of rows that would be returned by .fetchall(), as can be seen in
updated tests).

Now we only set _rowcount to the cumulated number of rows of executed
queries *if* executemany() is not returning (so the value is still
useful, e.g., in to check the number of INSERTed rows):

    >>> cur.executemany("INSERT INTO t(r) VALUES (%s)", [(1,), (2,)])
    >>> cur.rowcount
    2  # number of inserted rows
    >>> cur.nextset()
    >>> cur.executemany("INSERT INTO t(r) VALUES (%s) RETURNING r", [(1,), (2,)], returning=True)
    >>> cur.rowcount
    1  # number of rows in the first result set
    >>> cur.fetchall()
    [(1,)]
    >>> cur.nextset()
    True
    >>> cur.rowcount
    1
    >>> cur.fetchall()
    [(2,)]
    >>> cur.nextset()

Besides, the code for processing results from executemany() in
_executemany_gen_no_pipeline() is now similar to that of
_set_results_from_pipeline().

Merge pull request #478 from dlax/old-libpq-in-ci

Install the "oldest" libpq from pgdg repository

refactor: drop superfluous _rowcount reset

In BaseCursor._set_results_from_pipeline() we were resetting _rowcount
if negative. This is superfluous as this code is reached when coming
from _executemany_gen_pipeline() in which we already do
'self._rowcount = 0' early on.

ci: fix a typo in libpq install script

ci: remove sudo from libpq install script

ci: simplify retrieval of PGDG repository key

We don't need to gpg dearmor as APT can read .asc file format fine.

ci: factor out common logic in libpq install script

ci: install the "oldest" libpq from pgdg repository

doc: fix typo unless -> unlike

refactor: drop internal use of Union[] type definition in TypeInfo.fetch()

fix: use more uniformly the to_regtype function

Make the knowledge of the function to use independent from the knowledge
of the types implemented by a certain database.

test(crdb): fix flakey test

We often find a "delete" record more than once in the changefeed, before
deleting it. Tolerate one.

Merge pull request #474 from CaselIT/to_regclass

Use to_regtype instead of ::regtype in type info queries

Use to_regtype instead of ::regtype in type info queries on supported dbs

fix: report the MultirangeInfo object exposed by psycopg.types.multirange

Merge branch 'build-backend'

ci: add in-tree build backend to avoid installing Cython if not needed

Only install Cython when there are pyx files to build. If there aren't,
it means that the c files are already available and Cython is not
required.

Close #471.

ci: use the 'build' python package as build frontend

ci: fix building source packages

Something was broken recently and installing from the package root
doesn't work anymore.

Merge branch 'test-lower-bound-depsendencies'

ci: include a single test with the oldest dependencies versions

chore: update the lower bound dependencies in the constraint file

Lower minimum dependency on pytest-randomly to version 3.5, as
version 3.6 requires a newer importlib-metadata.

fix: raise known errors before checking for signals in waiting

test: add psycopg2 in green mode to benchmark script

This is a more accurate comparison between psycopg2 and 3.

test: add --concurrency option to benchmark script

Investigate the poor parallelism mentioned in #448.

style: uniform variable name between sync and async cursor

fix: raise OperationalError instead of MemoryError on several operations

Failure is related to the operation executed, not to memory not
available to store the result.

chore: add Documentation, Changes links to metadata

feat(bump-version): add --actions option

Merge branch 'refactor-version-from-metadata'