docs: add news entry about libp1 17 close functions support

test: add CI jobs to run libpq with PG master

test: add tests for close_prepared/portal for unsupported libpq

fix: fix pq close wrappers Python implementation

Co-authored-by: Denis Laxalde <denis@laxalde.org>

test: add tests for close pq wrappers

fix: add close wrappers to FinishedPGconn too

feat: add Close wrappers to pgconn.pyx

docs: fix release version of json bytes dump support

It is to be released in 3.1.10, not already released in 3.1.9... See #568

Merge branch 'py312'

docs: mention Python 3.12 support in news file

ci: bump Python 3.12 test version to beta 4

test: mark tests as failing to monitoring strange behaviour with Python 3.12

With Python 3.12a7 and Cython-3.0.0b3, these two tests fails. It seems
that when an exception is involved the __del__ method is not called.

ci: set up test grid to test Python 3.12

chore: declare Python 3.12 supported in classifiers

chore: upgrade Cython to stable 3.0.0

fix: fix "can't adapt" error message on Python 3.11

It appeared like "using placeholder '%PyFormat.TEXT'" because of the
change in the Enum display already fixed elsewhere.

Spotted in the conversation in #611.

Also fix unneeded nested exception in the Python version of the code.

fix: fix resetting read_only/deferrable to default using None

Fix spelling in from_pg2

docs: add clarification about transaction characteristics attributes

They don't affect autocommit connections as they used to in psycopg2, so
note it as a difference from psycopg2. Add more explicit warning about
this limitation.

https://www.postgresql.org/message-id/DB7PR07MB39163E0AFB907413EE5C10F68738A%40DB7PR07MB3916.eurprd07.prod.outlook.com

Merge branch 'fix-591'

fix: fix possible errors calling __repr__ from __del__.

The errors get ignored but print a warning on program exit and eclipse a
genuine warning.

The error is caused by the `pq.misc` module getting gc'd on interpreter
shutdown before `connection_summary()` is called. The solution is to
import `connection_summary` in the module namespace, which is similar to
the solution that proved working for #198. It is less robust than the
solution used by the Python devs to import the function in the method
via an argument default, but it should work adequately (as nobody
complained about #198 anymore).

In #591 discussion, I proposed that connection_summary is too complex to
be considered safe to call on __del__. Actually, looking at it, it seems
innocent enough, as it only calls objects methods, no functions from
module namespaces. As a consequence we assume that this commit fixes the
issue. As I can't reproduce it, will ask the OP if this is the case.

Close #591.

Merge branch 'fix-copy-cancel-clobbering-exception'

fix: don't clobber a Python exception on COPY FROM with QueryCanceled

We trigger the server to raise the QueryCanceled; however, the original
exception has more information (the traceback). We can consider the
server exception just a notification that cancellation worked as
expected.

This is a mild change in behaviour, as the fixed tests state. However,
raising QueryCanceled is not explicitly documented and not part of a
strict interface, so we can probably change the exception raised without
needing to wait for psycopg 4.

Close #593

Update documentation related to async and Ctrl-C

Now that #543 is fixed, users shouldn't need to manually set up
signal handlers to cancel operations any more.  Update the documentation
to reflect this.

chore: bump mypy to 1.4.1

The issue previously mentioned about '# type: ignore[arg-type]' in
rows.py got resolved.

The new '# type: ignore[comparison-overlap]' in test_pipeline*.py are
due to https://github.com/python/mypy/issues/15509, a known regression
from Mypy 1.4. We use the workaround documented in the release blog post
https://mypy-lang.blogspot.com/2023/06/mypy-140-released.html (section
"Narrowing Enum Values Using “==”").

ops: fix broken build on Windows amd64

docs: fix links generation broken by sphinx_autodoc_typehints

Still don't know what we will lose in the docs, but we can clean them up
once they don't totally suck anymore.

Mark test_ctrl_c_handler as timing sensitive

psycopg> =================================== FAILURES ===================================
psycopg> _____________________________ test_ctrl_c_handler ______________________________
psycopg>         t0 = time.time()
psycopg>         proc = sp.Popen([sys.executable, "-s", "-c", script], creationflags=creationflags)
psycopg>         proc.communicate()
psycopg>         t = time.time() - t0
psycopg>         assert proc.returncode == 0
psycopg> >       assert 1 < t < 2
psycopg> E       assert 3.7456982135772705 < 2
psycopg>
psycopg> tests/test_concurrency.py:293: AssertionError

docs: add more details about getting results from executemany

Merge pull request #570 from dlax/error-pgconn

finish the PGconn upon connection failure

docs(pool): document that using idle_session_timeout is not a good idea

fix(pool): check connections' max_lifetime on ``check()``

Close #482.

fix: finish the PGconn upon connection failure

Attaching the non-finished PGconn to exceptions raised in connect() is
causing problem, as described in issue #565, because the PGconn might
not get finished soon enough in application code and the socket would
remain open.

On the other hand, just removing the pgconn attribute from Error would
be a breaking change and we'd loose the inspection features introduced
in commit 9220293dc023b757f2a57702c14b1460ff8f25b0.

As an alternative, we define a new PGconn implementation that is
error-specific: it captures all attributes of the original PGconn and
fails upon other operations (methods call). Some attributes have a
default value since they are not available in old PostgreSQL versions.

Finally, the (real) PGconn is finished before raising exception in
generators.connect().

chore: add a trailing comma in Error.__init__() to make black happy

tests: check that OperationalError raised by connect() holds a pgconn

Sort of a non-regression test for the part of commit
9220293dc023b757f2a57702c14b1460ff8f25b0 concerning generators. It used
roughly the same logic as tests/pq/test_pgconn.py::test_used_password()
to determine if the test connection needs a password and gets skipped
otherwise.

Merge pull request #586 from dlax/issue-585

fix: always validate PrepareManager cache in pipeline mode

fix: always validate PrepareManager cache in pipeline mode

Previously, when processing results in pipeline mode
(BasePipeline._process_results()), we'd run
'cursor._check_results(results)' early before calling
_prepared.validate() with prepared statement information. However, if
this check step fails, for example if the pipeline got aborted due to a
previous error, the latter step (PrepareManager cache validation) was
not run.

We fix this by reversing the logic, and checking results last.

However, this is not enough, because the results processing logic in
BasePipeline._fetch_gen() or _communicate_gen(), which sequentially
walked through fetched results, would typically stop at the first
exception and thus possibly never go through the step of validating
PrepareManager cache if a previous error happened.

We fix that by making sure that *all* results are processed, possibly
capturing the first exception and then re-raising it. In both
_communicate_gen() and _fetch_gen(), we no longer store results in the
'to_process' like, but process then upon reception as this logic is no
longer needed.

Fix #585.

docs: adjust PrepareManager.validate() docstring

From commit bfabe88aba4769e0a44206e1ace7c299991a957d, the method does
not return a command, but it records it through _rotate().

docs: remove outdated comments in PrepareManager's docstrings

PrepareManager's methods maybe_add_to_cache() and validate() are said to
only be used in pipeline mode, but this is wrong as can be seen in
BaseCursor._maybe_prepare_gen(). (Comments are probably a left-over from
a prior implementation of the pipeline mode.)

docs: add notes about using IS with placeholders

See #582.

Merge pull request #568 from lionel-panhaleux/master

Allow binary JSON dumps

feat: allow binary JSON dumps

Some JSON libraries, in particular the widespread
[orjson](https://github.com/ijl/orjson#quickstart) library, directly
dump data in binary format.

This change allows it and avoids having to decode/encode in these cases
by testing the return type of the `dumps` function.

docs: add info about DateStyle support

Close #571

docs: add note regarding the differences in date/time domains

Added minimal Django integration tests.

chore: bump psycopg package version to 3.1.9

Merge pull request #551 from psycopg/fix-json-dump-dict

fix(json): allow to register json dumpers on dict or other objects

test(json): fix dict registration test on crdb

fix(json): allow to register json dumpers on dict or other objects

fix: don't reuse the same Transformer in composite dumper

We need different dumpers because, in case a composite contains another
composite, we need to call `dump_sequence()` on different sequences, so
we row dumpers must be distinct.

Close #547

docs: fix cursor -> connection in the context of transaction management

Close #548

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: fix loading of different 'record' types in the same query

Different records in the same query might have different types.
Use a separate transformer for each sequence of types.

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: shorter traceback on ctrl-c interrupt

fix(async): cancel query upon receiving CanceledError in async wait

This interrupt a running query upon Ctrl-C for example, which wasn't
working as it was on sync connection.

Close #543.

chore: bump mypy to 1.2

Fix typo in docs

chore: fix declaration of PQsetTraceFlags in pyi

Running 'python -m psycopg.pq._pq_ctypes' currently produces a diff
because _PQsetTraceFlags is not present in .pyi but PQsetTraceFlags is.

chore: bump psycopg_pool package version to 3.1.7

tests: skip test_sql::test_invalid_name if not a super-user

Creating a base type, as done in that test, requires being a superuser.

Merge branch 'fix-509'

test(pool): skip cancellation tests on Python 3.7

The test hangs forever on Python 3.7, no the gather() statement, and
wait_for() doesn't solve the problem.

fix(pool): reinforce handling of errors in queued clients

Unlike the async counterpart, I have no idea how to test this condition,
because I don't think you can cancel a Python thread. I could put the
pool and the first client in threads and use the main thread as queued
client, but it seems pretty convoluted.

However, an error handling in the same place that fixed #509 in the
async pools doesn't hurt.

fix(pool): fix handling of errors in queued async tasks

Failing to do so, cancelled tasks still in the queue end up consuming
a connection without a chance of returning it, depleting the pool.

Close #509

test: mark some scheduler tests time-sensitive

Close #502

fix(c): fix incomplete error message for timestamp too small

Close #521.

doc: fix pg2pyenc() docstring

Merge branch 'dshick/support-async-reconn-failed-cb'

refactor(pool): rename SyncConnectFailedCB to ConnectFailedCB

For every other object in the codebase of which there are sync and
async versions, the sync one doesn't have a prefix.

docs(pool): mention async reconnect_failed support in docs and news

chore: use TypeAlias to clean up verbose types

fix: define reconnect_failed callback in each pool implementation, allow async functions in async pool

reuse existing test with pytest parameterization

Merge branch 'cython-3.0b1'

fix(c): add type cast to notice receiver callback

Necessary starting from Cython 3.0b1

fix(c): solve Cython compile warnings

Materialize `TAIL` -> `SUBSCRIBE`

chore: upgrade to mypy 1.0.0

Some "type: ignore" no longer needed, some need a different kind.

tests: mark as flaky tests seen failing randomly on release

test: use Windows asyncio policy in "non-asyncio" pool tests

In commit b6cc8343159fc0a27365e09a3beef06433f3f1b5, we drop the global
asyncio.set_event_loop_policy() for Windows in conftest.py, replacing it
with asyncio_options to be used by the anyio test runner. However, test
cases in test_pool_async_noasyncio.py are not "async def" so they would
not use that anyio runner (nor did they use pytest-asyncio's runner
before); but they need the event loop policy for Windows still.
Accordingly, we configure the loop from "anyio_backend_options" in
asyncio_run() fixture.

test: use anyio instead of pytest-asyncio

This is in preparation for adding support for other async libraries,
through anyio. AnyIO pytest plugin is used in replacement for
pytest-asyncio:

- either the pytest.mark.asyncio is replaced by pytest.mark.anyio, or,
- we rely on the 'anyio_backend' fixture that is pulled in 'aconn_cls'
  fixture (and hence 'aconn') providing automatic detection for test
  functions using it.

The 'anyio_backend' fixture is parametrized to only use asyncio and
selects the event loop policy we need on Windows platform as previously
done in pytest_sessionstart(), but only for Python version 3.8 or
higher.

This fixture is defined in main conftest.py, as well as in
pool/conftest.py since we'll change the former to support more async
backend while keeping the later asyncio-only for now.

Function test_concurrency_async.py::test_ctrl_c is no longer 'async'
because its code does not directly use asyncio (it's done through a
subprocess); but the 'async def' was needed before in order for
pytest-asyncio to run it since the test module had a global
pytest.mark.asyncio (and we were using the "auto" mode).

Merge branch 'set-results'

refactor: set cursor result in _maybe_prepare_gen()

When not in pipeline mode, we can actually set the results on the cursor
directly in this method instead of letting the caller handle this.

refactor: merge BaseCursor's _set_results() and _set_results_from_pipeline()

Per refactoring of previous commits, these are similar: the only
difference is the use of "first_batch" flag in the execute() branch when
not in pipeline mode, but in that case since there is actually only one
"batch", the behavior is actually preserved.

Since _set_results_from_pipeline() previously included a call to
_check_results() but _set_results() does not, that is reported in caller
(BasePipeline._process_results()).

refactor: handle returning-executemany() in _set_results()

refactor: introduce BaseCursor._set_results()

Similar to _set_results_from_pipeline(), this applies to the
non-pipeline case and reduce code repetition.

Merge branch 'sqlalchemy_pipeline'

ci: add colors to pytest sqlalchemy run

ci: allow better job visualization in Action page

ci: fix postgres service in 3rd party workflow

ci: add sqlalchemy integration pipeline

Merge branch 'fix-503'

docs: add news entry about TypeInfo.fetch() with sql_ascii connection fix

test: test hstore registration using different encodings

Reproduce the "emerging" bug reported in #503.

fix: fix TypeInfo.fetch() with a sql_ascii encoding connection

Close #503

test: add TypeInfo.fetch() test with autocommit transaction

test: reproduce the error in TypeInfo.fetch() in sql_ascii connection

Reported in #503.

fixed broken link to pip docs

chore: upgrade black to 23.1.0

Code reformatted to adhere to the new style requested (stricter on
redundant tuples unpacking brackets and blank lines at blocks start).

chore: bump psycopg_pool package version to 3.1.6