docs: improve docs about raw query cursors, add release note

tests: fix cursor tests to run on raw cursors too

fix: fix TypeInfo.fetch() with connections using RawCursor as factory

refactor: make is_param_sequence a type guard

Reduce the need of typing hints here and there, although, if it returns
false, it doesn't guarantee "the other half of the union".

Add raw query support with PostgreSQL native placeholders

This commit introduces support for raw queries with PostgreSQL's native
placeholders ($1, $2, etc.) in psycopg3. By setting the use_raw_query attribute
to True in a custom cursor class, users can enable the use of raw queries with
native placeholders.

The code demonstrates how to create a custom RawQueryCursor class that sets the
use_raw_query attribute to True. This custom cursor class can be set as the
cursor_factory when connecting to the database, allowing users to choose between
PostgreSQL's native placeholders or the standard %s placeholder in their queries.
The code also demonstrates how both styles of placeholders can coexist. Test
cases are included to verify the correct behavior of the new feature.

Merge branch 'tests-refactoring'

test(crdb): accept different exception on multi-query prepare attempt

test: unify server and client async cursor tests

Also clean up differences between sync and async cursor tests.

test: refactor common cursor tests using parametric fixture

Tests common to Cursor and BaseCursor now use the same code, with a
parametric connection fixture to run both them.

Tests specific to one of the class moved to a module of their own.

TODO: copy tests might do the same. Async cursors tests should be
refactored too.

fix: rename QueuedLibpqWriter object

It was mistakenly named Driver, not Writer.

fix: fix infinite loop and OOM in bad executemany

The bad condition is only reached using COPY into executemany in
pipeline mode and with prepared statements disabled. It should probably
never happen outside the unit test.

Merge branch 'numpy-types-support'

feat(crdb): add numpy support

fix(c): don't try to mutate Cython type

These types are now marked immutable. Use a module variable instead.

fix(copy): fix dumping by oid in text mode

It is less useful than in binary mode, but it was being pretty much
ignored.

fix(numpy): fix dumping numpy values by oid

refactor(numpy): get  OIDs from the _oid module

Also drop context optionality in adapters registration.

docs: add news entry and docs about numpy scalars support

feat: add C numpy dumpers

docs: improve comment about why we need to register builtin numerics last

refactor(c): add _IntOrSubclass dumper to the C dumpers too

test(numpy) avoid overflow testing with int16

test(numpy): drop test with deprecated alias

test(numpy): add dump tests with list of numpy values

test(numpy): allow more approximation comparing float16 values

    >>> numpy.float16("-0.00018227100372314453")
    -0.0001823

    >>> -0.0001823 == pytest.approx(-0.00018227100372314453, rel=1e-5)
    False

    >>> -0.0001823 == pytest.approx(-0.00018227100372314453, rel=1e-3)
    True

fix(numpy): fix dumpers registration order

If numpy dumpers are registered after numeric ones, then NPNumericBinaryDumper
is used instead of NumericBinaryDumper when looking up by oid. This
breaks dumping values with a decimal part.

test(numpy): consolidate numpy float tests

test(numpy): add random tests with numpy objects

test(numpy): consolidate all numpy int tests in a single parametrized one

test(faker): don't crash if a lazy-import dumper class is not available

feat(numpy): add longlong dumpers

refactor(numpy): reuse base or final classes from builtin numeric types

refactor(numpy): drop aliases for dumpers

Leave only one class per target PostgreSQL type and map the Python type
to the smallest type fitting the whole domain.

refactor(numpy): use builtin bool dumpers for numpy booleans too

test(numpy) fix tests with approximative comparisons

refactor(numpy): use existing numeric base classes

test(numpy): fix skipping tests if numpy module is not installed

feat: add numpy dumpers for int, float, bool types

Close #192.

chore: bump psycopg package version to 3.1.10

chore: upgrade cibuildwheel

chore: bump libpq, openssl used in binary packages

Merge branch 'pipeline-nextset-error'

fix: drop error using nextset() in pipeline mode

Now that the behaviour of pipeline is the same of non-pipeline, raising
an exception on nextset is a difference in behaviour we can probably
drop.

fix!: only keep results of last execute() by a cursor in pipeline mode

The assertion on fetchall() in 'test_execute_nextset_error' now passes.

Fixes #604.

fix: raise an error instead of a warning using nextset in pipeline mode

Note: the tests, intentionally, don't pass, because they expects
execute() results to clobber the previous ones rather than accumulating.
This behaviour is to be changed in a further commit.

See #604.

fix: raise a warning if nextset is used after execute in pipeline mode

So far have accumulated results, unlike in no-pipeline mode, where
results have been discarded. But this proved to be not reliable, so we
will forbid it in 3.2.

See #604

docs: drop example about using nextset() in pipeline mode

The feature is sort of accidental, not tested, and proved to be not
reliable, so we will remove it in 3.2.

See #604.

Mark two more tests as timing-sensitive

FAILED tests/pool/test_pool_async.py::test_reconnect[asyncio] - AssertionError: [0.11509847640991211, 0.2041318416595459, 0.40631914138793945]
FAILED tests/pool/test_pool.py::test_reconnect - ValueError: the proxy didn't start listening in time

Merge pull request #603 from JelteF/add-close-prepared

Add Close wrappers to PGconn

docs: add news entry about libp1 17 close functions support

test: add CI jobs to run libpq with PG master

test: add tests for close_prepared/portal for unsupported libpq

fix: fix pq close wrappers Python implementation

Co-authored-by: Denis Laxalde <denis@laxalde.org>

test: add tests for close pq wrappers

fix: add close wrappers to FinishedPGconn too

feat: add Close wrappers to pgconn.pyx

docs: fix release version of json bytes dump support

It is to be released in 3.1.10, not already released in 3.1.9... See #568

Merge branch 'py312'

docs: mention Python 3.12 support in news file

ci: bump Python 3.12 test version to beta 4

test: mark tests as failing to monitoring strange behaviour with Python 3.12

With Python 3.12a7 and Cython-3.0.0b3, these two tests fails. It seems
that when an exception is involved the __del__ method is not called.

ci: set up test grid to test Python 3.12

chore: declare Python 3.12 supported in classifiers

chore: upgrade Cython to stable 3.0.0

fix: fix "can't adapt" error message on Python 3.11

It appeared like "using placeholder '%PyFormat.TEXT'" because of the
change in the Enum display already fixed elsewhere.

Spotted in the conversation in #611.

Also fix unneeded nested exception in the Python version of the code.

fix: fix resetting read_only/deferrable to default using None

Fix spelling in from_pg2

docs: add clarification about transaction characteristics attributes

They don't affect autocommit connections as they used to in psycopg2, so
note it as a difference from psycopg2. Add more explicit warning about
this limitation.

https://www.postgresql.org/message-id/DB7PR07MB39163E0AFB907413EE5C10F68738A%40DB7PR07MB3916.eurprd07.prod.outlook.com

Merge branch 'fix-591'

fix: fix possible errors calling __repr__ from __del__.

The errors get ignored but print a warning on program exit and eclipse a
genuine warning.

The error is caused by the `pq.misc` module getting gc'd on interpreter
shutdown before `connection_summary()` is called. The solution is to
import `connection_summary` in the module namespace, which is similar to
the solution that proved working for #198. It is less robust than the
solution used by the Python devs to import the function in the method
via an argument default, but it should work adequately (as nobody
complained about #198 anymore).

In #591 discussion, I proposed that connection_summary is too complex to
be considered safe to call on __del__. Actually, looking at it, it seems
innocent enough, as it only calls objects methods, no functions from
module namespaces. As a consequence we assume that this commit fixes the
issue. As I can't reproduce it, will ask the OP if this is the case.

Close #591.

Merge branch 'fix-copy-cancel-clobbering-exception'

fix: don't clobber a Python exception on COPY FROM with QueryCanceled

We trigger the server to raise the QueryCanceled; however, the original
exception has more information (the traceback). We can consider the
server exception just a notification that cancellation worked as
expected.

This is a mild change in behaviour, as the fixed tests state. However,
raising QueryCanceled is not explicitly documented and not part of a
strict interface, so we can probably change the exception raised without
needing to wait for psycopg 4.

Close #593

Update documentation related to async and Ctrl-C

Now that #543 is fixed, users shouldn't need to manually set up
signal handlers to cancel operations any more.  Update the documentation
to reflect this.

chore: bump mypy to 1.4.1

The issue previously mentioned about '# type: ignore[arg-type]' in
rows.py got resolved.

The new '# type: ignore[comparison-overlap]' in test_pipeline*.py are
due to https://github.com/python/mypy/issues/15509, a known regression
from Mypy 1.4. We use the workaround documented in the release blog post
https://mypy-lang.blogspot.com/2023/06/mypy-140-released.html (section
"Narrowing Enum Values Using “==”").

ops: fix broken build on Windows amd64

docs: fix links generation broken by sphinx_autodoc_typehints

Still don't know what we will lose in the docs, but we can clean them up
once they don't totally suck anymore.

Mark test_ctrl_c_handler as timing sensitive

psycopg> =================================== FAILURES ===================================
psycopg> _____________________________ test_ctrl_c_handler ______________________________
psycopg>         t0 = time.time()
psycopg>         proc = sp.Popen([sys.executable, "-s", "-c", script], creationflags=creationflags)
psycopg>         proc.communicate()
psycopg>         t = time.time() - t0
psycopg>         assert proc.returncode == 0
psycopg> >       assert 1 < t < 2
psycopg> E       assert 3.7456982135772705 < 2
psycopg>
psycopg> tests/test_concurrency.py:293: AssertionError

docs: add more details about getting results from executemany

Merge pull request #570 from dlax/error-pgconn

finish the PGconn upon connection failure

docs(pool): document that using idle_session_timeout is not a good idea

fix(pool): check connections' max_lifetime on ``check()``

Close #482.

fix: finish the PGconn upon connection failure

Attaching the non-finished PGconn to exceptions raised in connect() is
causing problem, as described in issue #565, because the PGconn might
not get finished soon enough in application code and the socket would
remain open.

On the other hand, just removing the pgconn attribute from Error would
be a breaking change and we'd loose the inspection features introduced
in commit 9220293dc023b757f2a57702c14b1460ff8f25b0.

As an alternative, we define a new PGconn implementation that is
error-specific: it captures all attributes of the original PGconn and
fails upon other operations (methods call). Some attributes have a
default value since they are not available in old PostgreSQL versions.

Finally, the (real) PGconn is finished before raising exception in
generators.connect().

chore: add a trailing comma in Error.__init__() to make black happy

tests: check that OperationalError raised by connect() holds a pgconn

Sort of a non-regression test for the part of commit
9220293dc023b757f2a57702c14b1460ff8f25b0 concerning generators. It used
roughly the same logic as tests/pq/test_pgconn.py::test_used_password()
to determine if the test connection needs a password and gets skipped
otherwise.

Merge pull request #586 from dlax/issue-585

fix: always validate PrepareManager cache in pipeline mode

fix: always validate PrepareManager cache in pipeline mode

Previously, when processing results in pipeline mode
(BasePipeline._process_results()), we'd run
'cursor._check_results(results)' early before calling
_prepared.validate() with prepared statement information. However, if
this check step fails, for example if the pipeline got aborted due to a
previous error, the latter step (PrepareManager cache validation) was
not run.

We fix this by reversing the logic, and checking results last.

However, this is not enough, because the results processing logic in
BasePipeline._fetch_gen() or _communicate_gen(), which sequentially
walked through fetched results, would typically stop at the first
exception and thus possibly never go through the step of validating
PrepareManager cache if a previous error happened.

We fix that by making sure that *all* results are processed, possibly
capturing the first exception and then re-raising it. In both
_communicate_gen() and _fetch_gen(), we no longer store results in the
'to_process' like, but process then upon reception as this logic is no
longer needed.

Fix #585.

docs: adjust PrepareManager.validate() docstring

From commit bfabe88aba4769e0a44206e1ace7c299991a957d, the method does
not return a command, but it records it through _rotate().

docs: remove outdated comments in PrepareManager's docstrings

PrepareManager's methods maybe_add_to_cache() and validate() are said to
only be used in pipeline mode, but this is wrong as can be seen in
BaseCursor._maybe_prepare_gen(). (Comments are probably a left-over from
a prior implementation of the pipeline mode.)

docs: add notes about using IS with placeholders

See #582.

Merge pull request #568 from lionel-panhaleux/master

Allow binary JSON dumps

feat: allow binary JSON dumps

Some JSON libraries, in particular the widespread
[orjson](https://github.com/ijl/orjson#quickstart) library, directly
dump data in binary format.

This change allows it and avoids having to decode/encode in these cases
by testing the return type of the `dumps` function.

docs: add info about DateStyle support

Close #571

docs: add note regarding the differences in date/time domains

Added minimal Django integration tests.

chore: bump psycopg package version to 3.1.9

Merge pull request #551 from psycopg/fix-json-dump-dict

fix(json): allow to register json dumpers on dict or other objects

test(json): fix dict registration test on crdb

fix(json): allow to register json dumpers on dict or other objects

fix: don't reuse the same Transformer in composite dumper

We need different dumpers because, in case a composite contains another
composite, we need to call `dump_sequence()` on different sequences, so
we row dumpers must be distinct.

Close #547

docs: fix cursor -> connection in the context of transaction management

Close #548