feat(crdb): add numpy support

fix(c): don't try to mutate Cython type

These types are now marked immutable. Use a module variable instead.

fix(copy): fix dumping by oid in text mode

It is less useful than in binary mode, but it was being pretty much
ignored.

fix(numpy): fix dumping numpy values by oid

refactor(numpy): get  OIDs from the _oid module

Also drop context optionality in adapters registration.

docs: add news entry and docs about numpy scalars support

feat: add C numpy dumpers

docs: improve comment about why we need to register builtin numerics last

refactor(c): add _IntOrSubclass dumper to the C dumpers too

test(numpy) avoid overflow testing with int16

test(numpy): drop test with deprecated alias

test(numpy): add dump tests with list of numpy values

test(numpy): allow more approximation comparing float16 values

    >>> numpy.float16("-0.00018227100372314453")
    -0.0001823

    >>> -0.0001823 == pytest.approx(-0.00018227100372314453, rel=1e-5)
    False

    >>> -0.0001823 == pytest.approx(-0.00018227100372314453, rel=1e-3)
    True

fix(numpy): fix dumpers registration order

If numpy dumpers are registered after numeric ones, then NPNumericBinaryDumper
is used instead of NumericBinaryDumper when looking up by oid. This
breaks dumping values with a decimal part.

test(numpy): consolidate numpy float tests

test(numpy): add random tests with numpy objects

test(numpy): consolidate all numpy int tests in a single parametrized one

test(faker): don't crash if a lazy-import dumper class is not available

feat(numpy): add longlong dumpers

refactor(numpy): reuse base or final classes from builtin numeric types

refactor(numpy): drop aliases for dumpers

Leave only one class per target PostgreSQL type and map the Python type
to the smallest type fitting the whole domain.

refactor(numpy): use builtin bool dumpers for numpy booleans too

test(numpy) fix tests with approximative comparisons

refactor(numpy): use existing numeric base classes

test(numpy): fix skipping tests if numpy module is not installed

feat: add numpy dumpers for int, float, bool types

Close #192.

chore: bump psycopg package version to 3.1.10

chore: upgrade cibuildwheel

chore: bump libpq, openssl used in binary packages

Merge branch 'pipeline-nextset-error'

fix: drop error using nextset() in pipeline mode

Now that the behaviour of pipeline is the same of non-pipeline, raising
an exception on nextset is a difference in behaviour we can probably
drop.

fix!: only keep results of last execute() by a cursor in pipeline mode

The assertion on fetchall() in 'test_execute_nextset_error' now passes.

Fixes #604.

fix: raise an error instead of a warning using nextset in pipeline mode

Note: the tests, intentionally, don't pass, because they expects
execute() results to clobber the previous ones rather than accumulating.
This behaviour is to be changed in a further commit.

See #604.

fix: raise a warning if nextset is used after execute in pipeline mode

So far have accumulated results, unlike in no-pipeline mode, where
results have been discarded. But this proved to be not reliable, so we
will forbid it in 3.2.

See #604

docs: drop example about using nextset() in pipeline mode

The feature is sort of accidental, not tested, and proved to be not
reliable, so we will remove it in 3.2.

See #604.

Mark two more tests as timing-sensitive

FAILED tests/pool/test_pool_async.py::test_reconnect[asyncio] - AssertionError: [0.11509847640991211, 0.2041318416595459, 0.40631914138793945]
FAILED tests/pool/test_pool.py::test_reconnect - ValueError: the proxy didn't start listening in time

Merge pull request #603 from JelteF/add-close-prepared

Add Close wrappers to PGconn

docs: add news entry about libp1 17 close functions support

test: add CI jobs to run libpq with PG master

test: add tests for close_prepared/portal for unsupported libpq

fix: fix pq close wrappers Python implementation

Co-authored-by: Denis Laxalde <denis@laxalde.org>

test: add tests for close pq wrappers

fix: add close wrappers to FinishedPGconn too

feat: add Close wrappers to pgconn.pyx

docs: fix release version of json bytes dump support

It is to be released in 3.1.10, not already released in 3.1.9... See #568

Merge branch 'py312'

docs: mention Python 3.12 support in news file

ci: bump Python 3.12 test version to beta 4

test: mark tests as failing to monitoring strange behaviour with Python 3.12

With Python 3.12a7 and Cython-3.0.0b3, these two tests fails. It seems
that when an exception is involved the __del__ method is not called.

ci: set up test grid to test Python 3.12

chore: declare Python 3.12 supported in classifiers

chore: upgrade Cython to stable 3.0.0

fix: fix "can't adapt" error message on Python 3.11

It appeared like "using placeholder '%PyFormat.TEXT'" because of the
change in the Enum display already fixed elsewhere.

Spotted in the conversation in #611.

Also fix unneeded nested exception in the Python version of the code.

fix: fix resetting read_only/deferrable to default using None

Fix spelling in from_pg2

docs: add clarification about transaction characteristics attributes

They don't affect autocommit connections as they used to in psycopg2, so
note it as a difference from psycopg2. Add more explicit warning about
this limitation.

https://www.postgresql.org/message-id/DB7PR07MB39163E0AFB907413EE5C10F68738A%40DB7PR07MB3916.eurprd07.prod.outlook.com

Merge branch 'fix-591'

fix: fix possible errors calling __repr__ from __del__.

The errors get ignored but print a warning on program exit and eclipse a
genuine warning.

The error is caused by the `pq.misc` module getting gc'd on interpreter
shutdown before `connection_summary()` is called. The solution is to
import `connection_summary` in the module namespace, which is similar to
the solution that proved working for #198. It is less robust than the
solution used by the Python devs to import the function in the method
via an argument default, but it should work adequately (as nobody
complained about #198 anymore).

In #591 discussion, I proposed that connection_summary is too complex to
be considered safe to call on __del__. Actually, looking at it, it seems
innocent enough, as it only calls objects methods, no functions from
module namespaces. As a consequence we assume that this commit fixes the
issue. As I can't reproduce it, will ask the OP if this is the case.

Close #591.

Merge branch 'fix-copy-cancel-clobbering-exception'

fix: don't clobber a Python exception on COPY FROM with QueryCanceled

We trigger the server to raise the QueryCanceled; however, the original
exception has more information (the traceback). We can consider the
server exception just a notification that cancellation worked as
expected.

This is a mild change in behaviour, as the fixed tests state. However,
raising QueryCanceled is not explicitly documented and not part of a
strict interface, so we can probably change the exception raised without
needing to wait for psycopg 4.

Close #593

Update documentation related to async and Ctrl-C

Now that #543 is fixed, users shouldn't need to manually set up
signal handlers to cancel operations any more.  Update the documentation
to reflect this.

chore: bump mypy to 1.4.1

The issue previously mentioned about '# type: ignore[arg-type]' in
rows.py got resolved.

The new '# type: ignore[comparison-overlap]' in test_pipeline*.py are
due to https://github.com/python/mypy/issues/15509, a known regression
from Mypy 1.4. We use the workaround documented in the release blog post
https://mypy-lang.blogspot.com/2023/06/mypy-140-released.html (section
"Narrowing Enum Values Using “==”").

ops: fix broken build on Windows amd64

docs: fix links generation broken by sphinx_autodoc_typehints

Still don't know what we will lose in the docs, but we can clean them up
once they don't totally suck anymore.

Mark test_ctrl_c_handler as timing sensitive

psycopg> =================================== FAILURES ===================================
psycopg> _____________________________ test_ctrl_c_handler ______________________________
psycopg>         t0 = time.time()
psycopg>         proc = sp.Popen([sys.executable, "-s", "-c", script], creationflags=creationflags)
psycopg>         proc.communicate()
psycopg>         t = time.time() - t0
psycopg>         assert proc.returncode == 0
psycopg> >       assert 1 < t < 2
psycopg> E       assert 3.7456982135772705 < 2
psycopg>
psycopg> tests/test_concurrency.py:293: AssertionError

docs: add more details about getting results from executemany

Merge pull request #570 from dlax/error-pgconn

finish the PGconn upon connection failure

docs(pool): document that using idle_session_timeout is not a good idea

fix(pool): check connections' max_lifetime on ``check()``

Close #482.

fix: finish the PGconn upon connection failure

Attaching the non-finished PGconn to exceptions raised in connect() is
causing problem, as described in issue #565, because the PGconn might
not get finished soon enough in application code and the socket would
remain open.

On the other hand, just removing the pgconn attribute from Error would
be a breaking change and we'd loose the inspection features introduced
in commit 9220293dc023b757f2a57702c14b1460ff8f25b0.

As an alternative, we define a new PGconn implementation that is
error-specific: it captures all attributes of the original PGconn and
fails upon other operations (methods call). Some attributes have a
default value since they are not available in old PostgreSQL versions.

Finally, the (real) PGconn is finished before raising exception in
generators.connect().

chore: add a trailing comma in Error.__init__() to make black happy

tests: check that OperationalError raised by connect() holds a pgconn

Sort of a non-regression test for the part of commit
9220293dc023b757f2a57702c14b1460ff8f25b0 concerning generators. It used
roughly the same logic as tests/pq/test_pgconn.py::test_used_password()
to determine if the test connection needs a password and gets skipped
otherwise.

Merge pull request #586 from dlax/issue-585

fix: always validate PrepareManager cache in pipeline mode

fix: always validate PrepareManager cache in pipeline mode

Previously, when processing results in pipeline mode
(BasePipeline._process_results()), we'd run
'cursor._check_results(results)' early before calling
_prepared.validate() with prepared statement information. However, if
this check step fails, for example if the pipeline got aborted due to a
previous error, the latter step (PrepareManager cache validation) was
not run.

We fix this by reversing the logic, and checking results last.

However, this is not enough, because the results processing logic in
BasePipeline._fetch_gen() or _communicate_gen(), which sequentially
walked through fetched results, would typically stop at the first
exception and thus possibly never go through the step of validating
PrepareManager cache if a previous error happened.

We fix that by making sure that *all* results are processed, possibly
capturing the first exception and then re-raising it. In both
_communicate_gen() and _fetch_gen(), we no longer store results in the
'to_process' like, but process then upon reception as this logic is no
longer needed.

Fix #585.

docs: adjust PrepareManager.validate() docstring

From commit bfabe88aba4769e0a44206e1ace7c299991a957d, the method does
not return a command, but it records it through _rotate().

docs: remove outdated comments in PrepareManager's docstrings

PrepareManager's methods maybe_add_to_cache() and validate() are said to
only be used in pipeline mode, but this is wrong as can be seen in
BaseCursor._maybe_prepare_gen(). (Comments are probably a left-over from
a prior implementation of the pipeline mode.)

docs: add notes about using IS with placeholders

See #582.

Merge pull request #568 from lionel-panhaleux/master

Allow binary JSON dumps

feat: allow binary JSON dumps

Some JSON libraries, in particular the widespread
[orjson](https://github.com/ijl/orjson#quickstart) library, directly
dump data in binary format.

This change allows it and avoids having to decode/encode in these cases
by testing the return type of the `dumps` function.

docs: add info about DateStyle support

Close #571

docs: add note regarding the differences in date/time domains

Added minimal Django integration tests.

chore: bump psycopg package version to 3.1.9

Merge pull request #551 from psycopg/fix-json-dump-dict

fix(json): allow to register json dumpers on dict or other objects

test(json): fix dict registration test on crdb

fix(json): allow to register json dumpers on dict or other objects

fix: don't reuse the same Transformer in composite dumper

We need different dumpers because, in case a composite contains another
composite, we need to call `dump_sequence()` on different sequences, so
we row dumpers must be distinct.

Close #547

docs: fix cursor -> connection in the context of transaction management

Close #548

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: fix loading of different 'record' types in the same query

Different records in the same query might have different types.
Use a separate transformer for each sequence of types.

fix: don't use select as wait function if possible

select is marginally faster than others, but has the limitation of not
allowing FD > 1024, so it is not a good default.

If people need performance, they will use wait_c anyway, which is based
on poll, and doesn't have the limitation.

fix: shorter traceback on ctrl-c interrupt

fix(async): cancel query upon receiving CanceledError in async wait

This interrupt a running query upon Ctrl-C for example, which wasn't
working as it was on sync connection.

Close #543.

chore: bump mypy to 1.2

Fix typo in docs

chore: fix declaration of PQsetTraceFlags in pyi

Running 'python -m psycopg.pq._pq_ctypes' currently produces a diff
because _PQsetTraceFlags is not present in .pyi but PQsetTraceFlags is.

chore: bump psycopg_pool package version to 3.1.7

tests: skip test_sql::test_invalid_name if not a super-user

Creating a base type, as done in that test, requires being a superuser.

Merge branch 'fix-509'

test(pool): skip cancellation tests on Python 3.7

The test hangs forever on Python 3.7, no the gather() statement, and
wait_for() doesn't solve the problem.