test(pool): verify the overriding of `close()` to act as `putconn()`

We would like to maintain this possibility on a best-effort basis. The
hack has been mentioned in #1046 and upstream in
https://github.com/sqlalchemy/sqlalchemy/discussions/12522 and is useful
to integrate psycopg pool with the SQLAlchemy NullPool.

ops: don't run pre-commit on version bump

Pre-commit is not installed in this branch.

chore: bump psycopg_pool package version to 3.2.6

Merge branch 'fix-transaction-after-check' into maint-pool-3.2

docs(pool): add release note about ticket #1014

fix(pool): reset connection transaction status after failed check

Close #1014

chore: bump psycopg_pool package version to 3.2.6.dev1

chore: bump psycopg_pool package version to 3.2.5

fix(pool): check that there is some connection in the pool before shrinking

There is a race condition between shrinking the pool and closing an
expired connection which might result in attempting to pop from the
empty _pool deque. Add a check to prevent that.

The bug is not serious as it doesn't compromise the pool working but it causes
noise in the logging.

Close #1001

chore: drop unused mypy ignore comment

chore: fix typo

style: fix up with current version of black

chore: bump psycopg_pool package version to 3.2.5.dev1

docs(pool): fix ticket link in news page

ci: merge all produced artifacts into a single artifact for ease of downloading

ci: updates action versions and add dependabot to check monthly for updates

chore: bump psycopg_pool package version to 3.2.4

test(crdb): fix or skip tests that now run because libpq 17 is available

fix(pool): print a warning if gather times out on del

In Python 3.13 something changed on interpreter shutdown and now
stopping threads on __del__ fails.

See #930, #954.

chore: ignore type error reported by mypy 1.12, 1.13

If a generator returns None, the StopIteration.args tuple is empty. The
fact we explicitly checks for it and in that case we return none looks
now an error for Mypy.

I don't see an obvious way around it.

Maybe related to https://github.com/python/mypy/issues/1933 which is an
historical issue (opened in 2016).

Reported in https://github.com/python/mypy/issues/18073

chore: bump psycopg_pool package version to 3.2.4.dev1

chore: bump psycopg_pool package version to 3.2.3

docs(pool): note compatibility with Python 3.13

fix: fix compatibility with numpy 2.0

The only meaningful code change is with the bool class, whose type name
changed from `numpy.bool_` to `numpy.bool`. Note that using `bool`
causes a FutureWarning on import for numpy > 1.20, therefore we avoid
testing it (we still successfully test the `bool_` alias).

Other changes are related to tests: certain constant aliases are no more
available, so we skip those tests conditionally to numpy version.

Pin a minimum numpy version, to make sure we test also a numpy v1.
Picking 1.18,  released back in Dec 2019, as it's the first minor
version offering binary packages for Python 3.8. This min dependency will
need to be updated when dropping Python 3.8 support.

chore: bump typing-extension version

Previously requested 4.4 is not compatible with the now requested mypy
version 1.11

chore: make typing-extension conditional to Pyton < 3.13

chore: ignore spelling in html files

These files are generated by cython to display the C code generated...
and are a mess.

fix: more careful stripping of error prefixes

Only strip the known prefixes, both in English and in the currently
known localizations.

Added script to generate regexp to match every backend localization. The
script was executed on PostgreSQL commit f4ad0021af (on master branch,
before v17).

Close #752.

chore: fix typo in comment

chore: bump mypy

chore: bump psycopg_pool package version to 3.2.3.dev1

chore: bump psycopg_pool package version to 3.2.2

Merge branch 'pool-empty-query-check' into maint-pool-3.2

docs(pool): mention running an empty query on check in news file

refactor(pool): replace --ping with empty string

perf(pool): replace SELECT 1 with an empty query

fix(pool): avoid possible deadlock (until timeout) on pool closing

With the previous change to avoid finding open connections in the pool
(#784), stopping the worker was moved into the critical section. This
can create a deadlock in case a worker is in the process of obtaining a
new connection, because putting it to the pool requires the lock. The
deadlock only last for the default 5s timeout passed to _stop_workers().

Solve the problem by guarding _add_to_pool() to avoid it to try to add
the connection if the pool is closed.

However, refactor the pool closing sequence too and close the workers
and other resources that now out of the state outside the critical
section to keep the operation running under lock to a minimum.

fix(pool): make sure there are no connection in the pool after close()

The case has been reported in #784. While not easy to reproduce, it
seems that it might be caused by the pool being closed while a worker is
still trying to create a connection, which will be put in the _pool
state after supposedly no other operation should have been performed.

Stop the workers and then empty the pool only after they have stopped to
run.

Also refactor the cleanup of the pool and waiting queue, moving them
to close(). There is no reason why a method called "stop workers" should
empty them, and there is no other code path that use such feature.

Close #784.

test(pool): more lenient timeout in reconnect test timings

Merge branch 'async-to-sync-jobs' into maint-pool-3.2

feat(tools): check last modification times in async_to_sync.py

We now only process _async.py files with a modification time higher than
their sync counterpart. A -B,--convert-all option is added to force
conversion of all (specified) input files and skip last-modification
time check.

feat(tools): add a -L,--log-level option to async_to_sync.py

We'll use DEBUG messages in the next commit.

feat(tools): run async_to_sync.py concurrently

Multi-processing is used by default (using all available processors),
but can be disabled or limited with the -j/--jobs option.

style: use literals instead of the concatenation operator for long strings

The reason we were using operators was to stop async_to_sync to generate
a line too long and incur in the flake8 ires.

MR #764 suggests to disable line length check altogether, but we can use
per-file ignore, as there will not be many cases to manage.

docs(pool): reorder sections in a way that makes more sense

docs(pool): add box warning against opening async pools on init

fix(pool): make opening an async connection pool in the constructor a runtime warning

Deprecation warnings are ignored by default and easy to miss.

Close #737.

ci: skip refcount tests on scheduled jobs

fix: avoid to create reference loops in datetime adapters

Setting the reference to a bound method in the state creates a reference
loop.

The issue is minimal because the gc will be able to break these loops
anyway and because it mostly happens with exotic or unsupported
date/interval styles.

docs: fix typo in release notes

chore: bump psycopg package version to 3.1.18

fix(c): drop spurious loop break in pipeline_communicate

This makes the Python and the C implementation more similar. The
difference was unexpected but apparently harmless. See #431

chore: update code to master

chore: bump psycopg_pool package version to 3.2.2.dev1

ci: revert upload action to v3

v4 requires to have every uploaded artifact in a separate directory.

- https://github.com/actions/upload-artifact/issues/478
- https://github.com/actions/upload-artifact/blob/main/docs/MIGRATION.md

chore: bump psycopg_pool package version to 3.2.1

chore(c): add missing enum entries

docs: add note about checking enums and docs on PostgreSQL update

Merge branch 'fix-699' into maint-pool-3.2

refactor: generate conninfo attempts from async counterpart

fix: perform multiple attemps if a host name resolve to multiple hosts

We now perform DNS resolution in Python both in the sync and async code.
Because the two code paths are now very similar, make sure they pass the
same tests.

Close #699.

refactor(test): make resolution monkeypatching common fixtures

refactor: separate ConnectionInfo object from conninfo module

It was there just because the name is similar, but its purpose is
entirely different.

chore: align to master

The pool branch is diverging unnecessarily from master because so far I
have only cherry picked the changes useful for the pool and compatible
with 3.2.x, but this is creating unnecessary differences and making
cherry-picking harder and harder.

From now on we should use the policy of cherry-picking everything unless
non compatible (not a new feature or a breaking change), similarly to
what we do on the maint-3.1 branch.

chore: upload github actions dependencies

Merge branch 'fix-709' into maint-pool-3.2

refactor(pool): rename ConnectionAttempt as AttemptWithBackoff

This class implements the backoff + jitter policy and is now used to
repeat checks too.

fix(pool): use an exponential backoff to separate failing checks

This is a consistent behaviour with with the exponential backoff used in
reconnection attempts, and actually we could reuse the same object
implementing the backoff + jitter.

See also #709

fix(pool): respect timeout on getconn() when the check function fails

Close #709.

Merge branch 'fix-308-pool-3.2' into maint-pool-3.2

refactor(pool): avoid constructor overloading by using generic default

refactor: drop overloading of the Connection.connect() function

The default for the Row TypeVar makes it redundant.

refactor: use Self to represent the return from `BaseConnection._connect_gen()`

fix: define the Row TypeVar as defaulting to TupleRow

This allows to return `Self` uniformly from the `Connection.connect()` class
method, which in turns allows to subclass the connection without the
need of redefining the complex signature.

Close #308

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

refactor: use TypeVar from typing_extension

This includes the default parameter, which should fix the problem of the
awkward definition of Row defaulting to TupleRow.

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

chore: bump psycopg_pool package version to 3.2.1.dev1

chore: fix mypy >= 1.7 warning in tests

ci: test psycopg pool package with released a psycopg version

test: allow to run pytest -m pool with psycopg 3.1 imported

This allows to test psycopg pool 3.2 tests with psycopg 3.1 installed.

chore: bump psycopg_pool package version to 3.2.0

fix(bump_version): fix bumping minor version with dev releases

chore(macos): build images with more recent Python versions

Merge pull request #670 from psycopg/fix-667

Handle gracefully EINTR on signals instead of raising InterruptedError

fix: retry automatically syscall in wait_c if it fails with EINTR

Fix #667

test: add test to generate an EINTR in wait_c

Mark test_identify_closure as timing-sensitive

```
____________________________ test_identify_closure _____________________________

conn_cls = <class 'psycopg.Connection'>, dsn = 'host=127.0.0.1 user=psycopg'

    @pytest.mark.crdb_skip("pg_terminate_backend")
    @pytest.mark.slow
    def test_identify_closure(conn_cls, dsn):
        def closer():
            time.sleep(0.2)
            conn2.execute("select pg_terminate_backend(%s)", [conn.pgconn.backend_pid])

        conn = conn_cls.connect(dsn)
        conn2 = conn_cls.connect(dsn)
        try:
            t = threading.Thread(target=closer)
            t.start()
            t0 = time.time()
            try:
                with pytest.raises(psycopg.OperationalError):
                    conn.execute("select pg_sleep(1.0)")
                t1 = time.time()
>               assert 0.2 < t1 - t0 < 0.4
E               assert 0.2 < (1697715164.8614173 - 1697715164.6617775)

tests/test_concurrency.py:231: AssertionError
```

chore: use AnyIO 4.0+ in tests dependencies

We set the 'loop_factory' asyncio option for parametrizing the
anyio_backend() fixture as anyio 4.0 has replaced the 'policy' option by
'loop_factory'.

In tests/pool/test_pool_async_noasyncio.py, we previously used
the anyio_backend_options fixture to retrieve the loop policy; now we
build it directly. This could be improved by using the loop_factory, but
only from Python 3.11 with an asyncio.Runner().

refactor(pool): more logical ordering for kwargs

- conn construction params (class, kwargs, the class affects the pool
  type annotations so first is better);
- sizing (documented as an important parameter for the pool);
- open?
- callbacks (in the order they are used);
- name;
- other details more unlikely to be touched.

The order is the same in docs and code.

Merge branch 'pool-getconn-safe'

docs(pool): document check callback, drop previous recipes and rants

test(pool): add tests to verify check on getconn's behaviour

fix(pool): clean up logging in getconn check

If a check callback is set, assume that failed checks on getconn are
just part of normal operative life: don't consider them warnings.

feat(pool): add `check` connection parameter

Allow to specify a callback to call on getconn and discard the
connection if not in working state.

feat(pool): add `check_connection()` method

The method is public, will be documented as available to use as check
parameter, but also used internally by the `check()` method.

refactor(pool): introduce a loop in getconn to allow connection check

Merge branch 'pool-warn-implicit-open'

docs(pool): warn about future behaviour changes of open on init

feat(pool): raise a warning if async pools are open in the constructor