chore: make typing-extension conditional to Pyton < 3.13

chore: ignore spelling in html files

These files are generated by cython to display the C code generated...
and are a mess.

fix: more careful stripping of error prefixes

Only strip the known prefixes, both in English and in the currently
known localizations.

Added script to generate regexp to match every backend localization. The
script was executed on PostgreSQL commit f4ad0021af (on master branch,
before v17).

Close #752.

chore: fix typo in comment

chore: bump mypy

chore: bump psycopg_pool package version to 3.2.3.dev1

chore: bump psycopg_pool package version to 3.2.2

Merge branch 'pool-empty-query-check' into maint-pool-3.2

docs(pool): mention running an empty query on check in news file

refactor(pool): replace --ping with empty string

perf(pool): replace SELECT 1 with an empty query

fix(pool): avoid possible deadlock (until timeout) on pool closing

With the previous change to avoid finding open connections in the pool
(#784), stopping the worker was moved into the critical section. This
can create a deadlock in case a worker is in the process of obtaining a
new connection, because putting it to the pool requires the lock. The
deadlock only last for the default 5s timeout passed to _stop_workers().

Solve the problem by guarding _add_to_pool() to avoid it to try to add
the connection if the pool is closed.

However, refactor the pool closing sequence too and close the workers
and other resources that now out of the state outside the critical
section to keep the operation running under lock to a minimum.

fix(pool): make sure there are no connection in the pool after close()

The case has been reported in #784. While not easy to reproduce, it
seems that it might be caused by the pool being closed while a worker is
still trying to create a connection, which will be put in the _pool
state after supposedly no other operation should have been performed.

Stop the workers and then empty the pool only after they have stopped to
run.

Also refactor the cleanup of the pool and waiting queue, moving them
to close(). There is no reason why a method called "stop workers" should
empty them, and there is no other code path that use such feature.

Close #784.

test(pool): more lenient timeout in reconnect test timings

Merge branch 'async-to-sync-jobs' into maint-pool-3.2

feat(tools): check last modification times in async_to_sync.py

We now only process _async.py files with a modification time higher than
their sync counterpart. A -B,--convert-all option is added to force
conversion of all (specified) input files and skip last-modification
time check.

feat(tools): add a -L,--log-level option to async_to_sync.py

We'll use DEBUG messages in the next commit.

feat(tools): run async_to_sync.py concurrently

Multi-processing is used by default (using all available processors),
but can be disabled or limited with the -j/--jobs option.

style: use literals instead of the concatenation operator for long strings

The reason we were using operators was to stop async_to_sync to generate
a line too long and incur in the flake8 ires.

MR #764 suggests to disable line length check altogether, but we can use
per-file ignore, as there will not be many cases to manage.

docs(pool): reorder sections in a way that makes more sense

docs(pool): add box warning against opening async pools on init

fix(pool): make opening an async connection pool in the constructor a runtime warning

Deprecation warnings are ignored by default and easy to miss.

Close #737.

ci: skip refcount tests on scheduled jobs

fix: avoid to create reference loops in datetime adapters

Setting the reference to a bound method in the state creates a reference
loop.

The issue is minimal because the gc will be able to break these loops
anyway and because it mostly happens with exotic or unsupported
date/interval styles.

docs: fix typo in release notes

chore: bump psycopg package version to 3.1.18

fix(c): drop spurious loop break in pipeline_communicate

This makes the Python and the C implementation more similar. The
difference was unexpected but apparently harmless. See #431

chore: update code to master

chore: bump psycopg_pool package version to 3.2.2.dev1

ci: revert upload action to v3

v4 requires to have every uploaded artifact in a separate directory.

- https://github.com/actions/upload-artifact/issues/478
- https://github.com/actions/upload-artifact/blob/main/docs/MIGRATION.md

chore: bump psycopg_pool package version to 3.2.1

chore(c): add missing enum entries

docs: add note about checking enums and docs on PostgreSQL update

Merge branch 'fix-699' into maint-pool-3.2

refactor: generate conninfo attempts from async counterpart

fix: perform multiple attemps if a host name resolve to multiple hosts

We now perform DNS resolution in Python both in the sync and async code.
Because the two code paths are now very similar, make sure they pass the
same tests.

Close #699.

refactor(test): make resolution monkeypatching common fixtures

refactor: separate ConnectionInfo object from conninfo module

It was there just because the name is similar, but its purpose is
entirely different.

chore: align to master

The pool branch is diverging unnecessarily from master because so far I
have only cherry picked the changes useful for the pool and compatible
with 3.2.x, but this is creating unnecessary differences and making
cherry-picking harder and harder.

From now on we should use the policy of cherry-picking everything unless
non compatible (not a new feature or a breaking change), similarly to
what we do on the maint-3.1 branch.

chore: upload github actions dependencies

Merge branch 'fix-709' into maint-pool-3.2

refactor(pool): rename ConnectionAttempt as AttemptWithBackoff

This class implements the backoff + jitter policy and is now used to
repeat checks too.

fix(pool): use an exponential backoff to separate failing checks

This is a consistent behaviour with with the exponential backoff used in
reconnection attempts, and actually we could reuse the same object
implementing the backoff + jitter.

See also #709

fix(pool): respect timeout on getconn() when the check function fails

Close #709.

Merge branch 'fix-308-pool-3.2' into maint-pool-3.2

refactor(pool): avoid constructor overloading by using generic default

refactor: drop overloading of the Connection.connect() function

The default for the Row TypeVar makes it redundant.

refactor: use Self to represent the return from `BaseConnection._connect_gen()`

fix: define the Row TypeVar as defaulting to TupleRow

This allows to return `Self` uniformly from the `Connection.connect()` class
method, which in turns allows to subclass the connection without the
need of redefining the complex signature.

Close #308

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

refactor: use TypeVar from typing_extension

This includes the default parameter, which should fix the problem of the
awkward definition of Row defaulting to TupleRow.

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

chore: bump psycopg_pool package version to 3.2.1.dev1

chore: fix mypy >= 1.7 warning in tests

ci: test psycopg pool package with released a psycopg version

test: allow to run pytest -m pool with psycopg 3.1 imported

This allows to test psycopg pool 3.2 tests with psycopg 3.1 installed.

chore: bump psycopg_pool package version to 3.2.0

fix(bump_version): fix bumping minor version with dev releases

chore(macos): build images with more recent Python versions

Merge pull request #670 from psycopg/fix-667

Handle gracefully EINTR on signals instead of raising InterruptedError

fix: retry automatically syscall in wait_c if it fails with EINTR

Fix #667

test: add test to generate an EINTR in wait_c

Mark test_identify_closure as timing-sensitive

```
____________________________ test_identify_closure _____________________________

conn_cls = <class 'psycopg.Connection'>, dsn = 'host=127.0.0.1 user=psycopg'

    @pytest.mark.crdb_skip("pg_terminate_backend")
    @pytest.mark.slow
    def test_identify_closure(conn_cls, dsn):
        def closer():
            time.sleep(0.2)
            conn2.execute("select pg_terminate_backend(%s)", [conn.pgconn.backend_pid])

        conn = conn_cls.connect(dsn)
        conn2 = conn_cls.connect(dsn)
        try:
            t = threading.Thread(target=closer)
            t.start()
            t0 = time.time()
            try:
                with pytest.raises(psycopg.OperationalError):
                    conn.execute("select pg_sleep(1.0)")
                t1 = time.time()
>               assert 0.2 < t1 - t0 < 0.4
E               assert 0.2 < (1697715164.8614173 - 1697715164.6617775)

tests/test_concurrency.py:231: AssertionError
```

chore: use AnyIO 4.0+ in tests dependencies

We set the 'loop_factory' asyncio option for parametrizing the
anyio_backend() fixture as anyio 4.0 has replaced the 'policy' option by
'loop_factory'.

In tests/pool/test_pool_async_noasyncio.py, we previously used
the anyio_backend_options fixture to retrieve the loop policy; now we
build it directly. This could be improved by using the loop_factory, but
only from Python 3.11 with an asyncio.Runner().

refactor(pool): more logical ordering for kwargs

- conn construction params (class, kwargs, the class affects the pool
  type annotations so first is better);
- sizing (documented as an important parameter for the pool);
- open?
- callbacks (in the order they are used);
- name;
- other details more unlikely to be touched.

The order is the same in docs and code.

Merge branch 'pool-getconn-safe'

docs(pool): document check callback, drop previous recipes and rants

test(pool): add tests to verify check on getconn's behaviour

fix(pool): clean up logging in getconn check

If a check callback is set, assume that failed checks on getconn are
just part of normal operative life: don't consider them warnings.

feat(pool): add `check` connection parameter

Allow to specify a callback to call on getconn and discard the
connection if not in working state.

feat(pool): add `check_connection()` method

The method is public, will be documented as available to use as check
parameter, but also used internally by the `check()` method.

refactor(pool): introduce a loop in getconn to allow connection check

Merge branch 'pool-warn-implicit-open'

docs(pool): warn about future behaviour changes of open on init

feat(pool): raise a warning if async pools are open in the constructor

feat(pool) raise a warning if the pool is expected to be opened implicitly

refactor: define conn_encoding on pgconn_encoding

Also more consistent use of the two functions throughout the codebase.

chore: move codespell configuration to toml file

Configuration tweaked to avoid files commonly found in dev environments.

style(pool): more explicit error message for pool open with no loop

Merge branch 'async-to-sync'

Merge pull request #660 from dlax/async-to-sync

improvements to tools/async_to_sync.py

refactor: allow to use podman container engine in async_to_sync.py

feat(tools): warn about the Python version used in async-to-sync

Notify the user that they may get spurious results.

fix(tools): remove mention of dropped shell script in async_to_sync.py

refactor: use text mode for subprocess in async_to_sync.py

refactor: replace 'git ls-files' + 'grep' by a single 'git grep'

chore: use Python 3.11 to conver async to sync

chore: add option to run async_to_sync in a docker image

This allows to specify which Python version to use for the conversion
(even when it's not installed on the machine).

refactor: drop 'convert_async_to_sync.sh' script

Do all in 'async_to_sync.py:' added --all and --check options.

test: drop unneeded raise on pytest.skip()

refactor(test): uniform the way sync/async-only tests are skipped

Add @skip_sync, @skip_async markers to mark the functions to skip.

test: add check to verify the completeness of convert_async_to_sync

Verify that all the files commented as having been automatically
converted are actually included in the script converting them.

style: more care in the docstring mentioning sync/async versions of the code

refactor(pool): define scheduler task as dataclass

refactor(async_to_sync): create new object without listing all the attributes

style(pool): use `pass` instead of `return` for empty methods

docs: fix typos/grammar

Co-authored-by: Daniel Fortunov <asqui@users.noreply.github.com>

refactor(copy): generate sync code from async

refactor(test): add acompat module

feat(tools): allow to specify the files to convert async to sync