refactor: don't keep the notifiers backlog handler in the connection state

Just keep the queue in the state and special-case its handling in the
`_notify_handler` connection method instead of registering a standard handler.
Set the queue to None to signify that we are in the `notifies()` generator.

This way we don't need the awkward weak-self + class method to avoid a
reference loop and to dereference the connection weak reference another
time, as we just did in `_notify_handler()`. Setting the queue to None
also feels cleaner than adding/removing the handler.

Relates to #975.

Merge pull request #989 from psycopg/fix-clobbered-error-on-disconnect

Fix clobbered error on disconnect

test: soften disconnection tests on platforms knwon to behave differently

test: add test to verify that a server disconnection now raises AdminShutdown

Previously it was raising OperationalError, but this was just the result
of the issue reported in #988. Note that AdminShutdown is a subclass of
OperationalError, therefore this change is backward compatible.

fix(c): don't clobber an error from the server with a server disconnection

Instead of raising the exception here, return the result and let the
caller handle the exception. This might make code paths more uniform and
helps the C implementation, because we actually never call
`error_from_result()` in the Cython code.

fix: don't clobber an error from the server with a server disconnection

The server error is assumed to contain more information, as it is
returned as a result, whereas a communication error caused by a server
disconnection will only make available the error message.

Close #988 (but we need to fix the Cython side too).

test: add test to reproduce the wrong error on disconnect

We raise `OperationalError` instead of `IdleInTransactionSessionTimeout`.

See #988.

fix(debug): print exceptions eventually raised by libpq calls

docs: improve organization of adaptation objects docs

Move the life cycle section above the examples, closer to the
configuration top section; explain better how `format` affects the
loader used, highlight better the connection between the protocols
defined in the `abc` module and the abstract base classes in the `adapt`
module.

The meaning of `Loader.format` wasn't explained anywhere: see #990.

docs: fix ']]' return value in Dumper.get_key() docs

Close #921.

Merge pull request #982 from psycopg/cleanup-compat

Clean up compat modules after dropping Python 3.8

chore: fix problems reported by mypy 1.14.1

chore(tests): drop Python 2 check

refactor: remove unneeded objects from _compat modules

refactor(tests): remove Counter from utils module

chore: drop pre-3.9 if blocks

refactor: replace list comprehension with generators in multiple assignments

refactor: use pytest canonical assert method names

refactor: drop deprecated collection.abc aliases

refactor: use re objects for typing of Match and Pattern

docs: suggest using pyupgrade when dropping a Python version

run through pyupgrade --py38-plus

Merge pull request #980 from psycopg/pre-commit

Add pre-commit hooks

docs: document pre-commit usage

lint: add typing annotations to pass pre-commit

Pre-commit seems to run mypy in parallel batches, each with about 20
files. In this mode, certain tests that pass when running mypy all in
once or file-by-file, fail.

In the current state, both running mypy without arguments or running it
in pre-commit seem to work.

ci: configure lint step to run pre-commit

ci: add pre-commit configuration

chore: ignore certain files from mypy linting

Something weird happens. Certain files pass mypy lint on their own, but
not in combination. This is mostly related to `psycopg/pq/pq_ctypes.py`
and `psycopg/pq/_pq_ctypes.py`. This problem seems largely related to
incomplete ctypes definitions.

chore: drop annotation on empty lists, now unneeded

If needed, it is considered wrong anyway, because it should be annotated
as class attribute.

docs: restore some lost comments in pyproject.toml files

Merge branch 'dont-lose-notifies'

fix: always gather the notifications received

Starting to register them after the first call to notifies() is somewhat
weird. We also risk to lose notifications in a case such as:

    conn.execute("listen foo")
    conn.execute("listen bar")
    for n in conn.notifies():
        ...

fix: don't lose notifications between notifies() calls

This allows to stop periodically the generator to run some queries (for
example to LISTEN/UNLISTEN certain channels) and start the generator
again without fearing to lose notification in the window.

Cloes #962.

Merge pull request #977 from stankudrow/drop-py38

Drop Py3.8 dependencies from `pyproject.toml`s and CI/CD workflows

chore: drop Python 3.8 support

Close #976.

chore: bump psycopg package version to 3.3.0.dev1

Merge pull request #974 from psycopg/convert-to-toml

Convert setup.py/setup.cfg files to pyproject.toml

chore: drop Download links from metadata

chore: adapt development tools to toml files

refactor(pool): convert setup.cfg to pyproject.toml

refactor(c): convert setup.cfg to pyproject.toml

Drop setup.py: move the build configuration to a build backend module.

refactor(psycopg): convert setup.cfg to pyproject.toml

Drop unneeded setup.py. The end of an era.

ci: move Python packages used for test into before-build script

ci(windows): use bash as default shell

Make packages-bin and tests workflow consistent.

chore(deps): bump pypa/cibuildwheel in the actions group

Bumps the actions group with 1 update: [pypa/cibuildwheel](https://github.com/pypa/cibuildwheel).

Updates `pypa/cibuildwheel` from 2.21.3 to 2.22.0
- [Release notes](https://github.com/pypa/cibuildwheel/releases)
- [Changelog](https://github.com/pypa/cibuildwheel/blob/main/docs/changelog.md)
- [Commits](https://github.com/pypa/cibuildwheel/compare/v2.21.3...v2.22.0)

---
updated-dependencies:
- dependency-name: pypa/cibuildwheel
  dependency-type: direct:production
  update-type: version-update:semver-minor
  dependency-group: actions
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #966 from trim21/try-vcpkg

Use vcpkg to install libpq on windows

refactor: rewrite the pg_config stub in a more idiomatic way

ci: use vcpkg to install libpq on windows

test(windows): verify that the libpq used is what expected

fix: call the notifies callback while the notifies generator is used

Close #972

ci: bump runner to macOS 13

macOS 12 runners are now deprecated.

chore: bump mypy version to 1.14

docs: drop duplicate, out of place, statement

docs(pool): fix ticket link in news page

docs: extend `libpq` install instructions for cross-platform use

See #950.

build_macos_arm64.sh: Upgrade to Python 3.13 production release

chore: bump psycopg_pool package version to 3.2.4

fix(pool): print a warning if gather times out on del

In Python 3.13 something changed on interpreter shutdown and now
stopping threads on __del__ fails.

See #930, #954.

docs(pool): note compatibility with Python 3.13

chore: gitignore IntelliJ .idea file

ci: bump SQLAlchemy test versions

docs(pool): suggest closing the pool explicitly

On Python 3.13 threads may fail to stop.

See #930, #954.

test(numpy): account for 32 bits systems in size checks

chore(deps): bump pypa/cibuildwheel in the actions group

Bumps the actions group with 1 update: [pypa/cibuildwheel](https://github.com/pypa/cibuildwheel).

Updates `pypa/cibuildwheel` from 2.21.1 to 2.21.3
- [Release notes](https://github.com/pypa/cibuildwheel/releases)
- [Changelog](https://github.com/pypa/cibuildwheel/blob/main/docs/changelog.md)
- [Commits](https://github.com/pypa/cibuildwheel/compare/v2.21.1...v2.21.3)

---
updated-dependencies:
- dependency-name: pypa/cibuildwheel
  dependency-type: direct:production
  update-type: version-update:semver-patch
  dependency-group: actions
...

Signed-off-by: dependabot[bot] <support@github.com>

refactor: use StopIteration.value instead of args as return after waiting

Work around the issue reported in https://github.com/python/mypy/issues/18073

Thank you very much, @brianschubert, for pointing it out!

Merge pull request #940 from 0xTiger/patch-1

docs: ensure operator in text and code example matches

docs: further wordsmith around IS/DISTINCT

Also restore lost link reference.

docs: explicit wording to clarify correspondence between `IS NOT DISTINCT FROM` & `IS`

chore: ignore type error reported by mypy 1.12, 1.13

If a generator returns None, the StopIteration.args tuple is empty. The
fact we explicitly checks for it and in that case we return none looks
now an error for Mypy.

I don't see an obvious way around it.

Maybe related to https://github.com/python/mypy/issues/1933 which is an
historical issue (opened in 2016).

Reported in https://github.com/python/mypy/issues/18073

test: avoid peer authentication in password change test

docs: document the version when TransactionTimeout was added

test: mark more tests as 'timing'

When the machine is under load, any tests relying on a timeout or a sleep is
subject to fail. Let's mark some of them as 'timing'.

chore: bump psycopg package version to 3.2.4.dev1

chore: bump psycopg package version to 3.2.3

Merge pull request #917 from psycopg/pg17

Create binary packages with PostgreSQL 17 libpq

docs: mention PostgreSQL 17 in binary packages in the news file

ci: install flex to build libpq

Required from PostgreSQL 17

ci(macos): fix dylib path for postgres 17 from brew

Libraries are now installed under `lib/postgresql/` under the brew
package directory instead of just `lib`.

ci(macos): update brew to install PostgreSQL 17

At the moment CI failed with:

    No available formula with the name "postgresql@17". Did you mean
    postgresql@16, postgresql@15, postgresql@14, postgresql@13,
    postgresql@12, postgresql@11 or postgresql@10?

But the formula appears available at https://formulae.brew.sh/formula/postgresql@17

So probably it's a problem that will disappear in a few days.

ci: bump to PostgreSQL 17 in binary packages

It is not possible at the moment to Upgrade OpenSSL to 3.3.2 because of
https://github.com/openssl/openssl/issues/25366

Close #852

chore: add PostgreSQL 17 TRANSACTION_TIMEOUT error

ci: Add PostgreSQL 17 to CI test grid, remove PostgreSQL 11

fix(windows): resolve absolute path to libpq

Might solve the problem mentioned in the comments in #912.

test(crdb): fix or skip tests that now run because libpq 17 is available

test: fix compatibility of tests with Python 3.8

Avoid using the |= operator on dictionaries, which is unsupported on
Python 3.8.

The test started mysteriously to fail... Turned out that it hadn't run
so far on Python 3.8 because the "latest" libpq was v16, but when it
switched to v17 it started to be executed.

fix: fix typo in PGRES_PIPELINE_ABORTED enum

Only in Cython and not explicitly used. Python had the right name already.

chore: test readme cleanup

docs(install): reorganise install page disclaimer

Show first the happy path and a GOTO usage, then all the possible
reasons why you are unhappy.

(I just learned that this is referred to as the Anna Karenina
principle).

docs: polish grammar in the install disclaimer

doc: explain better that binary packages are on a best-effort basis

Close #912.

chore: bump psycopg package version to 3.2.3.dev1

ci: fix SQLAlchemy 3rd party test

Something changed upstream? The package is not found in SQLAlchemy case,
needs sqlalchemy.

chore: bump psycopg package version to 3.2.2

Merge pull request #890 from edgarrmondragon/build-cp313-wheels

Build Python 3.13 wheels

docs: add update instructions for new major Python releases

docs: add Python 3.13 support news entries

docs: mention Python 3.13 supported in install docs

chore: add Python 3.13 to trove classifiers

ci: build Python 3.13 wheels

Related: https://github.com/psycopg/psycopg/issues/889

docs: replace fastapi events with lifespan