fix: consider a connection closed in poll() only if it's not ready too

When closing the proxy and trying to communicate, poll returns state 25
on the connection, i.e. POLLIN | POLLERR | POLLHUP. The connection is
not closed though, so we might end up in weird state ahead (e.g. connection
stuck in ACTIVE).

Because it's suggested that the connection is readable, do read from it.
Likely a proper error will be raised downstream, but we will remain in
consistent state.

fix(c): fix timeout calculation in select-based wait function

Because of the error, the timeout set to 0, resulting in a busy loop
instead of waiting.

Might fix #645.

refactor: check for closed connection in wait functions

Catch and display errors in a more homogeneous way: if a wait function
finds a connection closed it will raise an OperationalError chained to
the OSError obtained from stat'ing the socket. Previously control would
have gone back to the generator with a read-ready state and it would
have failed on whatever libpq function would have touched the socket.

Fix the problem reported in #608 affecting the epoll wait function, for
which we opted to use the poll function instead (which, more simply,
made the closed fd easier to spot).

note that on Windows it's not possible to use os.fstat() to ckeck a
socket state, therefore make it no-op.

test: improve wait functions tests

Check for consistent behaviour and expected result. The test currently
pass on the Python module and highlight shortcoming in the C function.

Complete wait async test, generate sync version automatically.

See #1141

refactor(wait): disallow interval=None in wait functions

It is not used internally: we always use an interval to allow for
Ctrl-C. It causes ambiguity with 0, which might be a value useful for
polling.

fix: fix return values of wait_poll(), wait_epoll()

fix(c): fix polling for read+write

test: make AEvent.wait_timeout() return False on timeout

For better similarity to Event.wait().

test: fix decorator to skip tests on crdb because of any db name accepted

ci: use working test server on macOS

macos-14 can use PostgreSQL 18. I saw a failure trying to use 17; not
sure if it's still there but 18 works fine, so bump.

macos-13 better says on 17. Trying to "brew update" it will pull a
version that will try to compile docbook and takes forever to install. I
understand that avoid an upgrade we get a version that has a binary
package ("bottled", in this deranged naming convention).

ci: test with PostgreSQL 18 final image

Merge branch 'bump-libs-3.2' into maint-3.2

ci: add workflow to build and cache the libpq

This avoid to attempt building the libpq concurrently with every Python
version, which will make caching fail.

chore(binary): bump packaged versions of libpq, OpenSSL

Update DEFAULT_AUTO_FIELD setting in Django CI workflow (#1182)

* test(django): Remove DEFAULT_AUTO_FIELD setting

Refs https://github.com/django/django-docker-box/pull/59

* test(django): use DEFAULT_AUTO_FIELD for LTS4 and LTS5

Not to be used from main on.

---------

Co-authored-by: Daniele Varrazzo <daniele.varrazzo@gmail.com>

chore(deps): bump the actions group across 1 directory with 5 updates (#1181)

Bumps the actions group with 5 updates in the / directory:

| Package | From | To |
| --- | --- | --- |
| [actions/checkout](https://github.com/actions/checkout) | `4` | `5` |
| [actions/setup-python](https://github.com/actions/setup-python) | `5` | `6` |
| [peter-evans/repository-dispatch](https://github.com/peter-evans/repository-dispatch) | `3` | `4` |
| [pypa/cibuildwheel](https://github.com/pypa/cibuildwheel) | `3.1.4` | `3.2.0` |
| [actions/github-script](https://github.com/actions/github-script) | `7` | `8` |

Updates `actions/checkout` from 4 to 5
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v4...v5)

Updates `actions/setup-python` from 5 to 6
- [Release notes](https://github.com/actions/setup-python/releases)
- [Commits](https://github.com/actions/setup-python/compare/v5...v6)

Updates `peter-evans/repository-dispatch` from 3 to 4
- [Release notes](https://github.com/peter-evans/repository-dispatch/releases)
- [Commits](https://github.com/peter-evans/repository-dispatch/compare/v3...v4)

Updates `pypa/cibuildwheel` from 3.1.4 to 3.2.0
- [Release notes](https://github.com/pypa/cibuildwheel/releases)
- [Changelog](https://github.com/pypa/cibuildwheel/blob/main/docs/changelog.md)
- [Commits](https://github.com/pypa/cibuildwheel/compare/v3.1.4...v3.2.0)

Updates `actions/github-script` from 7 to 8
- [Release notes](https://github.com/actions/github-script/releases)
- [Commits](https://github.com/actions/github-script/compare/v7...v8)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-version: '5'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
- dependency-name: actions/setup-python
  dependency-version: '6'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
- dependency-name: peter-evans/repository-dispatch
  dependency-version: '4'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
- dependency-name: pypa/cibuildwheel
  dependency-version: 3.2.0
  dependency-type: direct:production
  update-type: version-update:semver-minor
  dependency-group: actions
- dependency-name: actions/github-script
  dependency-version: '8'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

ci: fix bad expansion of an array variable in build_libpq.sh

* ci: fix bad expansion of an array variable in build_libpq.sh

The `options` array variable have been introduced in
`adb8336a392a71a3cb2ddf18bd9b17238a01a06e` but is used with `$options`
which only expand the 1st value (for bash).

The full expansion have to be done with `${options[*]}`

Note that `-shared` and `-fPIC` options are still used as they are
enabled by default by `./Configure`, but the `zlib` option is not taken
into account (disabled by default)

* ci: fix wrong command

`./configure` does not exists

Fix #1178

Merge branch 'fix/binary-copy' into maint-3.2

fix(copy): avoid sending copy data if an error is set

It would result in a partial message. The server seems to do the right
thing anyway, but let's not waste its precious time.

fix(c): fix excessive buffer allocation in binary copy

Fix #1147

Merge branch 'fix-builtin-dumper-loader' into maint-3.2

fix: drop warning for objects passed as JSON lods/dump function

Just optimistically assume that they are ok and will not cause leaks.
The possibility of there being something else which might cause a leak
is lower than the possibility that we didn't think about something else
and raise a warning, refusing to cache the loader, and really cause a
leak.

fix: don't raise a warning using a builtin for JSON dumps/loads

These types are stable so will not leak. However they have no
code/closure dunder attr so they will raise a warning.

Fix #1165.

chore: remove ignore unneeded in mypy >= 1.18.1

We can't bump the min mypy on this maintenance branch because it doesn't
support Python 3.8, therefore ignore warnings in this file to
accommodate the min supported mypy version 1.14.

test: fix tests with master version of crdb

The server version reported is 250300. Tests fail with the error:

    psycopg.errors.OperatorIntervention: this schema change is
    disallowed because table "execmany" is locked and this operation cannot
    automatically unlock the table

    DETAIL:  To unlock the table, execute `ALTER TABLE execmany SET (schema_locked = false);`

    After the schema change completes, we recommend setting it back to
    true with `ALTER TABLE execmany SET (schema_locked = true);`.

    HINT:  Locking the table improves changefeed performance; see
    https://www.cockroachlabs.com/docs/dev/changefeed-best-practices.html#lock-the-schema-on-changefeed-watched-tables

chore(ci): bump crdb test versions

ci: run lint/tests in any branches

The `*` results in branches with a `/` excluded.

Also exclude running tests if only docs change.

fix: typo in notifications warning

ci: use stable runner windows-2022

Soon the `-latest` image will become -2025.

chore: bump psycopg package version to 3.2.11.dev1

chore: bump psycopg package version to 3.2.10

Merge branch 'pg18-3.2' into maint-3.2

docs: mention PostgreSQL v18 support

ci: add PostgreSQL 18 to the test grid

chore: add PostgreSQL 18 exceptions

fix: add ConnStatus.CONNECTION_AUTHENTICATING value

Introduced in PostgreSQL 18

Merge branch 'fix-1091' into maint-3.2

docs: document the changes to notifies generator

fix: raise a warning when notifies generator and handlers are used together

fix: collect notifies only if no handler was registered

If someone is listening to notifications by using an handler, the
notifies backlog would fill without ever being emptied.

This change has the risk of breaking something if someone is relying on
notifies being received both via callback and via generator, but I don't
know how to satisfy it without creating a leak to users who don't use the
generator. Will ask around...

Fix #1091.

ci: move minimum SQLAlchemy git main Python version to 3.10

ci: run packages build on workflow file change

Merge branch 'fix-executemany-lock-3.2' into maint-3.2

fix: keep a lock for the entire duration of executemany

Before this change we had the lock context inside the pipeline context,
because conn.pipepline() and Pipeline.__enter/exit__ take a lock. But
this created windows of opportunities for other threads to execute
concurrent operations on the connection, resulting in "another command
is already in progress" errors.

Fix #1130.

refactor: auto-generate sync pipeline object from async one

refactor: separate sync/async pipeline in their own modules

fix: fix excessive buffer resizing on int16 dump

Fix #1160

Merge pull request #1137 from psycopg/gssapi-warning

Warn about implicit use of GSS-API

feat: raise a warning if a GSS connection is obtained using the libpq default

Suggest the user to specify a 'gssencmode' setting explicitly so that,
in the future, we will be able to change the setting default to 'disable'.

See #1136

feat: add support for libpq PQconnectionUsedGSSAPI()

We will not advertise its presence as PGconn.used_gssapi until Psycopg
3.3. However we can use it internally to implement a warning to check
the implicit usage of gssencmode=prefer.

See #1136

Merge branch 'py314-3.2' into maint-3.2

docs: mention Python 3.14 support in news file

ci: drop i686 binary packages

Not happy to drop them in a bugfix release, it seems possible to still
produce them with current cibuildwheel, but the documentation doesn't
make obvious how to restore them.

We will try to restore them if someone complains.

chore(pool): use coro test from inspect instead of asyncio

The latter is deprecated in Python 3.14.

test: fix pproxy compatibility with Python 3.14

Work around the issue reported in https://github.com/qwj/python-proxy/issues/200

ci: test with Python 3.14 non-dev

chore(test): drop use of asyncio event loop policy

Deprecated since Python 3.14

ci(alpine): install missing libraris required to test and package wheels

Since some recent alpine version the krb5-libs package is not installed by
default anymore. When building the libpq the package got installed as a
side effect of installing krb5-dev, but, in case libpq build was cached,
the libraries would have been missing when packaging the wheel or
importing psycopg for test.

chore: bump cibuildwheel to 3.1.4

It should help with Python 3.14 builds.

chore: add Python 3.14 to supported version metadata and docs

ci: add Python 3.14 dev to package build

ci: add Python 3.14 version to test grid

chore: bump Cython version

Skip version 3.1.0 because of https://github.com/cython/cython/issues/6850
I understand that >= 3.1.0 is required for the free threading support (#1096).

test: use current timezone name

Merge branch 'fix-binary-version' into maint-3.2

fix(binary): fix __version__

It was taken from the psycopg-c package, so it might have been wrong or,
more likely, reported as 0.0.0.0 because not installed.

test: verify the version is sane

chore: ignore mypy flag for unused ignore

Flagged by mypy 1.17 on CI, but we need to stay on mypy 1.14 in the
maint 3.2 branch because of Python 3.8 compatibility.

ci: avoid running jobs on pull requests

Jobs run anyway on push. This setting results in duplicate runs.

Merge pull request #1119 from psycopg/fix-cancelled-error-shadowing

Avoid a TypeError shadowing CancelledError on task cancellation

fix(c): avoid a TypeError shadowing CancelledError on task cancellation

Fix #1005.

test: fix failure in test_connection_warn_close

Create all the connections beforehand otherwise some may reuse the same
address, resulting in a duplicated warning message, which would be
omitted and fail the test.

fix: don't call str(self) or imported objects in __del__

We easily end up trying to access resources already unavailable in the
objects representation. In Python 3.14 this seems to happen aggressively
(or maybe it's just more visible because testing a dev version).

fix: change signature of SQL.join() to allow a sequence of Any

We declared accepting a sequence of Composable, but, because we passed
the joined values to `Composite`, actually non-composable were
interpreted as `Literal`.

Make this behaviour explicit by testing it and fixing the signature.

chore: run isort before other hooks

It's quicker to fail than mypy.

Merge pull request #1115 from psycopg/fix-jsonb-function-caching

chore(json): adapt caching types definition to Python 3.8

fix(json): don't leak when lambdas are used as dumps/loads function

Cache functions on the code, not on the function identity itself:
different lambdas or local functions are different objects but he
underlying code object is the same.

Avoid caching if the function is a closure because it then becomes a can
of worms (if the argument is not hashable etc). Throw a warning in that
case.

Fix #1108

fix(json): don't leak when lambdas are used as loads function

fix: add missing interface for PGconn.protocol_version

fix(test): work around error with issubclass(collections.ablc.Callable)

Reproduced only on Python 3.10

ci: cancel concurrent binary build jobs

test: skip tests connecting to non-existing dbs for CRDB

For CRDB, every database exists.

test: make sure tests don't hang if default connection points to a closed port

They might hang is the server doesn't accept connections on the standard
port.

Tested by forcing the default connection to go to an unresponsive port,
using:

    export PGHOST=192.0.2.1
    export PSYCOPG_TEST_DSN="host=localhost dbname=psycopg_test"

and fixing all the tests hanging because they try to connect to the
unroutable hostname, not taking into account the test dsn.

chore: make code compatible with Mypy 1.14 and 1.16

The master branch moved to a minimum 1.16, but Python 3.8 is only
supported up to Mypy < 1.15.

Therefore introduce an ignore[override] required in Mypy 1.16 but ignore
the complaint of Mypy 1.14.

chore: bump psycopg package version to 3.2.10.dev1

chore: bump psycopg package version to 3.2.9

Merge branch 'fix-1088' into maint-3.2

docs: mention fix in version 3.2.9

Revert "ci: install win32 libpq from conda force"

This reverts commit ba4187d830a90f3e8edba10260d213079b7b5912.

Fix #1088

chore: bump psycopg package version to 3.2.9.dev1

chore: bump psycopg package version to 3.2.8

ci: make sure versions are strings, not floats

chore: add funding link to project metadata

fix(c): fix building on 32 bit with libpq 18

The previous code was protected by a HAVE_LONG_INT_64 macro.

chore(binary): bump OpenSSL to 3.5.0

On Windows the libpq 17.5 package depends on it.

chore(binary): bump libpq to 17.5 in binary packages

chore(deps): bump the actions group with 2 updates

Bumps the actions group with 2 updates: [pypa/cibuildwheel](https://github.com/pypa/cibuildwheel) and [prefix-dev/setup-pixi](https://github.com/prefix-dev/setup-pixi).

Updates `pypa/cibuildwheel` from 2.23.2 to 2.23.3
- [Release notes](https://github.com/pypa/cibuildwheel/releases)
- [Changelog](https://github.com/pypa/cibuildwheel/blob/main/docs/changelog.md)
- [Commits](https://github.com/pypa/cibuildwheel/compare/v2.23.2...v2.23.3)

Updates `prefix-dev/setup-pixi` from 0.8.4 to 0.8.8
- [Release notes](https://github.com/prefix-dev/setup-pixi/releases)
- [Commits](https://github.com/prefix-dev/setup-pixi/compare/v0.8.4...v0.8.8)

---
updated-dependencies:
- dependency-name: pypa/cibuildwheel
  dependency-version: 2.23.3
  dependency-type: direct:production
  update-type: version-update:semver-patch
  dependency-group: actions
- dependency-name: prefix-dev/setup-pixi
  dependency-version: 0.8.8
  dependency-type: direct:production
  update-type: version-update:semver-patch
  dependency-group: actions
...

Signed-off-by: dependabot[bot] <support@github.com>

ci: install win32 libpq from conda force

Merge branch 'better-logging' into maint-3.2

docs: add section about connection logging