chore: bump psycopg_pool package version to 3.2.7

chore: bump psycopg package version to 3.2.12

Merge pull request #1193 from jerch/fix/no-pinning-copy-text

docs: add note about fixing the copy pinning issue

test(copy): cover the Python implementation in copy pinning tests

fix(copy): restore selecting loader for each item

In the copy refactoring released in 3.2.11 we changed the behaviour to
choosing a dumper at the first non-null value per column and keeping it.

Turns out more people than expected rely on the more flexible behaviour
of passing strings or types and letting postgres do the conversion.

Restore the previous behaviour; however it's possible to use
`copy.set_types()` to set dumpers per column and gain something in
performance.

Fix #1192

ci: enable lint on pull requests

This now matches the tests workflow.

Merge pull request #1067 from psycopg/sqlalchemy-nullpool

Allow integration of psycopg pool with SQLAlchemy

fix(pool): more robust placement of reconnection attempts

The problem reported in #1176 is the close recursion already fixed.
However, because we try to reconnect before closing, we end up scheduling
a reconnection attempt for every recursion loop.

The recursion shouldn't happen anymore, but it seems more robust to
reconnect after the connection has been successfully closed, otherwise
we might end up requesting more connections than we ought (hopefully not
as dramatically as here anyway).

fix(pool): fix infinite loop with close_returns=True

Close #1124

docs(pool): a proto-only SQLAlchemy url suffices as we are passing a creator

docs(pool): consistent sync/async examples in SQLAlchemy NullPool example

docs(pool): add documentation for close_returns

feat(pool): add close_returns

Behaviour implemented via subclassing Psycopg 3.2.

Close #1046

feat(pool): add connection subclasses to enable putconn-on-close

test(pool): make sure that returned connection have the pool set

The flow where we set _pool = None or _pool = self is a bit complex.
Make sure we don't mess it up.

Merge branch 'perf/transpose-loading'

perf: load results by row rather than by column

In the past we were converting results to Python tuples proceeding
column by column. The rationale was that certain overhead such as
selecting the loader was to be paid only once per column, not once per
datum.

However this analysis was dismantled in #1163, see especially the comment at
https://github.com/psycopg/psycopg/pull/1163#issuecomment-3288921422
for some benchmark comparing various conversion strategies. In the end,
the simple row-by-row loading in a single function ends up being more
performing. Performance now surpasses the one of psycopg2.

See also #1155 for an initial analysis of performance regression.

A big thank you to Jörg Breitbart (@jerch) for this improvement!

Merge pull request #1150 from jerch/fix/binary-copy-rowlevel

fix buffer in binary copy

refactor: drop copy format code path with buffer creation

The path is unused and leads to more convoluted code.

fix(c): fix copy buffer corruption on dumping error

Restore the buffer so that if we trap the exception and continue in
Python the buffer will not be corrupted.

Improve on the #1147 fix.

test: add test to reveal the buffer corruption on dump error

Merge pull request #1158 from jerch/fix/set-types-text

respect set_types in c-version in text format

docs: mention issue #1153 fix in news file

fix: consistent error passing a row with mismatched size to copy

fix(c): respect the set_types() definitions in text format

Fix #1153

ci: enable tests on PR

They shouldn't be duplicated anymore if we develop in private forks of
the repo.

test: add test to reproduce set_types being ignored

It has been reported ignored in the C implementation in binary format. See #1153

test: longer sleep to test for idle timeout exception

The test fails semi-regularly on macOS (probably 5% of the times).

Merge pull request #1141 from wasix-org/fix/poll-rw

Fix polling for read+write

test: make AEvent.wait_timeout() return False on timeout

For better similarity to Event.wait().

fix: consider a connection closed in poll() only if it's not ready too

When closing the proxy and trying to communicate, poll returns state 25
on the connection, i.e. POLLIN | POLLERR | POLLHUP. The connection is
not closed though, so we might end up in weird state ahead (e.g. connection
stuck in ACTIVE).

Because it's suggested that the connection is readable, do read from it.
Likely a proper error will be raised downstream, but we will remain in
consistent state.

test: fix decorator to skip tests on crdb because of any db name accepted

fix(c): fix timeout calculation in select-based wait function

Because of the error, the timeout set to 0, resulting in a busy loop
instead of waiting.

Might fix #645.

ci: use working test server on macOS

macos-14 can use PostgreSQL 18. I saw a failure trying to use 17; not
sure if it's still there but 18 works fine, so bump.

macos-13 better says on 17. Trying to "brew update" it will pull a
version that will try to compile docbook and takes forever to install. I
understand that avoid an upgrade we get a version that has a binary
package ("bottled", in this deranged naming convention).

refactor: check for closed connection in wait functions

Catch and display errors in a more homogeneous way: if a wait function
finds a connection closed it will raise an OperationalError chained to
the OSError obtained from stat'ing the socket. Previously control would
have gone back to the generator with a read-ready state and it would
have failed on whatever libpq function would have touched the socket.

Fix the problem reported in #608 affecting the epoll wait function, for
which we opted to use the poll function instead (which, more simply,
made the closed fd easier to spot).

note that on Windows it's not possible to use os.fstat() to ckeck a
socket state, therefore make it no-op.

ci: test with PostgreSQL 18 final image

test: improve wait functions tests

Check for consistent behaviour and expected result. The test currently
pass on the Python module and highlight shortcoming in the C function.

Complete wait async test, generate sync version automatically.

See #1141

refactor(wait): disallow interval=None in wait functions

It is not used internally: we always use an interval to allow for
Ctrl-C. It causes ambiguity with 0, which might be a value useful for
polling.

fix: fix return values of wait_poll(), wait_epoll()

fix(c): fix polling for read+write

Merge branch 'bump-libs'

ci: add workflow to build and cache the libpq

This avoid to attempt building the libpq concurrently with every Python
version, which will make caching fail.

ci: use the system version of the cyrus-sasl library

Version 2.1.28 cannot be built in the manylinux_2_28 image, likely because of
https://github.com/cyrusimap/cyrus-sasl/issues/844.

We were building it to work around an i686 problem, but now we are not
building those images anymore, so let's try to use the packaged version.

ci: build aarch64 packages using manylinux_2_28 image

chore(binary): bump packaged versions of libpq, OpenSSL

Update DEFAULT_AUTO_FIELD setting in Django CI workflow (#1182)

* test(django): Remove DEFAULT_AUTO_FIELD setting

Refs https://github.com/django/django-docker-box/pull/59

* test(django): use DEFAULT_AUTO_FIELD for LTS4 and LTS5

Not to be used from main on.

---------

Co-authored-by: Daniele Varrazzo <daniele.varrazzo@gmail.com>

chore(deps): bump the actions group across 1 directory with 5 updates (#1181)

Bumps the actions group with 5 updates in the / directory:

| Package | From | To |
| --- | --- | --- |
| [actions/checkout](https://github.com/actions/checkout) | `4` | `5` |
| [actions/setup-python](https://github.com/actions/setup-python) | `5` | `6` |
| [peter-evans/repository-dispatch](https://github.com/peter-evans/repository-dispatch) | `3` | `4` |
| [pypa/cibuildwheel](https://github.com/pypa/cibuildwheel) | `3.1.4` | `3.2.0` |
| [actions/github-script](https://github.com/actions/github-script) | `7` | `8` |

Updates `actions/checkout` from 4 to 5
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v4...v5)

Updates `actions/setup-python` from 5 to 6
- [Release notes](https://github.com/actions/setup-python/releases)
- [Commits](https://github.com/actions/setup-python/compare/v5...v6)

Updates `peter-evans/repository-dispatch` from 3 to 4
- [Release notes](https://github.com/peter-evans/repository-dispatch/releases)
- [Commits](https://github.com/peter-evans/repository-dispatch/compare/v3...v4)

Updates `pypa/cibuildwheel` from 3.1.4 to 3.2.0
- [Release notes](https://github.com/pypa/cibuildwheel/releases)
- [Changelog](https://github.com/pypa/cibuildwheel/blob/main/docs/changelog.md)
- [Commits](https://github.com/pypa/cibuildwheel/compare/v3.1.4...v3.2.0)

Updates `actions/github-script` from 7 to 8
- [Release notes](https://github.com/actions/github-script/releases)
- [Commits](https://github.com/actions/github-script/compare/v7...v8)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-version: '5'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
- dependency-name: actions/setup-python
  dependency-version: '6'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
- dependency-name: peter-evans/repository-dispatch
  dependency-version: '4'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
- dependency-name: pypa/cibuildwheel
  dependency-version: 3.2.0
  dependency-type: direct:production
  update-type: version-update:semver-minor
  dependency-group: actions
- dependency-name: actions/github-script
  dependency-version: '8'
  dependency-type: direct:production
  update-type: version-update:semver-major
  dependency-group: actions
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

ci: fix bad expansion of an array variable in build_libpq.sh

* ci: fix bad expansion of an array variable in build_libpq.sh

The `options` array variable have been introduced in
`adb8336a392a71a3cb2ddf18bd9b17238a01a06e` but is used with `$options`
which only expand the 1st value (for bash).

The full expansion have to be done with `${options[*]}`

Note that `-shared` and `-fPIC` options are still used as they are
enabled by default by `./Configure`, but the `zlib` option is not taken
into account (disabled by default)

* ci: fix wrong command

`./configure` does not exists

Fix #1178

docs: installation docs cleanup

Note that the pure Python module is slower - apparently not obvious
enough.

Make the "editable mode strict" option looking not optional, as the
issue doesn't seem to be solved any time soon.

Various grammar and presentation improvements.

docs: drop `pq.error_message()` function from public docs

There should be no need for this function to be used by end users.

docs: document the package to install in the "from psycopg2" page

See #1156.

chore: have a scrap directory where to put work scripts light on myoy

Merge pull request #1149 from psycopg/fix/binary-copy

Fix binary copy

fix(copy): avoid sending copy data if an error is set

It would result in a partial message. The server seems to do the right
thing anyway, but let's not waste its precious time.

fix(c): fix excessive buffer allocation in binary copy

Fix #1147

chore: bump mypy, remove a now unneeded ignore

test: fix tests with master version of crdb

The server version reported is 250300. Tests fail with the error:

    psycopg.errors.OperatorIntervention: this schema change is
    disallowed because table "execmany" is locked and this operation cannot
    automatically unlock the table

    DETAIL:  To unlock the table, execute `ALTER TABLE execmany SET (schema_locked = false);`

    After the schema change completes, we recommend setting it back to
    true with `ALTER TABLE execmany SET (schema_locked = true);`.

    HINT:  Locking the table improves changefeed performance; see
    https://www.cockroachlabs.com/docs/dev/changefeed-best-practices.html#lock-the-schema-on-changefeed-watched-tables

chore(ci): bump crdb test versions

ci: run lint/tests in any branches

The `*` results in branches with a `/` excluded.

Also exclude running tests if only docs change.

Merge pull request #1166 from psycopg/fix-builtin-dumper-loader

Don't raise a warning using a builtin for JSON dumps/loads

fix: drop warning for objects passed as JSON lods/dump function

Just optimistically assume that they are ok and will not cause leaks.
The possibility of there being something else which might cause a leak
is lower than the possibility that we didn't think about something else
and raise a warning, refusing to cache the loader, and really cause a
leak.

fix: don't raise a warning using a builtin for JSON dumps/loads

These types are stable so will not leak. However they have no
code/closure dunder attr so they will raise a warning.

Fix #1165.

docs: add simple example of identifier binding with t-strings

chore: bump psycopg package version to 3.3.0.dev2

docs: mention version 3.3.0.dev1 download link in template string page

fix: typo in notifications warning

Merge pull request #1054 from psycopg/template-strings

Add template strings support.

docs: add template strings query documentation

feat: implement template strings

feat: add typing support for template strings

refactor(query): add private method to convert to bytes

refactor: move PostgresRawQuery to _queries module

test: add module to test with template strings

Skip module collection on Python version which don't support the syntax.

chore: exclude linters run on tstring test module

Currently the tooling doesn't support the syntax yet.

ci: switch to windows-2025 runners

chore: bump psycopg package version to 3.2.10

chore: isort

Merge pull request #1139 from psycopg/gssencmode-disable

Set gssencmode default to disable in binary package builds

ci: use separate build caches between psycopg 3.2 and 3.3

Introduce a suffix to change the cache key arbitrarily, to keep libpq
builds on different branches separate and not pollute each other's
cache.

fix: change default gssencmode to disable in built libpq

Fix #1136

feat: raise a warning if a GSS connection is obtained using the libpq default

Suggest the user to specify a 'gssencmode' setting explicitly so that,
in the future, we will be able to change the setting default to 'disable'.

Note: the warning in psycopg 3.3 is a runtime warning; in 3.2.x was a
deprectation warning.

See #1136

chore: restrict flake8 ignore on generated file to lines length only

Merge branch 'pg18'

feat: add `ConnectionInfo.full_protocol_version`

Add matching Capabilities methods too to allow checking if supported.

feat: add PGconn.full_protocol_version attributes

Wrap libpq 18 PQfullProtocolVersion functions.

See #1079

docs: mention PostgreSQL v18 support

ci: add PostgreSQL 18 to the test grid

chore: add PostgreSQL 18 exceptions

fix: add ConnStatus.CONNECTION_AUTHENTICATING value

Introduced in PostgreSQL 18

Merge branch 'fix-notifies-leak'

docs: document the changes to notifies generator

fix: raise a warning when notifies generator and handlers are used together

fix: collect notifies only if no handler was registered

If someone is listening to notifications by using an handler, the
notifies backlog would fill without ever being emptied.

This change has the risk of breaking something if someone is relying on
notifies being received both via callback and via generator, but I don't
know how to satisfy it without creating a leak to users who don't use the
generator. Will ask around...

Fix #1091.

Merge branch 'fix-executemany-lock'

fix: keep a lock for the entire duration of executemany

Before this change we had the lock context inside the pipeline context,
because conn.pipepline() and Pipeline.__enter/exit__ take a lock. But
this created windows of opportunities for other threads to execute
concurrent operations on the connection, resulting in "another command
is already in progress" errors.

Fix #1130.

refactor: auto-generate sync pipeline object from async one

refactor: separate sync/async pipeline in their own modules

refactor: introduce ALock/Lock in acompat

fix: fix excessive buffer resizing on int16 dump

Fix #1160