parent 4ccc131669ff4d5e67b7a93cbd7c7c413a172411
author Martin Baláž <embeembe@gmail.com> 1706272912 +0100
committer Daniele Varrazzo <daniele.varrazzo@gmail.com> 1706783634 +0000

feat: add `scalar_row` factory

Close #723

fix: fix wait_async with timeout 0

Revert "Merge branch 'conn-generator-refactoring'"

This reverts commit 70790e3f19a13c025f1abebeb0c64cb13cf26c8f, reversing
changes made to c25b8409221d05d371c51eceebef6970eb33ffa0.

Merge branch 'conn-generator-refactoring'

refactor: rename wait functions 'timeout' parameter to 'interval'

refactor: handle timeout in the connection generator, not the waiting function

The waiting function is supposed to be generic, the timeout is a policy
decision of the generator.

This change aligns the semantics of the `timeout` parameter of `wait_conn()`
to the one of the other wait functions: the timeout is actually an
interval. It will be renamed to clarify that in a followup commit.

Merge branch 'interruptable-notify'

docs: add docs about timeout and stop_after notification parameters

feat: add `timeout` and `stop_after` parameters to Connection.notifies

Close #340

fix: only cancel query on interrupt if the connection is in active state

fix: include timeout as part of the generators/wait conversation

So far, the wait functions would have shielded the generators from a
wait timeout. However this behaviour makes impossible to make a
generator interruptible.

Note that the `wait_c` generator was interruptible, but probably it
wasn't doing the right thing. In the `poll` branch, I understand that
the returned ready value, in case of timeout, would have been the same
of the input wait value, because of the input/output nature of the
pollfd struct; I haven't analyzed more deeply the select() case.

docs: fix tickets format

Merge pull request #725 from mgorny/musl-ctypes

docs: mention musl-ctypes workaround in news file

fix: add `libc.so` fallback for musl systems to the ctypes impl

Add a fallback to `libc.so` library name to fix loading the ctypes
implementation on musl systems.  On musl, `find_library("c")` does
not work (the problem has been reported to CPython in 2014, and has not
been resolved yet), causing the module to fail on `assert libcname`.
Instead, add a fallback to using `libc.so` and let ctypes raise
an exception if such a library does not exist.

test: drop ineffective marker on fixture

Previously ignored, it has become an error in PyTest 8.

Merge branch 'no-conn-composible'

feat: allow no connection parameter in sql.Composible.as_string()/as_bytes()

Close #716

feat: allow Identifier.as_string() and as_bytes() to take no connection

Merge pull request #720 from enapupe/fix-interval-overflow

fix: use long for seconds to prevent IntervalLoader from overflowing

docs: add release note about interval overflow fix

fix(c): don't overflow intervals on windows either

In MSVC, long is 4 bytes. Should use long long instead. int64_t is more
understandable.

fix(c): use long for seconds to prevent IntervalLoader from overflowing

if the given interval is too long for a regular int it will become
negative an cause inconsistencies with the regular python implementation

chore: bump black to 24.1.0

Merge branch 'fix-deadlock-on-pipeline-exit'

fix: force a sync exiting the pipeline mode

Without it there may be a deadlock and we would be waiting to fetch a
result that will never come.

Close #685.

feat: add ConnDict, ConnParam to abc module

Formalize the type of parameter to pass to the libq.

ConnMapping is required when a covariant type is needed.

refactor: move TypeAlias back to _compat module

It was imported directly by typing_extensions to work around
https://github.com/microsoft/pyright/issues/4197
but the issue has been fixed in pyright 1.1.297, released almost one
year ago.

chore: bump psycopg_pool package version to 3.2.1

chore: bump psycopg package version to 3.1.17

ci: revert upload action to v3

v4 requires to have every uploaded artifact in a separate directory.

- https://github.com/actions/upload-artifact/issues/478
- https://github.com/actions/upload-artifact/blob/main/docs/MIGRATION.md

chore(c): add missing enum entries

docs: add note about checking enums and docs on PostgreSQL update

Merge branch 'fix-699-master'

refactor: generate conninfo attempts from async counterpart

fix: perform multiple attemps if a host name resolve to multiple hosts

We now perform DNS resolution in Python both in the sync and async code.
Because the two code paths are now very similar, make sure they pass the
same tests.

Close #699.

refactor(test): make resolution monkeypatching common fixtures

refactor: separate ConnectionInfo object from conninfo module

It was there just because the name is similar, but its purpose is
entirely different.

style: drop unneeded function definition split

chore: upload github actions dependencies

Merge branch 'fix-709'

refactor(pool): rename ConnectionAttempt as AttemptWithBackoff

This class implements the backoff + jitter policy and is now used to
repeat checks too.

fix(pool): use an exponential backoff to separate failing checks

This is a consistent behaviour with with the exponential backoff used in
reconnection attempts, and actually we could reuse the same object
implementing the backoff + jitter.

See also #709

fix(pool): respect timeout on getconn() when the check function fails

Close #709.

Merge branch 'fix-308'

refactor(pool): avoid constructor overloading by using generic default

refactor: drop overloading of the Connection.connect() function

The default for the Row TypeVar makes it redundant.

fix: define the Row TypeVar as defaulting to TupleRow

This allows to return `Self` uniformly from the `Connection.connect()` class
method, which in turns allows to subclass the connection without the
need of redefining the complex signature.

Close #308

refactor: use TypeVar from typing_extension

This includes the default parameter, which should fix the problem of the
awkward definition of Row defaulting to TupleRow.

refactor: use Self to represent the return from `BaseConnection._connect_gen()`

chore: drop unneeded type annotations on self

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

test: add async driver to sqlalchemy pipeline

chore: bump psycopg package version to 3.1.16

fix: fix empty ports handling in async multiple connection attempts

Close #703.

chore: bump ast_commment version

Drop workarounds for a couple of bugs which have been fixed upstream.

Force re-generation of the docker image when the ast_comment module changes.

docs: improvement to the Cursor docs

docs: add section about concurrency

chore: include codespell in dev dependencies

chore: bump psycopg package version to 3.1.15

Merge branch 'fix-service-file'

refactor: add compiled_default option to _get_params

Make it less awkward to come out with a 5432 when we really want a port
number (in name resolution) but still allow to leave it unspecified to
avoid mangling the conninfo.

fix: honour the PGLOADBALANCEHOSTS env var

fix: honour the PGCONNECT_TIMEOUT env var

fix: set minimum timeout to 2s

This is consistent with what the libpq does.

Move timeout calculation to a function in conninfo module and don't
change the connect_timeout parameter explicitly in the connection
string.

Drop awful drop_default_args_from_conninfo() from tests.

fix: add debug logging when a connection attempt is discarded

refactor: return lists from conninfo attempt functions

fix: shuffle attempts when one host resolves to more than one IP

This behaviour (first resolve all the hosts, then shuffle the IPs) mimics
better what the libpq does in non-async mode.

fix: don't add defaults to connection strings

A default such as empty string for host may may shadow values defined in
a service file.

Fix #694.

fix: fix iteration resolving hosts with multiple IP addresses in async mode

Fix #695 (not 100% sure, but probably).

test: mark a couple of test slow

Sub-second, but noticeable glitches in my stream of green dots.

test: mark flaky ref count tests

All tests that have the 'gc' fixture are now marked with the refcount mark. The
reasoning is that they demonstrate flaky behaviour and disabling them in
certain CI is necessary to ensure reliable testing. See #692

docs: fix doc about the module gevent needs to patch

chore: bump psycopg package version to 3.1.14

Merge branch 'pypy'

test: add gc fixtures to skip tests on PyPy more easily

chore: add support for PyPy.

Merge branch 'fix-gevent'

ci: test gevent integration

fix: ensure gevent collaboration

Close #527

test: let pytest show more info in summary

We add '-ra' to pytest options so as to get report about "(a)ll except
passed" tests. This is in particular useful to get the detailed message
about why some tests got skipped (especially useful in CI).

refactor: use `yield from` in connections attempts

Merge pull request #682 from mweinelt/clear-pg-env-when-testing-connect

test: fix test failing to connect if env vars are cleaned

Add `dsn_env` fixture returning the `dsn` merged with the values in the
PG* env vars. This way the env can be cleaned but a working connection
string is still available.

fix: flush PG environment variables in test_connect{,_args}

These tests were previously affected by environment variables, that can
be used to configure a postgresql instance.

Closes: #681

test: allow importing the tests module on master with Psycopg 3.1

Useful to test the master version of the pool with a released version of
psycopg.

chore(ci): use existing macos11 packages in macOS arm build

chore: bump psycopg package version to 3.1.13

fix: plug memory leak receiving notifications in python libpq wrapper

Close #679.

Merge pull request #675 from psycopg/fix-multiple-hosts

Fix handling of multiple hosts

chore: drop conninfo.resolve_hostaddr_async

The function is no more used internally and only exposed from the _dns
module with a warning. Its implementation is now an application of a few
internal functions exposed internally by the conninfo module. Move the
whole implementation into _dns.

fix: add support for the 'load_balance_hosts' connection parameter

test: test conninfo attempts functions and multiple host support in connection

feat: explicitly iterate on multiple hosts on connections

The libpq async connection path doesn't iterate on the attempts, so we
need to do it ourselves.

refactor: introduce support function to split connection attempts

Refactor the `resolve_hostaddr_async()` function to make use of such
facilities.

refactor: move setting autocommit on connection out of _connect_gen

chore: refresh 3rd party tests

- upgrade Python to 3.12
- test stable version of SQLAlchemy 2
- add missing SQLAlchemy test dependency

Testing Django with Python 3.12 not enabled yet as it requires pylibmc wheel
packages for Python 3.12 (https://github.com/lericson/pylibmc/issues/288).

docs(pool): document 3.1.9 as released

Packages being baked now.

Merge branch 'test-pool-3.2-psycopg-3.1'

ci: test psycopg pool package with released a psycopg version