feat(tools): check last modification times in async_to_sync.py

We now only process _async.py files with a modification time higher than
their sync counterpart. A -B,--convert-all option is added to force
conversion of all (specified) input files and skip last-modification
time check.

feat(tools): add a -L,--log-level option to async_to_sync.py

We'll use DEBUG messages in the next commit.

feat(tools): run async_to_sync.py concurrently

Multi-processing is used by default (using all available processors),
but can be disabled or limited with the -j/--jobs option.

test: add pool package to django tests

It seems needed in the current main branch.

docs: fix a typo in FinishedPGconn docstring

docs: fix missing `async` in example

Close #740.

docs(pool): reorder sections in a way that makes more sense

docs(pool): add box warning against opening async pools on init

fix(pool): make opening an async connection pool in the constructor a runtime warning

Deprecation warnings are ignored by default and easy to miss.

Close #737.

ci: skip refcount tests on scheduled jobs

fix: avoid to create reference loops in datetime adapters

Setting the reference to a bound method in the state creates a reference
loop.

The issue is minimal because the gc will be able to break these loops
anyway and because it mostly happens with exotic or unsupported
date/interval styles.

docs: fix typo in release notes

chore: bump psycopg package version to 3.1.18

fix(c): drop spurious loop break in pipeline_communicate

This makes the Python and the C implementation more similar. The
difference was unexpected but apparently harmless. See #431

tests: don't depend on ConnDict

Added in 3.2, so can't run the pool tests using Psycopg 3.1

chore: bump checkout action to v4

chore: bump cibuildwheel version

It should fix an error building Windows wheel
https://github.com/pypa/cibuildwheel/issues/1740

Merge pull request #724

parent 4ccc131669ff4d5e67b7a93cbd7c7c413a172411
author Martin Baláž <embeembe@gmail.com> 1706272912 +0100
committer Daniele Varrazzo <daniele.varrazzo@gmail.com> 1706783634 +0000

feat: add `scalar_row` factory

Close #723

fix: fix wait_async with timeout 0

Revert "Merge branch 'conn-generator-refactoring'"

This reverts commit 70790e3f19a13c025f1abebeb0c64cb13cf26c8f, reversing
changes made to c25b8409221d05d371c51eceebef6970eb33ffa0.

Merge branch 'conn-generator-refactoring'

refactor: rename wait functions 'timeout' parameter to 'interval'

refactor: handle timeout in the connection generator, not the waiting function

The waiting function is supposed to be generic, the timeout is a policy
decision of the generator.

This change aligns the semantics of the `timeout` parameter of `wait_conn()`
to the one of the other wait functions: the timeout is actually an
interval. It will be renamed to clarify that in a followup commit.

Merge branch 'interruptable-notify'

docs: add docs about timeout and stop_after notification parameters

feat: add `timeout` and `stop_after` parameters to Connection.notifies

Close #340

fix: only cancel query on interrupt if the connection is in active state

fix: include timeout as part of the generators/wait conversation

So far, the wait functions would have shielded the generators from a
wait timeout. However this behaviour makes impossible to make a
generator interruptible.

Note that the `wait_c` generator was interruptible, but probably it
wasn't doing the right thing. In the `poll` branch, I understand that
the returned ready value, in case of timeout, would have been the same
of the input wait value, because of the input/output nature of the
pollfd struct; I haven't analyzed more deeply the select() case.

docs: fix tickets format

Merge pull request #725 from mgorny/musl-ctypes

docs: mention musl-ctypes workaround in news file

fix: add `libc.so` fallback for musl systems to the ctypes impl

Add a fallback to `libc.so` library name to fix loading the ctypes
implementation on musl systems.  On musl, `find_library("c")` does
not work (the problem has been reported to CPython in 2014, and has not
been resolved yet), causing the module to fail on `assert libcname`.
Instead, add a fallback to using `libc.so` and let ctypes raise
an exception if such a library does not exist.

test: drop ineffective marker on fixture

Previously ignored, it has become an error in PyTest 8.

Merge branch 'no-conn-composible'

feat: allow no connection parameter in sql.Composible.as_string()/as_bytes()

Close #716

feat: allow Identifier.as_string() and as_bytes() to take no connection

Merge pull request #720 from enapupe/fix-interval-overflow

fix: use long for seconds to prevent IntervalLoader from overflowing

docs: add release note about interval overflow fix

fix(c): don't overflow intervals on windows either

In MSVC, long is 4 bytes. Should use long long instead. int64_t is more
understandable.

fix(c): use long for seconds to prevent IntervalLoader from overflowing

if the given interval is too long for a regular int it will become
negative an cause inconsistencies with the regular python implementation

chore: bump black to 24.1.0

Merge branch 'fix-deadlock-on-pipeline-exit'

fix: force a sync exiting the pipeline mode

Without it there may be a deadlock and we would be waiting to fetch a
result that will never come.

Close #685.

feat: add ConnDict, ConnParam to abc module

Formalize the type of parameter to pass to the libq.

ConnMapping is required when a covariant type is needed.

refactor: move TypeAlias back to _compat module

It was imported directly by typing_extensions to work around
https://github.com/microsoft/pyright/issues/4197
but the issue has been fixed in pyright 1.1.297, released almost one
year ago.

chore: bump psycopg_pool package version to 3.2.1

chore: bump psycopg package version to 3.1.17

ci: revert upload action to v3

v4 requires to have every uploaded artifact in a separate directory.

- https://github.com/actions/upload-artifact/issues/478
- https://github.com/actions/upload-artifact/blob/main/docs/MIGRATION.md

chore(c): add missing enum entries

docs: add note about checking enums and docs on PostgreSQL update

Merge branch 'fix-699-master'

refactor: generate conninfo attempts from async counterpart

fix: perform multiple attemps if a host name resolve to multiple hosts

We now perform DNS resolution in Python both in the sync and async code.
Because the two code paths are now very similar, make sure they pass the
same tests.

Close #699.

refactor(test): make resolution monkeypatching common fixtures

refactor: separate ConnectionInfo object from conninfo module

It was there just because the name is similar, but its purpose is
entirely different.

style: drop unneeded function definition split

chore: upload github actions dependencies

Merge branch 'fix-709'

refactor(pool): rename ConnectionAttempt as AttemptWithBackoff

This class implements the backoff + jitter policy and is now used to
repeat checks too.

fix(pool): use an exponential backoff to separate failing checks

This is a consistent behaviour with with the exponential backoff used in
reconnection attempts, and actually we could reuse the same object
implementing the backoff + jitter.

See also #709

fix(pool): respect timeout on getconn() when the check function fails

Close #709.

Merge branch 'fix-308'

refactor(pool): avoid constructor overloading by using generic default

refactor: drop overloading of the Connection.connect() function

The default for the Row TypeVar makes it redundant.

fix: define the Row TypeVar as defaulting to TupleRow

This allows to return `Self` uniformly from the `Connection.connect()` class
method, which in turns allows to subclass the connection without the
need of redefining the complex signature.

Close #308

refactor: use TypeVar from typing_extension

This includes the default parameter, which should fix the problem of the
awkward definition of Row defaulting to TupleRow.

refactor: use Self to represent the return from `BaseConnection._connect_gen()`

chore: drop unneeded type annotations on self

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

test: add async driver to sqlalchemy pipeline

chore: bump psycopg package version to 3.1.16

fix: fix empty ports handling in async multiple connection attempts

Close #703.

chore: bump ast_commment version

Drop workarounds for a couple of bugs which have been fixed upstream.

Force re-generation of the docker image when the ast_comment module changes.

docs: improvement to the Cursor docs

docs: add section about concurrency

chore: include codespell in dev dependencies

chore: bump psycopg package version to 3.1.15

Merge branch 'fix-service-file'

refactor: add compiled_default option to _get_params

Make it less awkward to come out with a 5432 when we really want a port
number (in name resolution) but still allow to leave it unspecified to
avoid mangling the conninfo.

fix: honour the PGLOADBALANCEHOSTS env var

fix: honour the PGCONNECT_TIMEOUT env var

fix: set minimum timeout to 2s

This is consistent with what the libpq does.

Move timeout calculation to a function in conninfo module and don't
change the connect_timeout parameter explicitly in the connection
string.

Drop awful drop_default_args_from_conninfo() from tests.

fix: add debug logging when a connection attempt is discarded

refactor: return lists from conninfo attempt functions

fix: shuffle attempts when one host resolves to more than one IP

This behaviour (first resolve all the hosts, then shuffle the IPs) mimics
better what the libpq does in non-async mode.

fix: don't add defaults to connection strings

A default such as empty string for host may may shadow values defined in
a service file.

Fix #694.

fix: fix iteration resolving hosts with multiple IP addresses in async mode

Fix #695 (not 100% sure, but probably).

test: mark a couple of test slow

Sub-second, but noticeable glitches in my stream of green dots.

test: mark flaky ref count tests

All tests that have the 'gc' fixture are now marked with the refcount mark. The
reasoning is that they demonstrate flaky behaviour and disabling them in
certain CI is necessary to ensure reliable testing. See #692

docs: fix doc about the module gevent needs to patch

chore: bump psycopg package version to 3.1.14

Merge branch 'pypy'

test: add gc fixtures to skip tests on PyPy more easily

chore: add support for PyPy.

Merge branch 'fix-gevent'

ci: test gevent integration

fix: ensure gevent collaboration

Close #527

test: let pytest show more info in summary

We add '-ra' to pytest options so as to get report about "(a)ll except
passed" tests. This is in particular useful to get the detailed message
about why some tests got skipped (especially useful in CI).

refactor: use `yield from` in connections attempts