fix: use the simple query protocol to execute BEGIN/COMMIT out of pipeline

We started using the extended protocol in e5079184 to fix #350, but,
probably to keep symmetry, we also changed the behaviour out of the
pipeline.

This turns out to be a problem for people connecting to the PgBouncer
admin console. They can use the `ClientCursor`, which tries to use the
simple protocol as much as it can, but they currently have to use
autocommit. With this changeset autocommit shouldn't be needed anymore.
See #808.

chore: don't codespell html files

chore: bump psycopg package version to 3.1.20.dev1

chore: bump psycopg package version to 3.1.19

chore(crdb): upgrade types to v23.1

ci(macos): test and build macOS packages on M1 runners

Separate macos runners because:

The macos-14 runner can build amd64 images, but doesn't have Python <
3.10.

The macos-12 runner can only build x86_64 images.

Run Postgres from CI rather than from cibuildwheel, as cibw won't use a
docker image on macOS anyway. It makes it more uniform w.r.t. other
runners and doesn't require a "before" script.

Merge branch 'fix-745' into maint-3.1

perf(copy): only flush at every row on copy on macOS

Using some benchmark, it seems on Linux performances are worse.

Must look into how Windows behave.

Improve performance of copy

test(copy): add minimal copy benchmark framework

Merge branch 'fix-734' into maint-3.1

fix(c): solve undefined behaviour caused by unaligned access

Close #734

ci: add test to check for misaligned memory access

fix: fix handling of floating point values for connect_timeout

Merge pull request #758 from psycopg/fix-752

More careful stripping of error prefixes

chore: move codespell configuration to pyproject.toml

Configuration updated to ignore false positives in the errors l10n regexp.

fix: more careful stripping of error prefixes

Only strip the known prefixes, both in English and in the currently
known localizations.

Added script to generate regexp to match every backend localization. The
script was executed on PostgreSQL commit f4ad0021af (on master branch,
before v17).

Close #752.

test: add pool package to django tests

It seems needed in the current main branch.

docs: fix a typo in FinishedPGconn docstring

fix: avoid to create reference loops in datetime adapters

Setting the reference to a bound method in the state creates a reference
loop.

The issue is minimal because the gc will be able to break these loops
anyway and because it mostly happens with exotic or unsupported
date/interval styles.

chore: bump psycopg package version to 3.1.19.dev1

chore: bump psycopg package version to 3.1.18

fix(c): drop spurious loop break in pipeline_communicate

This makes the Python and the C implementation more similar. The
difference was unexpected but apparently harmless. See #431

chore: bump cibuildwheel version

It should fix an error building Windows wheel
https://github.com/pypa/cibuildwheel/issues/1740

chore: bump checkout action to v4

docs: fix tickets format

Merge branch 'musl-ctypes' into maint-3.1

docs: mention musl-ctypes workaround in news file

fix: add `libc.so` fallback for musl systems to the ctypes impl

Add a fallback to `libc.so` library name to fix loading the ctypes
implementation on musl systems.  On musl, `find_library("c")` does
not work (the problem has been reported to CPython in 2014, and has not
been resolved yet), causing the module to fail on `assert libcname`.
Instead, add a fallback to using `libc.so` and let ctypes raise
an exception if such a library does not exist.

test: drop ineffective marker on fixture

Previously ignored, it has become an error in PyTest 8.

Merge branch 'fix-interval-overflow' into maint-3.1

docs: add release note about interval overflow fix

fix(c): don't overflow intervals on windows either

In MSVC, long is 4 bytes. Should use long long instead. int64_t is more
understandable.

fix(c): use long for seconds to prevent IntervalLoader from overflowing

if the given interval is too long for a regular int it will become
negative an cause inconsistencies with the regular python implementation

chore: bump black to 24.1.0

Merge pull request #722 from psycopg/fix-deadlock-on-pipeline-exit

Fix deadline on pipeline exit

fix: force a sync exiting the pipeline mode

Without it there may be a deadlock and we would be waiting to fetch a
result that will never come.

Close #685.

chore: bump psycopg package version to 3.1.18.dev1

ci: revert upload action to v3

v4 requires to have every uploaded artifact in a separate directory.

- https://github.com/actions/upload-artifact/issues/478
- https://github.com/actions/upload-artifact/blob/main/docs/MIGRATION.md

chore: bump psycopg package version to 3.1.17

chore(c): add missing enum entries

docs: add note about checking enums and docs on PostgreSQL update

Merge branch 'fix-699' into maint-3.1

fix: perform multiple attemps if a host name resolve to multiple hosts

We now perform DNS resolution in Python both in the sync and async code.
Because the two code paths are now very similar, make sure they pass the
same tests.

Close #699.

refactor(test): make resolution monkeypatching common fixtures

refactor: separate ConnectionInfo object from conninfo module

It was there just because the name is similar, but its purpose is
entirely different.

chore: upload github actions dependencies

refactor: use Self to represent the return from `BaseConnection._connect_gen()`

chore: drop unneeded type annotations on self

refactor: use typing.Self

The object seems available for all the supported Python version and
should avoid problems with PyRight (see #708).

It is not a solution for #308 because we cannot use `Self[Row]`.

test: add async driver to sqlalchemy pipeline

chore: bump psycopg package version to 3.1.17.dev1

chore: bump psycopg package version to 3.1.16

fix: fix empty ports handling in async multiple connection attempts

Close #703.

chore: bump psycopg package version to 3.1.16.dev1

chore: include codespell in dev dependencies

chore: bump psycopg package version to 3.1.15

Merge pull request #700 from psycopg/fix-service-file

refactor: add compiled_default option to _get_params

Make it less awkward to come out with a 5432 when we really want a port
number (in name resolution) but still allow to leave it unspecified to
avoid mangling the conninfo.

fix: honour the PGLOADBALANCEHOSTS env var

fix: honour the PGCONNECT_TIMEOUT env var

fix: set minimum timeout to 2s

This is consistent with what the libpq does.

Move timeout calculation to a function in conninfo module and don't
change the connect_timeout parameter explicitly in the connection
string.

Drop awful drop_default_args_from_conninfo() from tests.

fix: add debug logging when a connection attempt is discarded

refactor: return lists from conninfo attempt functions

fix: shuffle attempts when one host resolves to more than one IP

This behaviour (first resolve all the hosts, then shuffle the IPs) mimics
better what the libpq does in non-async mode.

fix: don't add defaults to connection strings

A default such as empty string for host may may shadow values defined in
a service file.

Fix #694.

fix: fix iteration resolving hosts with multiple IP addresses in async mode

Fix #695 (not 100% sure, but probably).

test: mark a couple of test slow

Sub-second, but noticeable glitches in my stream of green dots.

test: mark flaky ref count tests

All tests that have the 'gc' fixture are now marked with the refcount mark. The
reasoning is that they demonstrate flaky behaviour and disabling them in
certain CI is necessary to ensure reliable testing. See #692

docs: fix doc about the module gevent needs to patch

chore: bump psycopg package version to 3.1.15.dev1

chore: bump psycopg package version to 3.1.14

Merge branch 'pypy-3.1' into maint-3.1

test: skip some tests that raise an error on pypy 3.9

The error is:

    anyio/_backends/_asyncio.py:2039: in _cancel_all_tasks
        raise cast(BaseException, task.exception())
    ...
    >               result = coro.throw(exc)
    E               RuntimeError: can't do async_generator.athrow().throw()

The error only happens on Pypy 3.9, and doesn't happen on master, only
in the maint 3.1 branch. 3.1 uses anyio < 4, master uses anyio >= 4, so
I would say that the error is limited to only this combination and that
it is an anyio bug.

The problem affects just two tests, so let's just skip them. Whatever.

chore: add support for PyPy.

Merge branch 'fix-gevent' into maint-3.1

refactor: use `yield from` in connections attempts

ci: test gevent integration

fix: ensure gevent collaboration

Close #527

test: let pytest show more info in summary

We add '-ra' to pytest options so as to get report about "(a)ll except
passed" tests. This is in particular useful to get the detailed message
about why some tests got skipped (especially useful in CI).

Merge pull request #683 from mweinelt/connect-env-maint-3.1

test: fix test failing to connect if env vars are cleaned

Add `dsn_env` fixture returning the `dsn` merged with the values in the
PG* env vars. This way the env can be cleaned but a working connection
string is still available.

fix: flush PG environment variables in test_connect{,_args}

These tests were previously affected by environment variables, that can
be used to configure a postgresql instance.

Closes: #681

chore(ci): use existing macos11 packages in macOS arm build

chore: bump psycopg package version to 3.1.13

fix: plug memory leak receiving notifications in python libpq wrapper

Close #679.

Merge branch 'fix-multiple-hosts-3.1' into maint-3.1

chore: drop conninfo.resolve_hostaddr_async

The function is no more used internally and only exposed from the _dns
module with a warning. Its implementation is now an application of a few
internal functions exposed internally by the conninfo module. Move the
whole implementation into _dns.

fix: add support for the 'load_balance_hosts' connection parameter

test: test conninfo attempts functions and multiple host support in connection

feat: explicitly iterate on multiple hosts on connections

The libpq async connection path doesn't iterate on the attempts, so we
need to do it ourselves.

refactor: introduce support function to split connection attempts

Refactor the `resolve_hostaddr_async()` function to make use of such
facilities.

refactor: move setting autocommit on connection out of _connect_gen

chore: bump min Python version tested with SQLAlchemy to 3.8

chore: refresh 3rd party tests

- upgrade Python to 3.12
- test stable version of SQLAlchemy 2
- add missing SQLAlchemy test dependency

Testing Django with Python 3.12 not enabled yet as it requires pylibmc wheel
packages for Python 3.12 (https://github.com/lericson/pylibmc/issues/288).

chore: bump psycopg_pool package version to 3.1.10.dev1

chore: bump psycopg_pool package version to 3.1.9

fix(bump_version): fix bumping minor version with dev releases

chore(macos): build images with more recent Python versions

Merge branch 'fix-667-3.1' into maint-3.1