fix: sync pipeline after implicit BEGIN

Prior to this change, the following code:

    with conn.pipeline():
       conn.execute("select 'x'").fetchone()
       conn.execute("select 'y'")

would produce the following libpq trace:

    F 13 Parse  "" "BEGIN" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    F 18 Parse  "" "select 'x'" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    F 4 Flush
    B 4 ParseComplete
    B 4 BindComplete
    B 4 NoData
    B 10 CommandComplete  "BEGIN"
    B 4 ParseComplete
    B 4 BindComplete
    B 33 RowDescription  1 "?column?" NNNN 0 NNNN 65535 -1 0
    B 11 DataRow  1 1 'x'
    B 13 CommandComplete  "SELECT 1"
    F 13 Parse  "" "BEGIN" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    F 18 Parse  "" "select 'y'" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    B 4 ParseComplete
    B 4 BindComplete
    B 4 NoData
    B NN NoticeResponse  S "WARNING" V "WARNING" C "25001" M "there is already a transaction in progress" F "SSSS" L "SSSS" R "SSSS" \x00
    F 4 Sync
    B 10 CommandComplete  "BEGIN"
    B 4 ParseComplete
    B 4 BindComplete
    B 33 RowDescription  1 "?column?" NNNN 0 NNNN 65535 -1 0
    B 11 DataRow  1 1 'y'
    B 13 CommandComplete  "SELECT 1"
    B 5 ReadyForQuery  T

where we can see that the BEGIN statement (due to the connection being
in non-autocommit mode) is emitted twice, as notified by the server.

This is because the transaction state after the implicit BEGIN is not
"correct" (i.e. should be INTRANS, but is IDLE) since the result from
respective statement has not been received yet.

By syncing after the BEGIN, we fetch result from this command thus get
the transaction state INTRANS for following queries. This is similar to
what happens with explicit transaction, by using nested pipelines.

chore: bump to version number 3.1.3

Merge branch 'fix-399'

fix: fix handling of queries with %% in ClientCursor

Close #399.

#397: Fix typo in install.rst

Remove warning about missing binary package for M1

Binary packages for Apple M1 was added in #162.

Merge branch 'stream-close'

fix: make sure to terminate query on gen.close() from Cursor.stream()

Fix #382

perf: use functools.cache where available

Faster than lru_cache; use it when we don't suppose we will ever evict
values.

Merge branch 'fix-escape-nametuple-field'

docs: mention named tuples regression fix in change log

test: more exhaustive test of difficult names/attrs in composites

fix: restore pre-3.1 behaviour converting fields to named tuples attributes

Let more valid identifiers through _as_python_identifier(). Also 2.5x faster if no change is needed

Close #386

test: check unusual column names and namedtuple

fix: avoid using type variables in typevar bounds

It is not allowed by the specs. Mypy tolerates it, replacing the
argument with Any, according to @erictraut. Pyright reports it as an
error instead.

See #365, microsoft/pyright#3984

chore: upgrade mypy to 0.981

Most changes needed by https://github.com/python/typeshed/pull/8446.

docs: fix plural

docs: mention macOS arm64 packages distribution

build: fix starting Postgres in macOS build script

The brew command fails with:

    Could not enable service: 125: Domain does not support specified action
    Error: Failure while executing; `/bin/launchctl enable gui/501/homebrew.mxcl.postgresql@14` exited with 125.

docs: typo messge -> message

Thank you, codespell 💀💀💀

docs: add link to document how to recover the stream from ACTIVE state

See #382.

chore: bump to next dev version number

chore: bump to version number 3.1.2

fix: fix queries with repeated named parameters in ClientCursor

Close #378.

test: allow to trace libpq to STDERR, rename option to --pq-trace

By using STDERR, we get the trace directly in pytest output for failing
tests. Though this requires care when used in combination with
--capture=sys because this would make sys.stderr an in-memory file.

When STDERR is used, we don't insert the header since the test case
identifier will be interleaved already.

fix: also sync nested pipeline when a transaction is active

Upon enter, transaction() checks the in-transaction status to determine
if a BEGIN (when IDLE) or a SAVEPOINT (otherwise) should be inserted.
However, in pipeline mode, if the pipeline is in "implicit transaction"
(i.e. it has no active BEGIN) and statements have been sent, the
in-transaction status might be ACTIVE if those statements have not yet
completed (typically, when results have not been fetched).

By issuing a sync() before entering a nested pipeline (which will happen
when entering transaction(), if already within a pipeline), we force
completion of those statements, and thus get a predictable
in-transaction status before entering the transaction() block.

Closes #374.

test: fail test session in case of segfault

Before that, tox reruns would have made tests pass, because failed tests
wouldn't have gotten a chance to be written in the cache.

Merge branch 'fix-372'

fix(psycopg_c): propagate exceptions in Transformer.set_pgresult()

Fix #372

test: add test to verify the behavior of adapters failing init

An exception in loader init doesn't get raised and causes a segfault.
This reproduces the issue in #372.

Merge branch 'docs/pgconn'

docs: document PGconn's tracing methods

docs: document PGconn.encrypt_password()

Including an example of usage.

refactor(psycopg_c): define loggers at module level

fix(psycopg_c): add missing logger declaration

Merge branch 'fix-371'

docs: mention Windows timezone problem fixed in change log

fix: catch any type of error if ZoneInfo creation fails

OSError would be enough to solve the problem reported in #371. However,
in case of error, Windows C implementation segfaults. I would prefer to
not chase this error just because of weirdness in the tzdata external
library, so let's cast a wider net.

Fix #371

test: add bad timezone to simulate a reported timezone issue

The bad timezone causes OSError on Windows.

See #371

chore(pool): bump to next dev version number

chore: bump psycopg-pool version to 3.1.2

Merge branch 'fix-370'

fix(pool): continue growing if the pool is not full yet

Previously, starting from an empty pool, we would have stopped at the
first connection created.

fix(pool): allow growing again after failing a growing connection attempt

Fix #370

chore: bump to next dev version number

chore: bump to version number 3.1.1

Merge branch 'macos-broken'

docs: add news entry about Homebrew fix

refactor: add find_libpq_full_path() to use both in library and tests

fix(macos): find the libpq in non-standard places

chore: upgrade QEMU to v2 for build

Also make sure to use a version not affected by bug #304

fix: make sure to pass a port number to getaddrinfo

Was passing an empty string by mistake, if no port was specified. Mostly
not a problem, except on some platforms, where it causes an
"unrecognized service" error.

Close #366.

Bump to next dev release

docs: fix title level in news

chore: bump version number to release 3.1

chore: bump to version 3.0.17

Merge branch 'crdb-ci'

ci: run CRDB tests in CI

test(crdb): consider Decimal("Infinity") not supported in CRDB < 22

test(crdb) Skip tests affected by BEGIN READ ONLY bug

The connection doesn't go in read-only mode if the statement is executed
using the advanced protocol.

See https://github.com/cockroachdb/cockroach/issues/87012

fix: load bytea as bytes, not memoryview, in Python implementation

chore(crdb): fix file name where to update OIDs

fix: use a "finally" to clear the result pointer after handling notifies

The chance for this to fail failed is slim (an error in the logger? A
ctrl-c just there?) but a bit of paranoia has never hurt anyone.

perf(pq_ctypes): use the faster byref() rather than pointer()

Merge branch 'pgnotifyfixes'

docs: add entry about segfault on fork fixed

fix: use a static notification function for PQsetNoticeReceiver.

The connection is passed via the optional *arg.

Fixes #300

build: build ldap with sasl and ssl support

Pass the libpq build prefix to configure in order to find just built
libraries.

build: upgrade system packages before building libpq

chore: bump version to 3.1 beta 1 to test building packages

chore: upgrade libpq dependencies

docs: fix link to numeric-to-float recipe

fix: avoid all uses of PQconn.send_query in pipeline mode

We stopped using it in normal querying because, until libpq 14.4, the
libpq complained about "message type 0x33 arrived from server while
idle" (see #314). But usage remained for internal queries such as BEGIN.

In libpq 14.5, Postgres devs tried to fix the issue... and broke
PQsendQuery altogether :(

Hopefully the issue will be solved in future libpq versions, but we can
work around it completely.

Close #350.

feat: add pq._debug module to investigate libpq issues

ci: don't install modules in editable mode to run packages test

Something else that broke after setuptools 64 release. See tox-dev/tox#2479
for more details.

Reported something at pypa/setuptools#3557

test: add missing asserts

chore: fix typos spotted by codespell 2.2.1

Fix typo: shoul => should

docs: fix a typo in FileWriter docstring

fix: consider pipeline mode not supported with libpq 14.5

Improve diagnostics about the reason why the pipeline mode is not
supported. Improve not supported tests.

test: allow to use the != operator in make.libpq

feat: use version() as __build_version__ for pq python implementation

Having __build_version__ to be null makes version checking needlessly
convoluted and version() has to be used anyway as fallback.

refactor(psycopg_c): define and use an ARRAYSIZE macro

refactor(psycopg_c): drop deprecated use of DEF in Cython

See cython/cython#4310

perf(psycopg_c): avoid to create a tuple in fetch_many() loop

refactor: expose optimized functions directly from the origin modules

Don't check for the availability of the optimized module in every module
using potentially optimized functions.

fix(psycopg_c): guard PQflush calls for invalid connections

Unlike other libpq functions, PQflush() doesn't have a guard for invalid
connections and will segfault if the connection gets closed.

Also check the return value of the PQflush calls: as we are not using
the wrapped version pgconn.flush(), the function doesn't automatically
throw an exception on failure.

chore: use `license_files` entry in metadata

`license_file` is deprecated.

ci: specify non-editable install in tox tests

Work around tox-dev/tox#2479 (editable installs in tox broken by setuptools
v64) and tox-dev/tox#2480 (failure to use `toxinidir` in `deps`).

Use -e consistently in the linting steps instead, because they are
defined with skip_install=True so it seems a good idea to use it. These
steps don't seem affect by the setuptools issue.

refactor: drop repeated operation in sync/async TypeInfo.fetch()

docs: fix typo "flaot"

docs: reword blurb about binary copy and make it a warning

docs: fix typo: "reurned"

Reurned... ⚱️ ->⚱️

docs: fix example and reword around multiple-query statements

docs: link to the "from psycopg2" page from the "basic usage" top section

docs: quote examples of pip install with extras

zsh doesn't parse the square brackets as expected.

See #347.

Fix syntax in example

build: use "latest" version of github builders

Merge branch 'build-macos-arm64'

docs: mention macOS arm64 build script in news file