test: allow to trace libpq to STDERR, rename option to --pq-trace

By using STDERR, we get the trace directly in pytest output for failing
tests. Though this requires care when used in combination with
--capture=sys because this would make sys.stderr an in-memory file.

When STDERR is used, we don't insert the header since the test case
identifier will be interleaved already.

fix: also sync nested pipeline when a transaction is active

Upon enter, transaction() checks the in-transaction status to determine
if a BEGIN (when IDLE) or a SAVEPOINT (otherwise) should be inserted.
However, in pipeline mode, if the pipeline is in "implicit transaction"
(i.e. it has no active BEGIN) and statements have been sent, the
in-transaction status might be ACTIVE if those statements have not yet
completed (typically, when results have not been fetched).

By issuing a sync() before entering a nested pipeline (which will happen
when entering transaction(), if already within a pipeline), we force
completion of those statements, and thus get a predictable
in-transaction status before entering the transaction() block.

Closes #374.

test: fail test session in case of segfault

Before that, tox reruns would have made tests pass, because failed tests
wouldn't have gotten a chance to be written in the cache.

Merge branch 'fix-372'

fix(psycopg_c): propagate exceptions in Transformer.set_pgresult()

Fix #372

test: add test to verify the behavior of adapters failing init

An exception in loader init doesn't get raised and causes a segfault.
This reproduces the issue in #372.

Merge branch 'docs/pgconn'

docs: document PGconn's tracing methods

docs: document PGconn.encrypt_password()

Including an example of usage.

refactor(psycopg_c): define loggers at module level

fix(psycopg_c): add missing logger declaration

Merge branch 'fix-371'

docs: mention Windows timezone problem fixed in change log

fix: catch any type of error if ZoneInfo creation fails

OSError would be enough to solve the problem reported in #371. However,
in case of error, Windows C implementation segfaults. I would prefer to
not chase this error just because of weirdness in the tzdata external
library, so let's cast a wider net.

Fix #371

test: add bad timezone to simulate a reported timezone issue

The bad timezone causes OSError on Windows.

See #371

chore(pool): bump to next dev version number

chore: bump psycopg-pool version to 3.1.2

Merge branch 'fix-370'

fix(pool): continue growing if the pool is not full yet

Previously, starting from an empty pool, we would have stopped at the
first connection created.

fix(pool): allow growing again after failing a growing connection attempt

Fix #370

chore: bump to next dev version number

chore: bump to version number 3.1.1

Merge branch 'macos-broken'

docs: add news entry about Homebrew fix

refactor: add find_libpq_full_path() to use both in library and tests

fix(macos): find the libpq in non-standard places

chore: upgrade QEMU to v2 for build

Also make sure to use a version not affected by bug #304

fix: make sure to pass a port number to getaddrinfo

Was passing an empty string by mistake, if no port was specified. Mostly
not a problem, except on some platforms, where it causes an
"unrecognized service" error.

Close #366.

Bump to next dev release

docs: fix title level in news

chore: bump version number to release 3.1

chore: bump to version 3.0.17

Merge branch 'crdb-ci'

ci: run CRDB tests in CI

test(crdb): consider Decimal("Infinity") not supported in CRDB < 22

test(crdb) Skip tests affected by BEGIN READ ONLY bug

The connection doesn't go in read-only mode if the statement is executed
using the advanced protocol.

See https://github.com/cockroachdb/cockroach/issues/87012

fix: load bytea as bytes, not memoryview, in Python implementation

chore(crdb): fix file name where to update OIDs

fix: use a "finally" to clear the result pointer after handling notifies

The chance for this to fail failed is slim (an error in the logger? A
ctrl-c just there?) but a bit of paranoia has never hurt anyone.

perf(pq_ctypes): use the faster byref() rather than pointer()

Merge branch 'pgnotifyfixes'

docs: add entry about segfault on fork fixed

fix: use a static notification function for PQsetNoticeReceiver.

The connection is passed via the optional *arg.

Fixes #300

build: build ldap with sasl and ssl support

Pass the libpq build prefix to configure in order to find just built
libraries.

build: upgrade system packages before building libpq

chore: bump version to 3.1 beta 1 to test building packages

chore: upgrade libpq dependencies

docs: fix link to numeric-to-float recipe

fix: avoid all uses of PQconn.send_query in pipeline mode

We stopped using it in normal querying because, until libpq 14.4, the
libpq complained about "message type 0x33 arrived from server while
idle" (see #314). But usage remained for internal queries such as BEGIN.

In libpq 14.5, Postgres devs tried to fix the issue... and broke
PQsendQuery altogether :(

Hopefully the issue will be solved in future libpq versions, but we can
work around it completely.

Close #350.

feat: add pq._debug module to investigate libpq issues

ci: don't install modules in editable mode to run packages test

Something else that broke after setuptools 64 release. See tox-dev/tox#2479
for more details.

Reported something at pypa/setuptools#3557

test: add missing asserts

chore: fix typos spotted by codespell 2.2.1

Fix typo: shoul => should

docs: fix a typo in FileWriter docstring

fix: consider pipeline mode not supported with libpq 14.5

Improve diagnostics about the reason why the pipeline mode is not
supported. Improve not supported tests.

test: allow to use the != operator in make.libpq

feat: use version() as __build_version__ for pq python implementation

Having __build_version__ to be null makes version checking needlessly
convoluted and version() has to be used anyway as fallback.

refactor(psycopg_c): define and use an ARRAYSIZE macro

refactor(psycopg_c): drop deprecated use of DEF in Cython

See cython/cython#4310

perf(psycopg_c): avoid to create a tuple in fetch_many() loop

refactor: expose optimized functions directly from the origin modules

Don't check for the availability of the optimized module in every module
using potentially optimized functions.

fix(psycopg_c): guard PQflush calls for invalid connections

Unlike other libpq functions, PQflush() doesn't have a guard for invalid
connections and will segfault if the connection gets closed.

Also check the return value of the PQflush calls: as we are not using
the wrapped version pgconn.flush(), the function doesn't automatically
throw an exception on failure.

chore: use `license_files` entry in metadata

`license_file` is deprecated.

ci: specify non-editable install in tox tests

Work around tox-dev/tox#2479 (editable installs in tox broken by setuptools
v64) and tox-dev/tox#2480 (failure to use `toxinidir` in `deps`).

Use -e consistently in the linting steps instead, because they are
defined with skip_install=True so it seems a good idea to use it. These
steps don't seem affect by the setuptools issue.

refactor: drop repeated operation in sync/async TypeInfo.fetch()

docs: fix typo "flaot"

docs: reword blurb about binary copy and make it a warning

docs: fix typo: "reurned"

Reurned... ⚱️ ->⚱️

docs: fix example and reword around multiple-query statements

docs: link to the "from psycopg2" page from the "basic usage" top section

docs: quote examples of pip install with extras

zsh doesn't parse the square brackets as expected.

See #347.

Fix syntax in example

build: use "latest" version of github builders

Merge branch 'build-macos-arm64'

docs: mention macOS arm64 build script in news file

build: add scripts to build macOS arm64 packages

chore: bump version number to 3.0.16

Merge branch 'fix-343'

fix: fix Cursor.rowcount after non-SELECT tuple-returining queries

PQcmdTuples doesn't return a value after SHOW and other type of queries.

Close #343

test: add tests to reveal the rowcount problem with SHOW

See #343

docs: mention 3.1 automatic DNS resolution in async page

Also fix several glitches in the dns page documentation.

docs: NOTIFY command in uppercase

Merge branch 'copy-writer'

docs(copy): add documentation for COPY Writer objects

refactor: unify code paths to set the rowcount

feat(copy): add 'binary' param to copy object

This allows to write binary format even when the query has executed no
COPY operation.

Notice that now we have introduced tests that convert sample_records
into sample_binary: because small numbers would be dumped to int2, use
values large enough to require int4.

refactor(cursor): rename _set_current_result -> _select_current_result

feat(copy): add FileWriter to write copy data to a file-like object

refactor(copy): rename QueueWriter to QueuedLibpqWriter

perf(copy): use non-thread/task copy writers by default

Further benchmarks show no performance improvement using a writer
thread, and a slight slowdown using a writer async task. If that's the
case we can keep it simpler.

docs: fix docstrings for copy objects

refactor(copy): rename ConnectionWriter to LibpqWriter

The class takes a cursor as input so the previous name was misleading.

refactor(copy): make the writer entirely responsible of the libpq copy state

This way we can create a writer which is entirely independent from the
libpq and the connection, which is useful, for instance, to format a
file with copy data.

feat(copy): add writer param AsyncCursor.copy()

Add async copy writers similar to the sync ones.

feat(copy): add ConnectionWriter

This writer allows direct writing to the libpw, without buffering queue,
and provides the interface for a writer using a libpq connection to
write.

feat(copy): add 'writer' parameter to Cursor.copy()

refactor(copy): add Writer object

This separation of responsibility will allow to:

- create writers that e.g. produce a file rather than writing to a
connection;

- create writers that write directly instead of using a queue (see
https://github.com/psycopg/psycopg/discussions/111 for an example of users
unhappy about that. I still don't see their nervousness justified, but
I'm ok to provide them an escape hatch if it's easy to implement).

refactor(copy) use already looked-up pgconn instead of the connection one

Left out of previous refactoring.

Merge branch 'docs-no-external-modules'