feat: add wait_select() function

A few tests show that using select() from Python has a lower overhead.
See #414.

Use this function wherever defined and epoll() is the default select
strategy instead. This is mostly a draft to figure out where this
strategy can be used with success.

test: add simple test to compare performances in refactoring

This test is inspired to the problem open in #411, and is pretty much a
simple operation in a tight loop. It is used, at the moment, to compare
different ways to test I/O completion strategies with simple and fast
queries under no concurrency.

chore: declare Copy.read to return a buffer object

We still return memoryview, but leave the possibility open to return
something different, such as bytes.

fix: add C Float4 dumper

It would be used when looked up by oid. At the moment there is only a
Python version for it.

lint(c): avoid types warning building on Windows

Merge branch 'array-speedup'

docs: add a note about further optimizing text array loading

perf(c/array): cache the scratch area in the dumper

perf(c/array): cache the element loader in the array loader

docs: report array speedup in the news

perf(c/array): add C implementation of array loader

With this change we get to load an array without the transformer calling
any Python code (if the element loader is a CLoader as well).

We don't need to subclass the binary loader anymore because all the
required info is now taken from the loaded data. As a consequence, we
don't need a BaseArrayLoader anymore.

perf(c/array): reuse buffer to unescape array tokens

Save a malloc and setting up an exception per element, replaced by
realloc when needed and a single exception per array.

fix(c/array): null-terminate strings in text array loading

perf(c): optimise access to C item loaders in array loading

perf(c/array): build binary array recursively instead of rearranging them

perf(c/array): optimize reassembling multidimensional arrays as nested lists

refactor(c/array): types hygiene around endianness conversions

fix: get element oid from the array itself in binary format

Getting it from the type was causing problems in CRDB because they seem
to have a different interpretation of what Int2 and Int4 are. Refactor
the binary parser to take a transformer, instead of a loader function,
in order to look up the loader from the oid parsed from the array.

Also refactor the text array parser to take the whole loader instead of
the load function only, which will be useful in order to optimize the
use of C loaders.

perf: add C implementation of array load

This implementation can be still improved: we always call the Python
loader to decode the single elements; we can try and call the C loader
if available.

perf(array): introduce mockup of optimized array loading functions

fix: add prod() implementation for Python 3.7

perf(array) faster algorithm to load nested binary arrays

Avoid using generators in the algorithm. This also makes the function
easier to port to C.

refactor(array): make load function static

This will allow replacing them with a fast version as with the helper
functions in the copy module.

Merge branch 'fix-452'

fix: add lookup of dumpers by varchar, name oid

Fix #452

test: add test to verify missing oid lookups in string formats

docs: drop tox from readme

I don't really use in for development, so it's better not suggesting it.

ci: force the use of tox 3

Work around https://github.com/tox-dev/tox/issues/2619

ci: fix tests failing because of missing repository public key

Fix the error appearing in CI reporting

    The following signatures couldn't be verified because the public key
    is not available: NO_PUBKEY 7FCC7D46ACCC4CF8

on the jobs using libpq: latest.

fix: return rownumber=None if the result has no row to fetch

Close #437.

chore: bump mypy to 0.990

chore: fix version number, accidentally bumped back

chore(pool): bump to next dev version number

chore; bump pool version number for release

Merge branch 'fix-219'

docs(pool): add entry about issue #219 resolved

fix(pool): make sure to throw a RuntimeError opening async pool without a loop

The error would be thrown anyway downstream, when tasks are created, but
other spurious warning might be raised too because certain tasks are not
awaited.

fix(pool): create asyncio objects on open rather than on init

If created on init, they get attached to the wrong loop and fail to
work.

Close #219

perf(c): take more care about the GIL around potentially blocking functions

refactor: move common notifies processing code into a common function

fix(c): drop duplicate PQconsumeInput call

Also add a couple of C types in the function for better C code.

fix: use a correct recursive definition for DumperKey

Already supported in current Mypy: https://github.com/python/mypy/issues/731.

The definition of DumperKey was wrong anyway, in a way causing mypy to
crash: see https://github.com/python/mypy/issues/14000.

lint: fix type hints with disabled bytearray/memoryview/bytes equivalience

This changeset makes the code compatible with the current Mypy 0.981,
but passes most of the checks that Mypy 0.990 enforces if the byte
strings equivalence is disabled.

fix: define Escaping method as returning bytes

This change is backward compatible because bytes has a superset of the
memoryview interface and, in Python, to make pretty much any use of it,
it must be converted to bytes beforehand.

Close #422.

fix: fix check for empty notice handlers list

Issue reported by Mypy 0.990. Thank you!

docs: use consistenty `!this` to represent parameters and non-linked code

Don't use *this*, which is more of a math use but it disagrees with the
style rendered on the docs, and don't use ``this``, left to literals.

perf(c): only use __cinit__ in adaptation classes

There is less overhead creating the objects.

perf: avoid lookups of Wait and Ready enum values

docs: document how to unbreak editable mode in the readme

chore: bump to next dev version

docs: typographic love to the 2to3 page

docs: add section about returning multiple results

Close #417.

Merge branch 'build-macos-py311'

ci: re-enable suspended job after building the missing image

ci: configure in order to build only Python 3.11 packages for macOS x86_64

The required image was not available at the time of building other
packages. See #424.

chore: bump psycopg-pool version to 3.1.3

chore: bump to version number 3.1.4

chore: upgrade binary dependencies to libpq 15.0, openssl 1.1.1r

Merge branch 'py311'

ci: build Python 3.11 macOS arm64 packages

ci: skip test/build on macOS x86_64 for Python 3.11

Package not available yet. See #424

docs: mention Python 3.11 support in news

ci: build packages for Python 3.11 too

chore: add Python 3.11 support metadata

chore: test with Python 3.11 rc1

chore: upgrade Cython to 3.0a11 to support Python 3.11

chore: upgrade actions/upload-artifact version

test: print out the file to delete in order to clear the segfault indicator

test: terminate the session early if connection to the test db fails

The error might be masked by other failures. It's also not useful to
receive the same message hundreds of times.

Merge branch 'pg15'

ci: Use Postgres 15 images and packages after official release

docs: declare PostgreSQL 15 supported

chore: add errors defined in PostgreSQL 15

test: include PostgreSQL RC 1 and libpq 15 in the tests

chore: upgrade github actions

The currently used ones raise deprecation warnings.

test: document --pq-trace and --pq-debug pytest option

test: add --pq-debug pytest option to use PGconnDebug

fix: lock the connection during all stream() lifetime

Namely, also lock the connection when closing the generator, in the
finally clause, where we are fetching results.

refactor: handle exit exception in BasePipeline._exit()

We remove repeated code in __(a)exit__() method of (Async)Pipeline by
passing the exception value to _exit() method of BasePipeline.

chore: bump version number to next dev release

Merge pull request #401 from dlax/pipeline-no-extra-begin

fix: sync pipeline after implicit BEGIN

fix: sync pipeline after implicit BEGIN

Prior to this change, the following code:

    with conn.pipeline():
       conn.execute("select 'x'").fetchone()
       conn.execute("select 'y'")

would produce the following libpq trace:

    F 13 Parse  "" "BEGIN" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    F 18 Parse  "" "select 'x'" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    F 4 Flush
    B 4 ParseComplete
    B 4 BindComplete
    B 4 NoData
    B 10 CommandComplete  "BEGIN"
    B 4 ParseComplete
    B 4 BindComplete
    B 33 RowDescription  1 "?column?" NNNN 0 NNNN 65535 -1 0
    B 11 DataRow  1 1 'x'
    B 13 CommandComplete  "SELECT 1"
    F 13 Parse  "" "BEGIN" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    F 18 Parse  "" "select 'y'" 0
    F 14 Bind  "" "" 0 0 1 0
    F 6 Describe  P ""
    F 9 Execute  "" 0
    B 4 ParseComplete
    B 4 BindComplete
    B 4 NoData
    B NN NoticeResponse  S "WARNING" V "WARNING" C "25001" M "there is already a transaction in progress" F "SSSS" L "SSSS" R "SSSS" \x00
    F 4 Sync
    B 10 CommandComplete  "BEGIN"
    B 4 ParseComplete
    B 4 BindComplete
    B 33 RowDescription  1 "?column?" NNNN 0 NNNN 65535 -1 0
    B 11 DataRow  1 1 'y'
    B 13 CommandComplete  "SELECT 1"
    B 5 ReadyForQuery  T

where we can see that the BEGIN statement (due to the connection being
in non-autocommit mode) is emitted twice, as notified by the server.

This is because the transaction state after the implicit BEGIN is not
"correct" (i.e. should be INTRANS, but is IDLE) since the result from
respective statement has not been received yet.

By syncing after the BEGIN, we fetch result from this command thus get
the transaction state INTRANS for following queries. This is similar to
what happens with explicit transaction, by using nested pipelines.

chore: bump to version number 3.1.3

Merge branch 'fix-399'

fix: fix handling of queries with %% in ClientCursor

Close #399.

#397: Fix typo in install.rst

Remove warning about missing binary package for M1

Binary packages for Apple M1 was added in #162.

Merge branch 'stream-close'

fix: make sure to terminate query on gen.close() from Cursor.stream()

Fix #382

perf: use functools.cache where available

Faster than lru_cache; use it when we don't suppose we will ever evict
values.

Merge branch 'fix-escape-nametuple-field'

docs: mention named tuples regression fix in change log

test: more exhaustive test of difficult names/attrs in composites

fix: restore pre-3.1 behaviour converting fields to named tuples attributes

Let more valid identifiers through _as_python_identifier(). Also 2.5x faster if no change is needed

Close #386

test: check unusual column names and namedtuple

fix: avoid using type variables in typevar bounds

It is not allowed by the specs. Mypy tolerates it, replacing the
argument with Any, according to @erictraut. Pyright reports it as an
error instead.

See #365, microsoft/pyright#3984

chore: upgrade mypy to 0.981

Most changes needed by https://github.com/python/typeshed/pull/8446.

docs: fix plural

docs: mention macOS arm64 packages distribution

build: fix starting Postgres in macOS build script

The brew command fails with:

    Could not enable service: 125: Domain does not support specified action
    Error: Failure while executing; `/bin/launchctl enable gui/501/homebrew.mxcl.postgresql@14` exited with 125.