]> git.ipfire.org Git - thirdparty/postgresql.git/commit
Change type "char"'s I/O format for non-ASCII characters.
authorTom Lane <tgl@sss.pgh.pa.us>
Tue, 2 Aug 2022 14:29:35 +0000 (10:29 -0400)
committerTom Lane <tgl@sss.pgh.pa.us>
Tue, 2 Aug 2022 14:29:35 +0000 (10:29 -0400)
commitc034b629cc6f44099c9f54f3f0b3f4340e02d9bc
tree2c2a6bfda8f57cef756f3db06d0e96d6b6521395
parent5b94d3ccb7ad9be902c37505ed54aabd2aeeccf1
Change type "char"'s I/O format for non-ASCII characters.

Previously, a byte with the high bit set was just transmitted
as-is by charin() and charout().  This is problematic if the
database encoding is multibyte, because the result of charout()
won't be validly encoded, which breaks various stuff that
expects all text strings to be validly encoded.  We've
previously decided to enforce encoding validity rather than try
to individually harden each place that might have a problem with
such strings, so it's time to do something about "char".

To fix, represent high-bit-set characters as \ooo (backslash
and three octal digits), following the ancient "escape" format
for bytea.  charin() will continue to accept the old way as well,
though that is only reachable in single-byte encodings.

Add some test cases just so there is coverage for this code.
We'll otherwise leave this question undocumented as it was before,
because we don't really want to encourage end-user use of "char".

For the moment, back-patch into v15 so that this change appears
in 15beta3.  If there's not great pushback we should consider
absorbing this change into the older branches.

Discussion: https://postgr.es/m/2318797.1638558730@sss.pgh.pa.us
doc/src/sgml/datatype.sgml
src/backend/utils/adt/char.c
src/test/regress/expected/char.out
src/test/regress/expected/char_1.out
src/test/regress/expected/char_2.out
src/test/regress/sql/char.sql