c++: Differentiate scanning logic from C

To enable raw string literals only in C++, add a flag indicating
the current source language is C++.
Suggested by Vaclav Slavik at:
<https://savannah.gnu.org/bugs/?43970>.

* gettext-tools/src/x-c.h (extract_cxx): New declaration.
(SCANNERS_C): Use extract_cxx for "C++".
* gettext-tools/src/x-c.c (cxx_extensions): New variable.
(phase5_get): Respect cxx_extensions and recognize raw string
literals only when it is set.
(extract_cxx): New function.
(extract_c, extract_objc): Reset cxx_extensions.

* gettext-tools/tests/xgettext-c-20: Adjust the source file name
from *.c to *.cc to enable handling of raw string literals.

examples: Make hello-c-gnome3 translator friendly

Suggested by Benno Schulenberg in:
<https://lists.gnu.org/archive/html/bug-gettext/2015-01/msg00003.html>.

* hello-c-gnome3/hello.gschema.xml: Use "use-markup" property
instead of "sensitive", to clarify the meaning of the extracted
strings.
* hello-c-gnome3/hello.c (HelloApplicationWindow): Rename the
"label2" member to "label".
(update_content): New function.
(clicked_callback): Rename from quit_callback and call
update_content instead of quitting.  All callers changed.
* hello-c-gnome3/hello.ui: Abolish the first label and put a
translatable text inside the button.

doc: Document Vala language support

THANKS: Update

intl: Add missing libintl.h dependency from pluralx.$lo

plural(x).c depends on libintl.h if ENABLE_NLS, but the makefile
didn't have corresponding dependency for pluralx.c, because
d2d04ba forgot to add it.  Fix by using $(PLURAL_OBJECT) for the
dependency rule too.
* Makefile.in ($(PLURAL_OBJECT)): Depend on libintl.h.

build-aux: Update texinfo.tex to 2014-12-03.16

* build-aux/texinfo.tex: Update to 2014-12-03.16.  Needed because
the original texinfo does not allow @heading usage inside
@enumeration and texi2dvi fails due to this.

Release 0.19.4

Prepare for 0.19.4

Update translations

configure: Also distribute lzip-compressed tarballs

* configure.ac (AM_INIT_AUTOMAKE): Add dist-lzip.

gnulib-local: Suppress compiler warning with -Wunused

* lib/diffseq.h.diff: New file.

NEWS: Mention Bash ANSI-C quoting change

sh: Test Bash ANSI-C quoting

* xgettext-sh-3: Test Bash ANSI-C quoting.

sh: Fix handling of Bash ANSI-C quoting

* x-sh.c (read_word): Use phase1 instead of phase2 for Bash ANSI-C
escape sequences.  Also handle '\"' and '\E'.

sh: Fix typo

* x-sh.c (phase2_getc): Fix typo: debackslahificication ->
debackslashification.

Remove init-package-version.m4

* m4/init-package-version.m4: Remove unused file.  The package
name and version number are now obtained from git-version-gen.

Backport iOS check from Gnulib

* gnulib-local/lib/unistd.in.h.diff: Update.

Work around interoperability with preinstalled libunistring

* modules/unilbrk/base.diff: New file; bump minimum version of
unilbrk.h.

desktop: Suppress compiler warning

* read-desktop.c (desktop_parse): Check and ignore
token_type_other.

tests: Check invalid memory access in Lisp/Scheme

* format-lisp-2, format-scheme-2: Test type compatibility with
non-strict checking mode.

lisp, scheme: Avoid invalid memory access

* format-lisp.c (make_intersected_list): Don't dereference
potentially released memory.  'append_repeated_to_initial' may
release the LIST->element.  Spotted by clang-analyzer.
* format-scheme.c (make_intersected_list): Likewise.

intl: Bump m4 serial

* intl.m4, po.m4: Bump serial to avoid any conflict with Gnulib's
version after Gnulib commit 71be4c87.

autogen.sh: Copy intl.m4 and po.m4

* autogen.sh: Copy intl.m4 and po.m4 to gettext-tools, if Gnulib's
version are older.

msgfmt: Suppress compiler warning

* msgl-check.c (check_header_entry): Don't declare unused variable
'nrequiredfields'.

maint: Update THANKS file

* THANKS: Add contributors since 0.18.2.

tests: Fix the last change to gettext-8-prg.c

* gettext-8-prg.c: Include <assert.h>.
(main): Check return value of 'gettext'.

tests: Avoid minor memory-leak in gettext-8-prg

* gettext-8-prg.c (main): Release allocated memory.  Spotted by
clang-analyzer.

xgettext: Avoid potential null-dereference

* xgettext.c (arglist_parser_done): Avoid potential
null-dereference.  Spotted by clang-analyzer.

msgfmt: Fix potential access to uninitialized value

* msgfmt.c (msgfmt_desktop_bulk): Don't dereference potentially
uninitialized value.  Spotted by clang-analyzer.

tests: Test msgcat --sort-by-file option

* msgcat-20: New file.
* Makefile.am (TESTS): Add new test.

tests: Improve test coverage of Lua scanner

* xgettext-lua-1: Test nested and unmatched brackets.

tests: Fix previous commit of Vala scanner test

* xgettext-vala-1: Don't copy the test program out of the test
directory.  Fix commit 2ff7a105.

vala: Simplify the parsing logic

* x-vala.c (phase3_get): Factor out the buffer allocation as a
macro.

desktop: Minor cleanup of the last commit

* read-desktop.c (desktop_lex): Undef the APPEND macro before defining.

tests: Improve test coverage of Desktop scanner

* xgettext-desktop-1: Test invalid input and blank lines.

desktop: Simplify the parsing logic

* read-desktop.h (desktop_reader_class_ty): Rename 'handle_text'
to 'handle_blank'.
(desktop_reader_handle_blank): Rename from
'desktop_reader_handle_text'.
* read-desktop.c (SIZEOF): New macro.
(desktop_reader_handle_blank): Rename from
'desktop_reader_handle_blank'.
(read_until_newline, read_group_name, read_key_name): Remove.
Merge into...
(desktop_lex): ...here.
(desktop_parse): Call 'desktop_lex' instead of read_*.  Don't
normalize whitespaces.
(enum token_type_ty): New enum.
(struct token_ty): New struct.
(free_token): New function.
* write-desktop.c (msgfmt_desktop_handle_blank): Rename from
'msgfmt_desktop_handle_text'.
* x-desktop.c: Include "c-ctype.h".
(extract_desktop_handle_comment): Normalize whitespaces here.
(extract_desktop_handle_blank): Rename from
'extract_desktop_handle_text'.

tests: Improve test coverage of Vala scanner

* xgettext-vala-1: Test regex literal right after arithmetic
assignment operators, and the case '@' is not followed by a
template string.

vala: Make regex literal handling robuster

* x-vala.c (token_type_ty): New enumeration values
'token_type_arithmetic_operator' and 'token_type_question'.
Remove 'token_type_minus'.
(phase3_get): Rewrite regex literal handling right after
arithmetic assignment operators.

examples: Regenerate stamp-po after POT has changed

* Makefile.am (distdir1): Invoke 'all' target in po/Makefile,
after 'update-po'.

tests: Really add changes to msgunfmt-3

msgunfmt: Avoid integer overflow using xsize

* read-mo.c (get_uint32, get_sysdep_string): Use xsum to avoid
integer overflow, when checking length and offset fields.
Reported by Jakub Wilk at:
<https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=772088>.

tests: Add more tests for integer overflow when reading MO file

* msgunfmt-3: Check overflow-[1-6].mo.
* Makefile.am (EXTRA_DIST): Add more test data for msgunfmt
integer overflow.

examples: Include hello-*.pot in the distribution

Partially revert 2c3d71ce, as it broke "make dist".  Instead,
include all the generated POT files in the distribution to prevent
re-generation of those files.
* Makefile.am (distdir1): Call update-po in po/Makefile.
* po/Makefile.am ($(DOMAIN).pot-update): Specify --directory for
xgettext invocation.
(DISTCLEANFILES): Move $(SMALLPOTS)...
(MAINTAINERCLEANFILES): ...here.
(distdir1): Include $(SMALLPOTS) in the distribution.

tests: Improve test coverage of GSettings scanner

* xgettext-gsettings-1: Check empty string and multiline comment.

libgettextsrc: Follow plural.c -> pluralx.c file name change

* plural-exp.c: Include "../intl/pluralx.c" instead of
"../intl/plural.c".  Adjust to commit d2d04ba9.

maint: Adjust Admin/release-steps to the current procedure

examples: Don't forcibly regenerate POT files on 'make dist'

Previously we generated POT files on 'make dist'.  However, it
take some time to complete and require autotools bootstrap for
each project.
* Makefile.am (distdir1): Don't invoke update-po rule in po/Makefile.
* po/Makefile.am (distdir1): Don't invoke update-po rule.

intl: Make the LCOV workaround non-intrusive

* gettext-runtime/intl/Makefile.in (PLURAL_OBJECT): New variable.
(OBJECTS): Refer to $(PLURAL_OBJECT) instead of plural.$lo.
(pluralx.c, pluralx.lo): New rule.
(mostlyclean): Remove pluralx.c.
* gettext-tools/configure.ac: Replace PLURAL_OBJECT in intl/Makefile.

Update after Gnulib changed

* extern-inline.m4, iconv.m4: Update from Gnulib.

tests: Fix data file location for msgunfmt-3

* msgunfmt-3: Locate overflow.mo in $abs_srcdir instead of '..'.

Update gnulib

intl: Work around LCOV relative base directory resolution

* gettext-runtime/intl/Makefile.in (plural.lo): Resolve relative
source file name given with '#line' directive, when $(srcdir) !=
$(builddir).
(mostlyclean): Remove plural.c generated in the 'plural.lo' rule.
* gettext-tools/src/plural-exp.c: Include "../intl/plural.c" instead
of "../../gettext-runtime/intl/plural.c".

autogen.sh: Fix typo

* autogen.sh: Fix typo: geneating -> generating.

c: Minor cleanup of the previous commit

* x-c.c (phase5_get): Remove redundant check of is_prefix; fit
lines to 80 column.

NEWS: Mention C++11 string literals support

tests: Add test for C++11 string literals

* xgettext-c-20: New file.
* Makefile.am (TESTS): Add new test.

c: Support C++11 string literals

* x-c.c (phase5_get): Recognize C++ string literals, defined in
ISO/IEC 9899:2011.  Reported at:
<https://savannah.gnu.org/bugs/?39499>.

NEWS: Mention C# surrogate pair support

doc: Document placement of extracted comment blocks

* xgettext.texi: Mention that extracted comment blocks must be
adjacent to keyword lines.
Reported by Yves-Gwenael Bourhis at:
<https://savannah.gnu.org/bugs/index.php?42376>.

tests: Add more tests for C# Unicode handling

* xgettext-csharp-1: Test verbatim string.
* xgettext-csharp-2: Test Unicode identifiers.

tests: Add test for Unicode surrogate characters in C#

* xgettext-csharp-8: New file.
* Makefile.am (TESTS): Add new test.

c#: Recognize Unicode surrogate character pair

* x-csharp.c (accumulate_escaped): Change the first argument type
from 'struct string_buffer *' to 'struct mixed_string_buffer *',
for Unicode surrogate character pair handling; all callers
changed.  Reported by Petr Kadlec at:
<https://savannah.gnu.org/bugs/?32505>.

build: Update libtool files to 2.4.4

* m4/libtool.m4: Update from libtool-2.4.4, with modifications.
2008-04-06  Bruno Haible  <bruno@clisp.org>
* m4/libtool.m4 (LT_INIT): When setting LIBTOOL, use
CONFIG_SHELL; don't assume that the Makefile.in will set SHELL
to ${CONFIG_SHELL}.
* m4/ltoptions.m4: Likewise.
* m4/ltversion.m4: Likewise.
* build-aux/ltmain.sh: Likewise.

tests: Add test for empty msgstr passed to msgfilter

* msgfilter-7: New file.
* Makefile.am (TESTS): Add new test.

msgfilter: Simplify the last commit

* msgfilter.c (prepare_read): Simplify the last commit 06e206f5,
by always adding 1 to the buffer size.

msgfilter: Fix read buffer allocation for empty input

* msgfilter.c (prepare_read): Increase allocated buffer size even
if the original size is < 2.
Reported by Robin McCorkell at:
<https://savannah.gnu.org/bugs/?43720>.

NEWS: Mention portability fix on Mac OS X 10.10

This should be fixed with the libtool infrastructure update to 2.4.3.
Reported by Lawrence Velázquez at:
<http://savannah.gnu.org/bugs/?43512>.

build: Update libtool files to 2.4.3

* m4/libtool.m4: Update from libtool-2.4.3, with modifications.
2008-04-06  Bruno Haible  <bruno@clisp.org>
* m4/libtool.m4 (LT_INIT): When setting LIBTOOL, use
CONFIG_SHELL; don't assume that the Makefile.in will set SHELL
to ${CONFIG_SHELL}.
* m4/ltoptions.m4: Likewise.
* m4/ltsuger.m4: Likewise.
* m4/ltversion.m4: Likewise.
* m4/lt~obsolete.m4: Likewise.
* build-aux/ltmain.sh: Likewise.

javascript: Simplify Unicode character escape handling

ECMA-262 only supports "\uXXXX" style Unicode character escape and
we don't need extra space for character names.
* x-javascript.c: Don't include "uniname.h".
(phase2_pushback): Decrease to 5.  Don't refer to UNINAME_MAX.

NEWS: Add 0.19.4 entry

tests: Add test for integer overflow when reading MO file

* msgunfmt-3: New file.
* Makefile.am (TESTS): Add new test.
(EXTRA_DIST): Add data file for msgunfmt-3.

read-mo: Check size_t overflow

* read-mo.c: Include "xsize.h".
(get_string): Use xsum3 to avoid overflow, when checking length
and offset fields.
Reported by Jakub Wilk at:
<https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=769901>.

Update gnulib.

build: Fix autogen.sh --skip-gnulib after fbf4e276

* Makefile.am (EXTRA_DIST): Add build-aux/git-version-gen.

xgettext: Allow plural extraction from a single argument function

The commit 8137d2b4 was a wrong fix since both singular/plural
msgids may point to the same address for Qt4 plural forms.  This
reverts the commit and fix the original double-free problem in the
right way.  Thanks to Jesper Fehrlund for suggestions.
* gettext-tools/src/xgettext.c (arglist_parser_remember_literal):
Don't ignore plural argument even if ARGNUM1 equals to ARGNUM2.
(arglist_parser_done): Make a copy of best_cp->msgid_plural when
passing it to remember_a_message_plural, if it equals to
best_cp->msgid.  Also move code conversion logic earlier taking into
account of the ownership transfer of best_cp->msgid.
* gettext-tools/src/xgettext-12: Test a single argument function.

tests: Add test for same ARGNUM1/ARGNUM2 given to xgettext -k

* xgettext-12: New file.
* Makefile.am (TESTS): Add new test.

xgettext: Fix double-free in singular/plural argument extraction

After commit 6aa7b7ed in 2009, xgettext assumed that ARGNUM1 and
ARGNUM2 of -k are different.  That could cause an double-free in
exceptional cases.
Reported by Johan Liljegren in:
<https://lists.gnu.org/archive/html/bug-gettext/2014-10/msg00028.html>.
* xgettext.c (arglist_parser_remember_literal): Don't assume that
ARGNUM1 and ARGNUM2 are different.

Update .gitignore

List new file in term-ostream-tests module

Fixes commit a843584f.

Release 0.19.3

Prepare for 0.19.3

NEWS: Update 0.19.3 entry

Update translations

maint: Fix Admin/update-changelog

maint: Add a script to add release entry to ChangeLogs

tests: Support newer ncurses with italic caps in xterm terminfo

* tests/test-term-ostream-xterm-basic-italic.out: New file.
* tests/test-term-ostream-xterm: Use it as possible test result.
* Makefile.am (EXTRA_DIST): Add new files.
Needed for ncurses >= 5.9-20140906 that defines sitm/ritm in the
xterm-basic terminfo definition.

tests: Avoid sed error on Mac OS X when dealing with binary input

Reported by Ramsey Dow in:
<http://lists.gnu.org/archive/html/bug-gettext/2014-07/msg00002.html>.
* msgmerge-compendium-6: Run sed with LC_ALL=C, to avoid 'illegal
byte sequence' error on Mac OS X.
* format-sh-1: Likewise.

tests: Add test for Debian bug#764580

* gettext-tools/tests/autopoint-2: Check if m4_assert is properly
redefined while tracing.

autopoint: Fix infinite recursion when tracing configure.ac

Reported by Andreas Henriksson at:
<https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=764580>
* autopoint.in (func_trace_autoconf): Temporarily redefine
built-in macros, instead of undefining.
* gettextize.in: Likewise.

msgunfmt: Error on incomplete multibyte sequence at EOF

* write-po.c (wrap): Report error on incomplete multibyte sequence
at the end of input bytes.
Reported by Jakub Wilk at:
<https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=763820>.

NEWS: Mention MSGINIT_OPTIONS change

po: Make it possible to pass custom options to msginit

* Makevars (MSGINIT_OPTIONS): New variable.
* Rules-quot: Use it when invoking msginit.
If one wants to use '--no-wrap' in MSGMERGE_OPTIONS and
XGETTEXT_OPTIONS, there should be a way to pass the option to
msginit.  Reported by Ludovic Courtès in:
<https://lists.gnu.org/archive/html/bug-gettext/2014-08/msg00004.html>.

tests: Improve test coverage of C and Vala scanners

* xgettext-c-4: Check more trigraphs.
* xgettext-c-2: Check floating point literal.
* xgettext-c-19: Check out-of-range Unicode character, "\U"
character escape, incomplete "\u" escape, and surrogates.
* xgettext-vala-1: Check unterminated regexp literal, floating
point literal, string template, "/=" operator, multi-line
comments, and backslash-escaped character inside regexp literal.

tests: Check if CXX is "no", not ":"

* lang-c++: Check if CXX is "no", not ":".  See commit e854d2c7 for
the rationale.

Fix C++ compiler check to auto-disable building libasprintf

* gettext-runtime/configure.ac: To automatically disable building
libasprintf when no C++ is found, check if CXX is "no", not ":".  This
seems to be a left over of commit 09963c23.  Reported by Assaf Gordon in:
<https://lists.gnu.org/archive/html/bug-gettext/2014-10/msg00003.html>.

tests: Fix autopoint-3 tests with older Automake

* autopoint-3: Invoke AC_CONFIG_MACRO_DIR after AC_INIT, not
before.

NEWS: Add 0.19.3 entries

tests: Adjust textdomain directory for Solaris 11

Solaris 11 doesn't strip the CODESET part from the locale name,
when looking for a message catalog.  Create a directory link with
CODESET, to work around this.

tests: Stop redundant textdomain directory creation

This was introduced by commit 3533f6cc when we didn't use separate
test directory for each test.  Now that we switched to init.sh, we
don't need to worry about filename conflicts.

Update after Gnulib changed