Windows: Update windows/build.bash.

Support for the old MinGW was dropped. Only MinGW-w64 with GCC
is supported now.

The script now supports also cross-compilation from GNU/Linux
(tests are not run). MSYS2 and also the old MSYS 1.0.11 work
for building on Windows. The i686 and x86_64 toolchains must
be in PATH to build both 32-bit and 64-bit versions.

Parallel builds are done if "nproc" from GNU coreutils is available.

MinGW-w64 runtime copyright information file was renamed from
COPYING-Windows.txt to COPYING.MinGW-w64-runtime.txt which
is the filename used by MinGW-w64 itself. Its existence
is now mandatory, it's checked at the beginning of the script.

The file TODO is no longer copied to the package.

Translations: Update the Romanian man page translations.

Translations: Update the Korean man page translations.

Translations: Update the Spanish translation.

Translations: Update the Romanian translation.

Translations: Update the Croatian translation.

Translations: Update the German man page translations.

Translations: Update the German translation.

Translations: Update the Hungarian translation.

CMake: Fix building of lzmainfo when translations are enabled.

CMake: Don't assume that -fvisibility=hidden is supported outside Windows.

The original code was good enough for supporting GNU/Linux
and a few others but it wasn't very portable.

CMake doesn't support Solaris Studio's -xldscope=hidden.
If it ever does, things should still work with this commit
as Solaris Studio supports not only its own __global but also
the GNU C __attribute__((visibility("default"))). Support for the
attribute was added in 2007 to Sun Studio 12 compiler version 5.9.

CMake: Revise the component splitting.

CMake: Update the main comment and document CMAKE_BUILD_TYPE=Release.

CMake: Use -O2 instead of -O3 in CMAKE_BUILD_TYPE=Release.

-O3 doesn't seem useful for speed but it makes the code bigger.
CMake makes is difficult for users to simply override the
optimization level: CFLAGS / CMAKE_C_FLAGS aren't helpful because
they go before CMAKE_C_FLAGS_RELEASE. Of course, users can override
CMAKE_C_FLAGS_RELEASE directly but then they have to remember to
add also -DNDEBUG to disable assertions.

This commit changes -O3 to -O2 in CMAKE_C_FLAGS_RELEASE if and only if
CMAKE_C_FLAGS_RELEASE cache variable doesn't already exist. So if
a custom value is passed on the command line (or reconfiguring an
already-configured build), the cache variable won't be modified.

CMake: Handle symbol versioning on MicroBlaze specially.

This is to match configure.ac.

CMake: Keep build working even if lib/*.[ch] are removed.

CMake: Install documentation.

CMake: Bump maximum policy version to 3.28.

CMP0154 doesn't affect us since we don't use FILE_SET.

CMake: Build lzmainfo.

CMake: Build lzmadec.

CMake: Add test_scripts.sh to the tests.

In contrast to Automake, skipping of this test when decoders
are disabled is handled at CMake side instead of test_scripts.sh
because CMake-build doesn't create config.h.

CMake: Install scripts.

Compared to the Autotools-based build, this has simpler handling
for the shell (@POSIX_SHELL@) and extra PATH entry for the scripts
(configure has --enable-path-for-scripts=PREFIX). The simpler
metho should be enough for non-ancient systems and Solaris.

Scripts: Use @PACKAGE_VERSION@ instead of @VERSION@.

PACKAGE_VERSION was already used in liblzma.pc.in.
This way only one version @foo@ is used.

CMake: Simplify symlink creation and install translated man pages.

It helps that cmake_install.cmake doesn't parallelize installation
so symlinks can be created so that the target is always known to
exist (a requirement on Windows in some cases).

This bumps the minimum CMake version from 3.13 to 3.14 to use
file(CREATE_LINK ...). It could be made to work on 3.13 by
calling "cmake -E create_symlink" but it's uglier code and
slower in "make install". 3.14 should be a reasonable version
to require nowadays, especially since the Autotools build
is still the primary build system for most OSes.

CMake: Add support for building and installing xz with translations.

If gettext tools are available, the .po files listed in po/LINGUAS
are converted using msgfmt. This allows building with translations
directly from xz.git without Autotools.

If gettext tools aren't available, the Autotools-created .gmo files
in the "po" directory will be used. This allows CMake-based build
to use translations from Autotools-generated tarball.

If translation support is found (Intl_FOUND) but both the
gettext tools and the pre-generated .gmo files are missing,
then "make" will fail.

liblzma: Remove commented-out code.

xz: Delete old commented-out code.

xz: Use stricter pledge(2) and Landlock sandbox.

This makes these sandboxing methods stricter when no files are
created or deleted. That is, it's a middle ground between the
initial sandbox and the strictest single-file-to-stdout sandbox:
this allows opening files for reading but output has to go to stdout.

xz: Support Landlock ABI version 4.

Linux 6.7 added support for ABI version 4 which restricts
TCP connections which xz won't need and thus those can be
forbidden now. Since the ABI version is handled at runtime,
supporting version 4 won't cause any compatibility issues.

Note that new enough kernel headers are required to get
version 4 support enabled at build time.

xz: Move sandboxing code to sandbox.c and improve Landlock sandbox.

Landlock is now always used just like pledge(2) is: first in more
permissive mode and later (under certain common conditions) in
a strict mode that doesn't allow opening more files.

I put pledge(2) first in sandbox.c because it's the simplest API
to use and still somewhat fine-grained for basic applications.
So it's the simplest thing to understand for anyone reading sandbox.c.

xz: Tweak comments.

xz: Fix message_init() description.

Also explicitly initialize progress_automatic to make it clear
that it can be read before message_init() sets it. Static variable
was initialized to false by default already so this is only for
clarity.

Build: Makefile.am: Sort EXTRA_DIST.

Dirs first, then files in case-sensitive ASCII order.

Build: Don't install TODO.

Translations: Update the Korean man page translations.

Translations: Update the Korean translation.

Build: Install translated lzmainfo man pages.

All other translated man pages were being installed but
lzmainfo had been forgotten.

liblzma: Avoid implementation-defined behavior in the RISC-V filter.

GCC docs promise that it works and a few other compilers do
too. Clang/LLVM is documented source code only but unsurprisingly
it behaves the same as others on x86-64 at least. But the
certainly-portable way is good enough here so use that.

liblzma: Wrap a line exceeding 80 chars.

liblzma/rangecoder: Exclude x32 from the x86-64 optimisation.

The x32 port has a x86-64 ABI in term of all registers but uses only
32bit pointer like x86-32. The assembly optimisation fails to compile on
x32. Given the state of x32 I suggest to exclude it from the
optimisation rather than trying to fix it.

Signed-off-by: Sebastian Andrzej Siewior <sebastian@breakpoint.cc>

Translations: Update the Spanish translation.

Translations: Update the Swedish translation.

Translations: Update the Polish translation.

Translations: Update the Ukrainian translation.

Translations: Use the same sentence in xz.pot-header that the TP uses.

Fix typos discovered by codespell.

Translations: Update the Ukrainian man page translations.

Translations: Update the Ukrainian translation.

Translations: Omit the generic copyright line from man page headers.

Update m4/.gitignore.

Tests: tuktest.h: Treat Clang separately from GCC.

Don't assume that Clang defines __GNUC__ as the extensions
are available in clang-cl as well (and possibly in some other
Clang variants?).

Tests: tuktest.h: Add a missing word to a comment.

Tests: tuktest.h: Fix the comment about STest.

Bump version for 5.5.2beta.

liblzma: Fix validate_map.sh.

Adding the SPDX license identifier changed the line numbers.

Build: Start the generated ChangeLog from around 5.4.0 instead of 5.2.0.

Fixed NEWS for 5.5.2beta.

liblzma: Silence warnings in --enable-small build.

Build: Install COPYING.0BSD as part of docs.

Docs: List COPYING.0BSD in README.

Docs: Include doc/examples/11_file_info.c in tarballs.

It was added in 2017 in c2e29f06a7d1e3ba242ac2fafc69f5d6e92f62cd
but it never got into any release tarballs because it was
forgotten to be added to Makefile.am.

liblzma: Silence a warning.

Add NEWS for 5.5.2beta.

xz: Mention lzmainfo if trying to use 'lzma --list'.

This kind of fixes the problem reported here:
https://bugs.launchpad.net/ubuntu/+source/xz-utils/+bug/1291020

liblzma: Add comments.

Scripts: Add lz4 support to xzgrep and xzdiff.

liblzma: Choose the range decoder variants using a bitmask macro.

xz: Fix outdated threading related info on the man page.

liblzma: Range decoder: Add x86-64 inline assembly.

It's compatible with GCC and Clang.

liblzma: Range decoder: Add branchless C code.

It's used only for basic bittrees and fixed-size reverse bittree
because those showed a clear benefit on x86-64 with GCC and Clang.
The other methods were more mixed and thus are commented out but
they should be tested on other archs.

liblzma: Clarify a comment.

liblzma: LZMA decoder: Optimize loop comparison.

But now it needs one more local variable.

liblzma: Optimize literal_subcoder() macro slightly.

liblzma: LZ decoder: Add unlikely().

liblzma: LZ decoder: Remove a useless unlikely().

liblzma: Optimize LZ decoder slightly.

Now extra buffer space is reserved so that repeating bytes for
any single match will never need to copy from two places (both
the beginning and the end of the buffer). This simplifies
dict_repeat() and helps a little with speed.

This seems to reduce .lzma decompression time about 2 %, so
with .xz and CRC it could be slightly less. The small things
add up still.

liblzma: LZMA decoder: Get rid of next_state[].

It's not completely obvious if this is better in the decoder.
It should be good if compiler can avoid creating a branch
(like using CMOV on x86).

This also makes lzma_encoder.c use the new macros.

liblzma: LZMA decoder improvements.

This adds macros for bittree decoding which prepares the code
for alternative C versions and inline assembly.

liblzma: Creates Non-resumable and Resumable modes for lzma_decoder.

The new decoder resumes the first decoder loop in the Resumable mode.
Then, the code executes in Non-resumable mode until it detects that it
cannot guarantee to have enough input/output to decode another symbol.

The Resumable mode is how the decoder has always worked. Before decoding
every input bit, it checks if there is enough space and will save its
location to be resumed later. When the decoder has more input/output,
it jumps back to the correct sequence in the Resumable mode code.

When the input/output buffers are large, the Resumable mode is much
slower than the Non-resumable because it has more branches and is harder
for the compiler to optimize since it is in a large switch block.

Early benchmarking shows significant time improvement (8-10% on gcc and
clang x86) by using the Non-resumable code as much as possible.

liblzma: Creates separate "safe" range decoder mode.

The new "safe" range decoder mode is the same as old range decoder, but
now the default behavior of the range decoder will not check if there is
enough input or output to complete the operation. When the buffers are
close to fully consumed, the "safe" operations must be used instead. This
will improve speed because it will reduce the number of branches needed
for most of the range decoder operations.

doxygen/footer.html: Add missing closing tags and don't open a new tab.

The footer template from Doxygen has the closing </body> </html>
as Doxygen doesn't add them otherwise.

target="_blank" was omitted as it's not useful here but
it can be slightly annoying as one cannot just go back
in the browser history.

Since the footer links to the license file in the same
directory and not to CC website, the rel attributes
can be omitted.

Tweak the expressions in AUTHORS.

Translations: Add the man page translators into man page header comment.

It looked odd to only have the original English authors listed
in the header comments of the translated files.

Translations: Translate also messages of lzmainfo.

lzmainfo has had translation support since 2009 at least but
it was never added to po/POTFILES.in so the messages weren't
translated. It's a very rarely needed tool so it's not too bad.

This also adds src/xz/mytime.c to po/POTFILES.in although there
are no translatable strings. It's simpler this way so that it
won't be forgotten if strings were ever added to that file.

Translations: Add custom .pot header with SPDX license identifier.

The same is used for both po/xz.pot and po4a/xz-man.pot.

Translations: po4a/update-po: Add copyright notice to xz-man.pot.

All man pages are under 0BSD now so this is simple now.

Update COPYING about the man pages of the scripts.

xzdiff, xzgrep, and xzmore: Rewrite the man pages.

The main reason is a kind of silly one:

xz-man.pot contains strings from all man pages in XZ Utils.
The man pages of xzdiff, xzgrep, and xzmore were under GPLv2
and the rest under 0BSD. Thus xz-man.pot contained strings
under two licences. po4a creates the translated man pages
from the combined 0BSD+GPLv2 xz-man.pot.

I haven't liked this mixing in xz-man.pot but the
Translation Project requires that all man pages must be
in the same .pot file. So a separate xz-man-gpl.pot
wasn't an option.

Since these man pages are short, rewriting them was quick enough.
Now xz-man.pot is entirely under 0BSD and marking the per-file
licenses is simpler.

As a bonus, some wording hopefully is now slightly better
although it's perhaps a matter of taste.

NOTE: In xzgrep.1, the EXIT STATUS section was written by me
in the commit d796b6d7fdb8b7238b277056cf9146cce25db604 so that's
why that section could be taken as is from the old xzgrep.1.

xzless: Update man page slightly.

The xz tool can decompress three file formats and xzless
has always supported uncompressed files too.

Translations: Change po/Makevars to add a copyright notice to po/xz.pot.

Translations: Update po/Makevars to use the template from gettext 0.22.4.

Also add SPDX license identifier now that there is a known license.

liblzma: Include the SPDX license identifier 0BSD to generated files.

Perhaps the generated files aren't even copyrightable but
using the same license for them as for the rest of the liblzma
keeps things more consistent for tools that look for license info.

liblzma: Fix compilation of price_tablegen.c.

It is built and run only manually so this didn't matter
unless one wanted to regenerate the price_table.c.

Add SPDX license identifiers to GPL, LGPL, and FSFULLR files.

Add SPDX license identifier into 0BSD source code files.

liblzma: Sync the AUTHORS fix about SHA-256 to lzma.h.

Change most public domain parts to 0BSD.

Translations and doc/xz-file-format.txt and doc/lzma-file-format.txt
were not touched.

COPYING.0BSD was added.

Fix SHA-256 authors.

The initial commit 5d018dc03549c1ee4958364712fb0c94e1bf2741
in 2007 had a comment in sha256.c that the code is based on
Crypto++ Library 5.5.1. In 2009 the Authors list in sha256.c
and the AUTHORS file was updated with information that the
code had come from Crypto++ but via 7-Zip. I know I had viewed
7-Zip's SHA-256 code but back then the C code has been identical
enough with Crypto++, so I don't why I thought the author info
would need that extra step via 7-Zip for this single file.

Another error is that I had mixed sha.* and shacal2.* files
when checking for author info in Crypto++. The shacal2.* files
aren't related to liblzma's sha256.c and thus Kevin Springle's
code in Crypto++ isn't either.

Remove macosx/build.sh.

It was last updated in 2013.

Doc: Remove doc/examples_old.

It was good to keep these around in parallel with the newer examples
but I think it's OK to remove the old ones at this point.