Tests: Add a few test files.

Tests: Add MicroLZMA test.

Build: Define HAVE_MICROLZMA when it is configured.

xz: Fix Capsicum sandbox compile error.

user_abort_pipe[] was still being used instead of the parameters.

Build: Fix ARM64 CRC32 instruction feature test.

Old versions of Clang reported the unsupported function attribute and
__crc32d() function as warnings instead of errors, so the feature test
passed when it shouldn't have, causing a compile error at build time.
-Werror was added to this feature test to fix this. The change is not
needed for CMake because check_c_source_compiles() also performs
linking and the error is caught then.

Thanks to Sebastian Andrzej Siewior for reporting this.

CMake: Add LOCALEDIR to the windres workaround.

LOCALEDIR may contain spaces like in "C:\Program Files".

xz: Landlock: Fix error message if input file is a directory.

If xz is given a directory, it should look like this:

    $ xz /usr/bin
    xz: /usr/bin: Is a directory, skipping

The Landlock rules didn't allow opening directories for reading:

    $ xz /usr/bin
    xz: /usr/bin: Permission denied

The simplest fix was to allow opening directories for reading.
While it's a bit silly to allow it solely for the error message,
it shouldn't make the sandbox significantly weaker.

The single-file use case (like when called from GNU tar) is
still as strict as possible: all Landlock restrictions are
enabled before (de)compression starts.

liblzma: Disable branchless C version in range decoder.

Thanks to Sebastian Andrzej Siewior and Sam James for
benchmarking on various systems.

INSTALL: Clarify that --disable-assembler affects only 32-bit x86.

Windows: build.bash: Include COPYING.0BSD in the package.

Windows: build.bash: include liblzma-crt-mixing.txt in the package.

Windows: Major update to Windows build instructions.

Windows: Update windows/README-Windows.txt.

It's for binary packages built with windows/build.bash.

Windows: Update windows/build.bash.

Support for the old MinGW was dropped. Only MinGW-w64 with GCC
is supported now.

The script now supports also cross-compilation from GNU/Linux
(tests are not run). MSYS2 and also the old MSYS 1.0.11 work
for building on Windows. The i686 and x86_64 toolchains must
be in PATH to build both 32-bit and 64-bit versions.

Parallel builds are done if "nproc" from GNU coreutils is available.

MinGW-w64 runtime copyright information file was renamed from
COPYING-Windows.txt to COPYING.MinGW-w64-runtime.txt which
is the filename used by MinGW-w64 itself. Its existence
is now mandatory, it's checked at the beginning of the script.

The file TODO is no longer copied to the package.

Translations: Update the Romanian man page translations.

Translations: Update the Korean man page translations.

Translations: Update the Spanish translation.

Translations: Update the Romanian translation.

Translations: Update the Croatian translation.

Translations: Update the German man page translations.

Translations: Update the German translation.

Translations: Update the Hungarian translation.

CMake: Fix building of lzmainfo when translations are enabled.

CMake: Don't assume that -fvisibility=hidden is supported outside Windows.

The original code was good enough for supporting GNU/Linux
and a few others but it wasn't very portable.

CMake doesn't support Solaris Studio's -xldscope=hidden.
If it ever does, things should still work with this commit
as Solaris Studio supports not only its own __global but also
the GNU C __attribute__((visibility("default"))). Support for the
attribute was added in 2007 to Sun Studio 12 compiler version 5.9.

CMake: Revise the component splitting.

CMake: Update the main comment and document CMAKE_BUILD_TYPE=Release.

CMake: Use -O2 instead of -O3 in CMAKE_BUILD_TYPE=Release.

-O3 doesn't seem useful for speed but it makes the code bigger.
CMake makes is difficult for users to simply override the
optimization level: CFLAGS / CMAKE_C_FLAGS aren't helpful because
they go before CMAKE_C_FLAGS_RELEASE. Of course, users can override
CMAKE_C_FLAGS_RELEASE directly but then they have to remember to
add also -DNDEBUG to disable assertions.

This commit changes -O3 to -O2 in CMAKE_C_FLAGS_RELEASE if and only if
CMAKE_C_FLAGS_RELEASE cache variable doesn't already exist. So if
a custom value is passed on the command line (or reconfiguring an
already-configured build), the cache variable won't be modified.

CMake: Handle symbol versioning on MicroBlaze specially.

This is to match configure.ac.

CMake: Keep build working even if lib/*.[ch] are removed.

CMake: Install documentation.

CMake: Bump maximum policy version to 3.28.

CMP0154 doesn't affect us since we don't use FILE_SET.

CMake: Build lzmainfo.

CMake: Build lzmadec.

CMake: Add test_scripts.sh to the tests.

In contrast to Automake, skipping of this test when decoders
are disabled is handled at CMake side instead of test_scripts.sh
because CMake-build doesn't create config.h.

CMake: Install scripts.

Compared to the Autotools-based build, this has simpler handling
for the shell (@POSIX_SHELL@) and extra PATH entry for the scripts
(configure has --enable-path-for-scripts=PREFIX). The simpler
metho should be enough for non-ancient systems and Solaris.

Scripts: Use @PACKAGE_VERSION@ instead of @VERSION@.

PACKAGE_VERSION was already used in liblzma.pc.in.
This way only one version @foo@ is used.

CMake: Simplify symlink creation and install translated man pages.

It helps that cmake_install.cmake doesn't parallelize installation
so symlinks can be created so that the target is always known to
exist (a requirement on Windows in some cases).

This bumps the minimum CMake version from 3.13 to 3.14 to use
file(CREATE_LINK ...). It could be made to work on 3.13 by
calling "cmake -E create_symlink" but it's uglier code and
slower in "make install". 3.14 should be a reasonable version
to require nowadays, especially since the Autotools build
is still the primary build system for most OSes.

CMake: Add support for building and installing xz with translations.

If gettext tools are available, the .po files listed in po/LINGUAS
are converted using msgfmt. This allows building with translations
directly from xz.git without Autotools.

If gettext tools aren't available, the Autotools-created .gmo files
in the "po" directory will be used. This allows CMake-based build
to use translations from Autotools-generated tarball.

If translation support is found (Intl_FOUND) but both the
gettext tools and the pre-generated .gmo files are missing,
then "make" will fail.

liblzma: Remove commented-out code.

xz: Delete old commented-out code.

xz: Use stricter pledge(2) and Landlock sandbox.

This makes these sandboxing methods stricter when no files are
created or deleted. That is, it's a middle ground between the
initial sandbox and the strictest single-file-to-stdout sandbox:
this allows opening files for reading but output has to go to stdout.

xz: Support Landlock ABI version 4.

Linux 6.7 added support for ABI version 4 which restricts
TCP connections which xz won't need and thus those can be
forbidden now. Since the ABI version is handled at runtime,
supporting version 4 won't cause any compatibility issues.

Note that new enough kernel headers are required to get
version 4 support enabled at build time.

xz: Move sandboxing code to sandbox.c and improve Landlock sandbox.

Landlock is now always used just like pledge(2) is: first in more
permissive mode and later (under certain common conditions) in
a strict mode that doesn't allow opening more files.

I put pledge(2) first in sandbox.c because it's the simplest API
to use and still somewhat fine-grained for basic applications.
So it's the simplest thing to understand for anyone reading sandbox.c.

xz: Tweak comments.

xz: Fix message_init() description.

Also explicitly initialize progress_automatic to make it clear
that it can be read before message_init() sets it. Static variable
was initialized to false by default already so this is only for
clarity.

Build: Makefile.am: Sort EXTRA_DIST.

Dirs first, then files in case-sensitive ASCII order.

Build: Don't install TODO.

Translations: Update the Korean man page translations.

Translations: Update the Korean translation.

Build: Install translated lzmainfo man pages.

All other translated man pages were being installed but
lzmainfo had been forgotten.

liblzma: Avoid implementation-defined behavior in the RISC-V filter.

GCC docs promise that it works and a few other compilers do
too. Clang/LLVM is documented source code only but unsurprisingly
it behaves the same as others on x86-64 at least. But the
certainly-portable way is good enough here so use that.

liblzma: Wrap a line exceeding 80 chars.

liblzma/rangecoder: Exclude x32 from the x86-64 optimisation.

The x32 port has a x86-64 ABI in term of all registers but uses only
32bit pointer like x86-32. The assembly optimisation fails to compile on
x32. Given the state of x32 I suggest to exclude it from the
optimisation rather than trying to fix it.

Signed-off-by: Sebastian Andrzej Siewior <sebastian@breakpoint.cc>

Translations: Update the Spanish translation.

Translations: Update the Swedish translation.

Translations: Update the Polish translation.

Translations: Update the Ukrainian translation.

Translations: Use the same sentence in xz.pot-header that the TP uses.

Fix typos discovered by codespell.

Translations: Update the Ukrainian man page translations.

Translations: Update the Ukrainian translation.

Translations: Omit the generic copyright line from man page headers.

Update m4/.gitignore.

Tests: tuktest.h: Treat Clang separately from GCC.

Don't assume that Clang defines __GNUC__ as the extensions
are available in clang-cl as well (and possibly in some other
Clang variants?).

Tests: tuktest.h: Add a missing word to a comment.

Tests: tuktest.h: Fix the comment about STest.

Bump version for 5.5.2beta.

liblzma: Fix validate_map.sh.

Adding the SPDX license identifier changed the line numbers.

Build: Start the generated ChangeLog from around 5.4.0 instead of 5.2.0.

Fixed NEWS for 5.5.2beta.

liblzma: Silence warnings in --enable-small build.

Build: Install COPYING.0BSD as part of docs.

Docs: List COPYING.0BSD in README.

Docs: Include doc/examples/11_file_info.c in tarballs.

It was added in 2017 in c2e29f06a7d1e3ba242ac2fafc69f5d6e92f62cd
but it never got into any release tarballs because it was
forgotten to be added to Makefile.am.

liblzma: Silence a warning.

Add NEWS for 5.5.2beta.

xz: Mention lzmainfo if trying to use 'lzma --list'.

This kind of fixes the problem reported here:
https://bugs.launchpad.net/ubuntu/+source/xz-utils/+bug/1291020

liblzma: Add comments.

Scripts: Add lz4 support to xzgrep and xzdiff.

liblzma: Choose the range decoder variants using a bitmask macro.

xz: Fix outdated threading related info on the man page.

liblzma: Range decoder: Add x86-64 inline assembly.

It's compatible with GCC and Clang.

liblzma: Range decoder: Add branchless C code.

It's used only for basic bittrees and fixed-size reverse bittree
because those showed a clear benefit on x86-64 with GCC and Clang.
The other methods were more mixed and thus are commented out but
they should be tested on other archs.

liblzma: Clarify a comment.

liblzma: LZMA decoder: Optimize loop comparison.

But now it needs one more local variable.

liblzma: Optimize literal_subcoder() macro slightly.

liblzma: LZ decoder: Add unlikely().

liblzma: LZ decoder: Remove a useless unlikely().

liblzma: Optimize LZ decoder slightly.

Now extra buffer space is reserved so that repeating bytes for
any single match will never need to copy from two places (both
the beginning and the end of the buffer). This simplifies
dict_repeat() and helps a little with speed.

This seems to reduce .lzma decompression time about 2 %, so
with .xz and CRC it could be slightly less. The small things
add up still.

liblzma: LZMA decoder: Get rid of next_state[].

It's not completely obvious if this is better in the decoder.
It should be good if compiler can avoid creating a branch
(like using CMOV on x86).

This also makes lzma_encoder.c use the new macros.

liblzma: LZMA decoder improvements.

This adds macros for bittree decoding which prepares the code
for alternative C versions and inline assembly.

liblzma: Creates Non-resumable and Resumable modes for lzma_decoder.

The new decoder resumes the first decoder loop in the Resumable mode.
Then, the code executes in Non-resumable mode until it detects that it
cannot guarantee to have enough input/output to decode another symbol.

The Resumable mode is how the decoder has always worked. Before decoding
every input bit, it checks if there is enough space and will save its
location to be resumed later. When the decoder has more input/output,
it jumps back to the correct sequence in the Resumable mode code.

When the input/output buffers are large, the Resumable mode is much
slower than the Non-resumable because it has more branches and is harder
for the compiler to optimize since it is in a large switch block.

Early benchmarking shows significant time improvement (8-10% on gcc and
clang x86) by using the Non-resumable code as much as possible.

liblzma: Creates separate "safe" range decoder mode.

The new "safe" range decoder mode is the same as old range decoder, but
now the default behavior of the range decoder will not check if there is
enough input or output to complete the operation. When the buffers are
close to fully consumed, the "safe" operations must be used instead. This
will improve speed because it will reduce the number of branches needed
for most of the range decoder operations.

doxygen/footer.html: Add missing closing tags and don't open a new tab.

The footer template from Doxygen has the closing </body> </html>
as Doxygen doesn't add them otherwise.

target="_blank" was omitted as it's not useful here but
it can be slightly annoying as one cannot just go back
in the browser history.

Since the footer links to the license file in the same
directory and not to CC website, the rel attributes
can be omitted.

Tweak the expressions in AUTHORS.

Translations: Add the man page translators into man page header comment.

It looked odd to only have the original English authors listed
in the header comments of the translated files.

Translations: Translate also messages of lzmainfo.

lzmainfo has had translation support since 2009 at least but
it was never added to po/POTFILES.in so the messages weren't
translated. It's a very rarely needed tool so it's not too bad.

This also adds src/xz/mytime.c to po/POTFILES.in although there
are no translatable strings. It's simpler this way so that it
won't be forgotten if strings were ever added to that file.

Translations: Add custom .pot header with SPDX license identifier.

The same is used for both po/xz.pot and po4a/xz-man.pot.

Translations: po4a/update-po: Add copyright notice to xz-man.pot.

All man pages are under 0BSD now so this is simple now.

Update COPYING about the man pages of the scripts.