]> git.ipfire.org Git - thirdparty/zstd.git/commit
Fix superblock mode (#2100)
authorNick Terrell <terrelln@fb.com>
Fri, 1 May 2020 23:11:47 +0000 (16:11 -0700)
committerGitHub <noreply@github.com>
Fri, 1 May 2020 23:11:47 +0000 (16:11 -0700)
commite103d7b4a64c6321bb3ac4df07899ea09c3edbb2
tree28a68bb72587e35b75f3064d171b9764c067744b
parent0eaaa4d3a7c2515727d702cac4a253c091b37832
Fix superblock mode (#2100)

Fixes:

Enable RLE blocks for superblock mode
Fix the limitation that the literals block must shrink. Instead, when we're within 200 bytes of the next header byte size, we will just use the next one up. That way we should (almost?) always have space for the table.
Remove the limitation that the first sub-block MUST have compressed literals and be compressed. Now one sub-block MUST be compressed (otherwise we fall back to raw block which is okay, since that is streamable). If no block has compressed literals that is okay, we will fix up the next Huffman table.
Handle the case where the last sub-block is uncompressed (maybe it is very small). Before it would skip superblock in this case, now we allow the last sub-block to be uncompressed. To do this we need to regenerate the correct repcodes.
Respect disableLiteralsCompression in superblock mode
Fix superblock mode to handle a block consisting of only compressed literals
Fix a off by 1 error in superblock mode that disabled it whenever there were last literals
Fix superblock mode with long literals/matches (> 0xFFFF)
Allow superblock mode to repeat Huffman tables
Respect ZSTD_minGain().
Tests:

Simple check for the condition in #2096.
When the simple_round_trip fuzzer enables superblock mode, it checks that the compressed size isn't expanded too much.
Remaining limitations:

O(targetCBlockSize^2) because we recompute statistics every sequence
Unable to split literals of length > targetCBlockSize into multiple sequences
Refuses to generate sub-blocks that don't shrink the compressed data, so we could end up with large sub-blocks. We should emit those sections as uncompressed blocks instead.
...
Fixes #2096
lib/common/huf.h
lib/common/zstd_internal.h
lib/compress/huf_compress.c
lib/compress/zstd_compress.c
lib/compress/zstd_compress_internal.h
lib/compress/zstd_compress_literals.c
lib/compress/zstd_compress_superblock.c
lib/compress/zstd_compress_superblock.h
lib/compress/zstd_opt.c
tests/fuzz/simple_round_trip.c
tests/fuzzer.c