Add system zchunk support

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Make sure that targeted updates don't do reinstalls

We already had code in add_update_target() to do this, but it did
not cover the multiversion case where more than one package with
the same name is installed.

Improve handing over of the parant kv in subarray searches

We now pass it disguised as keyskip.

Change data_fetch so that it always returns the first entry

It did something different for fix/flexarrays.

Allow writing of repodatas in state LOADING

Broken with commit 241123391fdbd0fa4b38b2a30b78e85de9c9fd5d

Generalize uninternalized lookups

We now have the generic repodata_lookup_kv_uninternalized and
repodata_search_uninternalized to access uninternalized data.

Drop the old interface, the functions were only used in some
metadata parsers. So it's an API change but nobody should notice.

Fix share handling in repo2solv

We only search the uninternalized data for the repodata we're
extending, so we need to internalize the data before adding
new repodata areas.

Fix shared handling for 'susetags2solv -d'

We need to record the share data, otherwise we miss the share
information when extending the packages.

Add some casts so that the C++ compiler does not complain

Change order of known ids a bit

INCOMPATIBLE ABI CHANGE

Drop internal data_skip_verify function

Nobody used it.

Support reading of TYPE_DELETED keys

Bring repodata_lookup_num in sync with repo_lookup_num

It used to return a boolean if the num was found and write
the num over a pointer. This was done because repo_lookup_num
needed to iterate over all repodatas and thus needed to know
if the keyname existed or not.

Nowadays we use repo_lookup_repodata_opt to find the correct
repodata, so we do no longer need the boolean return value.
So we can make repodata_lookup_num work like repo_lookup_num.

This is an INCOMPATIBLE API CHANGE but I'm pretty sure nobody
uses repodate_lookup_num, so this should not hurt anybody.

(You can use a call to repodata_lookup_type to check if the
repodata really contains the num in case the "notfound" value
is returned.)

Implement the REPOWRITER_KEEP_TYPE_DELETED flag

Drop undocumented old cruft from the tools code

This is mainly the -b and -n options, which were used to
test solv extension files in the long ago past.

Add new repowriter interface to write a solv file

This replaces the old write_filtered functions that could
not be extended easily. The old functions are deprecated, do
not use them in new code!

drop stuff from TODO list

repo_rpmdb: use new repodata_search_arrayelement method

Add repodata_search_arrayelement method

This searches an element of an array referenced by the kv.

Add repodata_translate_dir method

This translates a dir id from one repodata to another. Change
repo_rpmdb to use it when copying solvables.

repo_add_solv: check that arrays have incore storage

Also fix a tiny bug in the vdata handling.

data_fetch: set kv->entry to -1 in array case

Not that the code is used anywhere...

rpmdb2solv: support including the package changelogs

Second part of fixing the longstanding bug

Change dataiterator, repo_search, and repo_write so that it
uses only the value in the last repodata if multiple repodata
sections have an entry for the keyname.

We do this by first setting up a keyskip array that maps
keynames to a base + repodataid value. We skip a key
if the repodataid does not match the entry in the keyskip
array.

The base is used so that we do not have to clear the array
for the next search. Instead, the base is simply set to a
value greater than all the current entries.

WARNING: As this adds two new elements to the Dataiterator,
this is an INCOMPATIBLE ABI CHANGE. We'll use this to do
a couple of cleanup commits in the next days that have been
postponed until now. We'll bump the soname before doing the
next release.

Add missing repodata methods to bindings

lookup_id()
lookup_num()
lookup_void()
set_num()
set_void()
set_location()
unset()

Cosmetics: fix spaces

Rewrite addfileprovides

It should now mirror what repo_lookup_filelist_repodata does.
It should also be quite a bit faster than the old code.

With the new code SEARCH_COMPLETE_FILELIST is the default.

We may add a SEARCH_FILTERED_FILELIST flag in the future if
there is a use case.

Add an internal repodata_lookup_packed_dirstrarray function

This is faster than using repo_search to iterate over the
filelist. We will use it in the new addfileprovides code.

Support custom filelist filters.

REPOSITORY_FILTEREDFILELIST can now be an idarray where each
element is a glob pattern.

Change lookup/search code that it returns the match from the last repodata

This is the first part of fixing a longstanding bug. This fixes
the lookup cases and the case where a keyname is provided in the
search/iterator.

We do this by adding a repo_lookup_repodata function that returns the
last repodata that has the specified keyname.

There is also a repo_lookup_repodata_opt function that may return
a repodata that does not contain the keyname instead of NULL. This
is a bit faster if you need to do a lookup anyway.

We also now have a repo_lookup_filelist_repodata that contains all
the logic to deal with filtered filelists.

repo_search: stringify filenames if requested

This brings repo_search in sync with what the data iterator
code does.

Add REPOSITORY_FILTEREDFILELIST id and filelist type

REPOSITORY_FILTEREDFILELIST is used to mark that the filelist
in the repodata is filtered with some filter.

The commit also adds a filelisttype element to the repodata
and sets it to filtered if REPOSITORY_FILTEREDFILELIST is set.
It also sets the filelisttype to extension if the repodata
has a filelist and was generated by extending solvables.

We'll use the filelisttype later to decide if we should use
the filtered filelist when searching for files.

Cosmetics: rename repodata_load_stub to repodata_stub_loader

Also keep the callback when loading a stub with repo_add_solv,
as some tools use it as indicator if the repodata was a stub.

Make repo_matchvalue static and remove it from list of exported symbols

It was never declared in a header file. Furthermore it needs
an internal struct definition to work, so nobody from outside
can use it anyway.

Move repodata_filelistfilter_matches into filelistfilter.c

We'll later extend this to support custom filelist filters.

Split away repodata_load

This can be used to force loading of a stub repodata.

Cosmetics: save some space

Work around bogus uninitialized warning from gcc

Also add autopatterns for the system repo

Should have been in commit 276e7586cce0535c194336cd2a3bac9d4f5805e1

libzstd is available on leap15 but not on sle15

Fix out of bounds compilation warning

When compiling with -D_FORTIFY_SOURCE=2, gcc raises the following
warning:

    In file included from /usr/include/string.h:494,
                     from /build/libsolv/src/libsolv-0.6.35/src/policy.c:16:
    In function ‘memcpy’,
        inlined from ‘urpm_reorder.isra.18’ at /build/libsolv/src/libsolv-0.6.35/src/policy.c:1239:9:
    /usr/include/bits/string_fortified.h:34:10: warning: ‘__builtin_memcpy’ forming offset 8 is out of the bounds [0, 7] [-Warray-bounds]
       return __builtin___memcpy_chk (__dest, __src, __len, __bos0 (__dest));
              ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Culprit code is:

     memcpy(kn, "kernel", 8);
     memcpy(kn + 6, flavor, release - flavor + 1);

The first memcpy copies 8 bytes whereas the string "kernel" as only 7
bytes. It does not have serious consequence since the second memcpy
overwrites the unwanted byte. Anyway, it is better to fix it.

Add changes, bump version to 0.6.35

Fix indent

Make the arch score unsigned int

Bring id2color check in poolarch.c in sync with poolarch.h

Also use unsigned int when bounds checking pool_arch2color()

This is done so that the code doesn't crash when you pass
a rel id.

Refactor arch handling

lastarch is no longer the last element of id2arch, but now the
size of the array. This means that lastarch == 0 now reliable means
that no architecture was set.

To be compatible to old versions we over-allocate id2arch so that
id2arch[lastarch] is always zero.

There's also a new pool_arch2score function that abstracts accessing
the id2arch array.

Allow zchunk files with zero chunks

zchunk: fix bounds check in getuint

Refactor checksum parsing

Also fix number of chunks handling, it includes the first dictionary
chunk.

Adapt to zchunk format change

Add generated manpage as well

Fix RPMDB_KEEP_GPG_PUBKEY handling

Add manpage for solv tool

Eek, fix typo

Adapt for changed pubring naming in gpg

Fix getinstalledrpmdbids handling of the match attribute

We currently have to iterate through all package names
because rpm lacks an interface to just get one specific name.

no bindings for sles11

No python3 in SLE11

libzstd is only available for >= leap15

Add back missing changes line

Update the spec to current standards

Based in pull request 250 by Neil Gompa and Tomas Chvatal.

zchunk: support extracting of streams other than "1"

Fix parsing of susetags when the content file does not have a DESCRDIR entry

Build with zstd and zchunk support

Fix reading of content file in susetags

Drop the patchcheck tool

Nobody uses and maintains it anymore.

Add compat symlink for repo2solv

Move old repo2solv.sh into examples

Fix bug in susedata languages extension

Adding new repodatas may corrupt the current dataiterator,
so we need to first collect all entries and then add them
afterwards.

Add repo2solv manpage

Add new repo2solv tool replacing the old shell script

Add missing solv_zchunk.h file

Oops. Should look more carful at the untracked files list.

solv_zchunk: bite should be unsigned int

Get rid of some warnings

Support zchunk compression

Fix handling of deleted keys in repo_search when a keyname is given

Export repodata_set_kv and make use of it in repo_rpmdb.c

Support saving the solvable dependencies as normal idarray

The default is still relidarray, i.e. sorted arrays.

Support solvable dependency arrays of type REPOKEY_TYPE_IDARRAY

Refactor pool_resize_rels_hash

Refactor internal stringpool_resize_hash function

Support zstd compression

Merge pull request #274 from ignatenkobrain/solvable2id

add pool_solvable2id()

bindings: fix dir2str function return type

Fixes: 316c436de3b57e1c22d8368b366ef62a66d72e8e
Signed-off-by: Igor Gnatenko <i.gnatenko.brain@gmail.com>

add pool_solvable2id()

Signed-off-by: Igor Gnatenko <i.gnatenko.brain@gmail.com>

Fix fp double close, work around some false positives from covscan

Merge pull request #273 from dbnicholson/deb-control-size

Bump debian control.tar size limit

Bump debian control.tar size limit

Increase the arbitrary control.tar limit from 1 MB to 16 MB. We came
across an openjdk-7-jdk package that had a 2.4MB control.tar.gz and
libsolv failed to parse it. dpkg doesn't actually apply a limit to these
files.

Tweak documentation of add_dirstr method

Merge pull request #271 from ignatenkobrain/python

bindings: expose repodata_str2dir, repodata_dir2str and repodata_add_…

bindings: expose repodata_str2dir, repodata_dir2str and repodata_add_dirstr

Signed-off-by: Igor Gnatenko <i.gnatenko.brain@gmail.com>

Remove wrong solv_free(data->vincore) in repodata_internalize

We're extending the old buffer, so the free is always wrong.

Merge pull request #262 from j-mracek/const

Add const for second variable

Merge pull request #266 from ignatenkobrain/typo

doc: fix typo

Add RPMDB_KEEP_GPG_PUBKEY flag

Add const for second variable

The second variable is used as a source for copy and it is not modified
therefore it should be marked as s const. Then it is more easy to identify what
is source and what is target and also it is clear that the source variable will
be not modify by the function.

Additionally it allows to use const map or queue to create a copy or other
operations.

doc: fix typo

Signed-off-by: Igor Gnatenko <i.gnatenko.brain@gmail.com>

Tweak source heuristic in ENABLE_RPMPKG_LIBRPM case

Use HEADERGET_MINMEM to make the code faster and save some memory.