jobs: Upload packages after the build is done

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

buildservice: Simplify how it is being initialized

This make this all more re-usable in other places.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

build: Add a result callback and use it in the CLI builder

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

repo: Add a function that imports an archive

I know that we have been doing this in so many places, but hopefully
this is now the new (soon to be unified) way to do this.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

build: Drop old code that copies the packages after build

This is broken and needs to be replaced by something more custom.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

package: Make a function available to all that generates the filename

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

repo: Pass the package as well as the archive

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

repos: Add a convenient way to iterate over all local archives

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

build: Remove remains of some logging callback

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

packages: Fix group parsing for legacy package formats

In older package formats, we stored the groups as a string. The current
test package is in this format and the added code ensures that we can
parse the group.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

tests: Fix running Python tests

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

archive: Use the branch prediction macros in potentially hot code

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

strings: Use the branch prediction macros in potentially hot code

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

util: Introduce macros to tell the compiler how likely branches are

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

arch: Use our own string comparison function

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

string: Make setting a string faster

This avoids calling a lot of libc functions that we actually don't need.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

build: Ensure the ccache directory exists or create it

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Always append a / to the base URL

When cURL merges URLs it will cut off the last part if the URL is not
terminated with /.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

string: Add a function to append something to a string

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Don't crash if xfer finishes too early

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

deps: Remove unused variable

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Return an error if we could not subscribe to signals

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

cgroup: Initialize return value in case there are no children

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

ELF: Initilize r just in case the binary has no program headers

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

repo: Initialize return value on scan just in case we find no files

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Refactor fetching dependencies and re-use existing code

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Minor code cleanups in Solution class

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Identify as "pakfire" and not "_pakfire"

The module was renamed some time ago.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Use the string array function for arches

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Drop file handle wrapper

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Use strings functions to free strings in Package

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Minor code cleanups in the Package class

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

configure: Fix config.h

PACKAGE_VERSION was accidentially redefined which rendered all compiler
checks broken which then wiped out all custom CFLAGS that we have been
using.

This patch adds a new variable with the full version which fixes the
problem.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Remove setters from Package

We don't need to modify anything, we just want to read this all.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

pakfire: Don't mess with rlimit

This should not be here, because we will run this in the Python module
which is loaded by some other process. If anything we should only set
this on processes that we control, but currently I have never run into
this becoming a problem.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

pakfire: Drop the distro check

I don't remember why I added this, but it is an obstruction when we
launch Pakfire in the build service without any configuration just to
open an archive or something like that.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Fail with a more simple return value

There is no way to extrapolate why the function call has failed but
reading the log.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Take configuration as string and fix return values

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

config: Don't try to parse an empty input

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

deps: Remove debug line

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Install the Python module to the right location

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Let systemd tell us when it is shutting down

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Prevent the system from shutting down when jobs are running

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Decrement the running job counter when a job has finished

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Connect to the system dbus

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Submit stats a little bit less often

I don't think we need stats that often when the host is idle, and even
when it is busy, once every 15 seconds sounds fine to me.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Once the job has exited, we need to remove it from the daemon

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jobs: Make pakfire_job_exited static

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Build some experimental function to stream the log to the build service

This does not seem to be called often enough. If, however, we don't send
-EAGAIN we will be called as fast as possible starving the loop.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Write all received logs into the buffer only

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Send a crash report in case the job crashes

This currently does not seem to be able to send the log because it never
ends up in our buffer.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

log buffer: Add a function to dump everything

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Log to the console when in debug mode

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

log buffer: Make the dequeue operation zero-copy

Since we already have a copy of the data which will no longer need, we
can keep our internal pointer and just skip freeing it.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

log buffer: Keep count of the current number of lines

This avoids the rather expensive counting operation.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

repo: Avoid double-free when downloading files

We pass control over f to xfer which will close it, so we cannot call
fclose() ourselves any more.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Rename the configuration attribute in message

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

deps: Make the pool for version comparisons persistent

This should perform better on the build service when we are sorting
packages, etc. since we can re-use the pool/string pool and
serialization.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Try to include the build ID in Pakfire's version

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

os: Actually read some stuff from DMI

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Reset the reconnection timer on connect

This used to be reset in the wrong place; when a build job was received.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Send information that does not change only once

We used to send a lot of unnecessary stuff when we submitted stats. The
CPU model usually does not change, and so we will only send it once when
we connect.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Add function to append query arguments

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Free and re-allocate the full URL

This is necessary so that we won't carry over anything from the first
run in case we have to update the URL later.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Read more system information and sent it to the build service

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

os: Implement some custom CPU model detection for ARM

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Apply architecture to apt preferences

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Support reading the keytab from config

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

debian: Try forcing to build against cURL 8.11

Since we only use the control files to build Debian packages, we can
probably hard-code some specific versions here to make our objective
work.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Ensure we use libcurl on Debian Bookworm

apt-get build-dep does not seem to care about our local preferences
which is why we afterwards have to force-install the correct packages.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

python: Enable coverage tests, too

We should also check coverage for the Python modules. We might not
want/be able to get this to 100%, but a little bit is better than
nothing and it would also be very helpful to know what we actually
cannot cover.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

debian: Automatically uninstall the former libpakfire package

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Remove the range option from lcov

This is not understood by older versions.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

jenkins: Run LCOV tests on Debian Bookworm

Debian Trixie seems to generate some problems and I don't know how to
work around them now.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

debian: Don't pick a certain version of cURL

Debian provides multiple versions, but we actually don't really care
which one is being used. OpenSSL is used in Pakfire itself, but hey,
what does another library do?

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Configure Kerberos authentication

This will make sure the daemon stays authenticated and it will have its
own credentials cache. We will register a timer so that we will
automatically refresh the credentials whenever it is time.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

src/string: implement macro for function pakfire_format_speed

Signed-off-by: Rico Hoppe <rico.hoppe@ipfire.org>

tests/string.c: implemented a test for the pakfire_format_speed function

Signed-off-by: Rico Hoppe <rico.hoppe@ipfire.org>

buildservice: Don't send "(null)" as repository name if none given

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Tolerate receiving an empty API response

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

httpclient: Rename to self

No functional changes.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

httpclient: Split dequeue and removing the handle

This helps us to simplify the reference counting for queued xfers, but
at the same time we can hold a reference to connected websockets.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

httpclient: Don't terminate the loop if we don't control it

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Don't store the configuration as string, parse it straight away

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

job: Free any held resources after connecting to a job controller

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Don't exit too early to remove any websocket connects

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

daemon: Don't exit too early to unref the xfer

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Ensure we are uploading from the beginning of the file

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

xfer: Fail if the uploaded file could not be stat'ed

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

archive: Increase the block size

This will use a little bit more memory per opened archive, but will make
extraction somewhat faster. Extracting the snapshot shrinks from about
25 to 23 seconds on my system.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

archive: Don't try to set fadvise() on an invalid fd

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

archive: Ensure r is always set correctly

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

archive: Fix setting the error message

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

archive: Ensure we are only opening regular files

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

key: Make dumping a key less braindead

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

util: Remove function to read file contents into a buffer

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

util: Map JSON strings into memory

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

keys: Map them into memory

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

build: Map scripts instead of reading them

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

PTY: Check if we have a file descriptor before reading from it

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>