Move missing.h to shared directory

Move macro.h to shared directory

It's not really related to libkmod, so move it to a directory in which
we keep common stuff.

Add back-up implementation of be32toh()

Older systems may not have the be32toh function defined. Check for this
and fall back to checking the endianness and calling bswap_32 directly
if needed.  This works on both old and new systems.

[Thomas De Schampheleire <thomas.de.schampheleire@gmail.com>:
address comments raised by Lucas De Marchi [1], update commit message]
[1] http://www.spinics.net/lists/linux-modules/msg01129.html

Update TODO

Add the man page for kmod(8)

Document depmod --show in depmod(8)

libkmod-index.c: Fix error message

Add missing O_CLOEXEC in kmod_module_get_size()

kmod 18

testsuite: Fix macro missing format string

testsuite: Add basic tests for hash implementation

Far from complete, but already covers all internal APIs.

testsuite: Add assert_return

Add assert_return to use in testcases instead of assert. The issues
with assert are:
1) It's disabled when NDEBUG is defined
2) Even if it's well supported by testsuite (the parent will
   report the child died) it can't output any meaningful
   error message

testsuite: separate testcases on log

testsuite: check for correct error message in detect-loop

testsuite: Fix expected_fail parsing

If a test has expected_fail=true, it means the return code must be
different from 0 *and* the outputs must match. This way it's possible to
check if the error messages are printed as they should.

testsuite: Add braces

depmod: Add better error messages when facing loops

Since now depmod fails when there are module loops, let's at least give
better error messages, printing the loops we found. Since we may have
more than 1 loop, just printing the modules that are in loop is not
very clear.

Assuming as an example 2 independent loops, this is how the new messages
compare to the old ones:

Before:
depmod: ERROR: Found 5 modules in dependency cycles!
depmod: ERROR: /tmp/test-kmod//lib/modules/3.14.4-1-ARCH/kernel/moduleE.ko in dependency cycle!
depmod: ERROR: /tmp/test-kmod//lib/modules/3.14.4-1-ARCH/kernel/moduleB.ko in dependency cycle!
depmod: ERROR: /tmp/test-kmod//lib/modules/3.14.4-1-ARCH/kernel/moduleC.ko in dependency cycle!
depmod: ERROR: /tmp/test-kmod//lib/modules/3.14.4-1-ARCH/kernel/moduleD.ko in dependency cycle!
depmod: ERROR: /tmp/test-kmod//lib/modules/3.14.4-1-ARCH/kernel/moduleA.ko in dependency cycle!

After:
depmod: ERROR: Found 5 modules in dependency cycles!
depmod: ERROR: Cycle detected: moduleE -> moduleD -> moduleE
depmod: ERROR: Cycle detected: moduleB -> moduleC -> moduleA -> moduleB

testsuite: add test to fail depmod on module loops

depmod: Rename variable to clarify its meaning

In mod->modnamelen we were actually including the '\0', i.e.
strlen(modname) + 1. So rename it to modnamesz and add a comment in
depmod_module_is_higher_priority() to notice why it's correct since the
new one is really using strlen(modname).

Fix use-after-free in hash implementation.

If a value is added to the hash under a key that already exists the new value
replaces the old value for that key. Since key can be a pointer to data that
is part of value and freed by hash->free_value(), the key must be also
replaced and not only the value. Otherwise key potentially points to freed data.

Close /sys/module/$NAME directory if opening /proc/module fails.

Free abspath if kmod_module_new_from_path() fails.

Free realnames if kmod_lookup_alias_from_alias_bin() fails

Ensure read_long() reads the correct number of bytes from the index

Bail out of index_mm_open() if fstat() fails

depmod: Make dependency loops be fatal

Since the beginning depmod just warned about dependency loops and upon
creation of modules.dep{,.bin} it skipped the modules that were part of
a loop. However just skipping the modules may come as a surprise to
kernel module developers: they will need to try to load the module (or
to pay attention to the log messages) to notice thavt the module has not
been put in the index. Also, differently from module-init-tools we were
not skipping modules that depend on modules with dependency loops,
leading to a segfault in depmod.

So this is a summary of the change in behavior with this patch:

Loop 1)
    A -> B -> C -
    ^           |
    '------------

    Before:
        depmod: WARNING: found 3 modules in dependency cycles!
        depmod: WARNING: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleB.ko in dependency cycle!
        depmod: WARNING: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleC.ko in dependency cycle!
        depmod: WARNING: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleA.ko in dependency cycle!

        return code: 0

    After:
        depmod: ERROR: Found 3 modules in dependency cycles!
        depmod: ERROR: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleB.ko in dependency cycle!
        depmod: ERROR: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleC.ko in dependency cycle!
        depmod: ERROR: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleA.ko in dependency cycle!

        return code: 2

Loop 2)
    A -> B -> C -
         ^      |
         '-------

    Before:
        depmod: WARNING: found 2 modules in dependency cycles!
        depmod: WARNING: /tmp/test-kmod//lib/modules/3.14.2-1-ARCH/kernel/moduleB.ko in dependency cycle!
        depmod: WARNING: /tmp/test-kmod//lib/modules/3.14.2-1-ARCH/kernel/moduleC.ko in dependency cycle!
        Segmentation fault (core dumped)

    After:
        depmod: ERROR: Found 2 modules in dependency cycles!
        depmod: ERROR: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleB.ko in dependency cycle!
        depmod: ERROR: /tmp/test-kmod/lib/modules/3.14.2-1-ARCH/kernel/moduleC.ko in dependency cycle!

        return code: 2

The segfault above could be fixed, but let's just fail everything
because dependency cycles should be fixed in the modules rather than
just be skipped in the index.

man: fixup spacing/parens in modprobe.d(5)

Add gitignore to module playground

Remove references to systemd from the bash completion file

And restore the original LGPL disclaimer text.

testsuite: Add module playground dir

Make sure there's NUL byte at the end of strndupa

Since strcpy() doesn't ensure we have a NUL byte in the resulting
string, use alloca() + memcpy(). Also make sure we don't evaluate "s"
twice.

Add strndupa to missing.h

Update .travis.yml

 - Add cython to the dependencies, so it can compile the python bindings
 - Remove unecessary -Wno-error since now we don't use -Werror anymore.

kmod 17

testsuite: Remove duplicate test

This partially reverts ad7f175 ("Add test for depmod using search dirs
with same prefix"). Testing it twice in the inverted order doesn't
ensure we get the bug with wrong ordering.

As put by Anssi Hannula <anssi@mageia.org>:

So the bug is triggered only if the shorter name is higher-prio _and_
shorter name is traversed first. If the long name is traversed first,
the bug don't trigger with either "search" directive order (and on my
"make check" runs this is the case).

build-sys: enable python in bootstrap-configure

testsuite: Warn if sysconfdir is not /etc

testsuite: Do not run tests with *.ko.gz if zlib is not enabled

testsuite: Uncompress most modules

Only keep test-depmod/modules-order-compressed to test compressed module
support.

config: also parse softdeps from modules

This information can be found in /lib/modules/`uname -r`/modules.softdep, and
has only recently been exported by the kernel.

Also remove the advice about copying modules.softdep to /lib/modules as it is
not clear how to do this correctly with several kernels installed with
potentially conflicting soft dependencies.

libkmod: Ignore errors from softdeps

Before we had softdeps, the usual idiom was

install foo /sbin/modprobe bar; /sbin/modprobe --ignore-install foo

ignoring errors from the first modprobe invocation. This also matches
the behavior of module-init-tools' implementation of softdep.

build-sys: add hooks to build python bindings

Add --enable-python configure switch so we build the python bindings. We
also pass version.py through SED_PROCESS macro, so the version is kept
in sync with kmod.

Acked-by: Andy Grover <agrover@redhat.com>

python: Remove unused files from import

Acked-by: Andy Grover <agrover@redhat.com>

Merge branch 'master' of python-kmod

This is python-kmod is found in git@github.com:agrover/kmod.git
d5b6f22639c077b86659828bcc78dcedc9daaa94

Its history has being rewritten to prepare for a merge:

- Every commit has been prefixed with "python: " in its commit
  message
- s-o-b's have been removed
- Every file has been moved to libkmod/python directory

Some files don't make much sense anymore and are being removed
in this merge.

Acked-by: Andy Grover <agrover@redhat.com>

python: Issue #15: resovled by using setuptools_cython

python: Issue #15: Cython needs to be in setup_requires

We need Cython BEFORE installing kmod (done with setup_requires),
and AFTER installation - during runtime (done with install_requires)

python: Issue #15 Cython is now a dependency

python: update version to 0.9.1

python: Issue #13 skipping building extensions on non-Linux platforms

python: Make kmod.modprobe() raise an error if no modules found

Add 'quiet' option to override.

Add docstring.

python: Add self as maintainer to setup.py

python: Correct building for python 2.6

Reported-by: Oz Nahum Tiram <nahumoz@gmail.com>

python: add docstring to insert and remove methods

python: add docstring to rmmod

python: update version to 0.9

python: Update README

Last update changed API slightly:
* loaded_modules renamed to modules
* returns a module object instead of (name, size)

python: MANIFEST.in: add AUTHORS to distibuted source files.

python: Ran update-copyright.py.

python: .update-copyright.conf: update to pipe separators.

This brings the config file up to speed with the following
update-copyright commit:

  commit 3c68a1a48419d8b2bbc2ce0e7f1700b996ec30e9
  Author: W. Trevor King <wking@tremily.us>
  Date:   Fri Oct 19 21:52:48 2012 -0400

    project: for consistency, also separate ignored paths with pipes.

python: .update-copyright.conf: add MANIFEST.in to ignored files.

python: .update-copyright.conf: add Red Hat alias for Andy Grover.

He seems to be assigning copyright of files he writes to Red Hat.
Avoiding .mailmap so the git log will still attribute changes to him.
I'm not sure which name should go in the AUTHORS file.

python: .update-copyright.conf: add README.rst to ignored files.

python: .mailmap: consolidate Andy Grover email addresses.

python: .update-copyright.conf: add copyright configuration.

Use my external update-copyright package to maintain copyright blurbs.

http://pypi.python.org/pypi/update-copyright/

python: module: fix versions -> info typo in Module._info_get() error message.

python: Initialize Kmod.mod_dir to None in __cinit__().

python: Use an OrderedDict for Module.info (preserving modinfo ordering).

python: Add Module.info attribute.

python: Use Cython's libc.errno for EEXIST.

python: Add Module.versions attribute.

python: README.rst: add .rst symlink for GitHub.

python: README: mention Cython dependency.

python: README: cleanup reStructuredText syntax.

python: Add missing copyright blurbs.

python: Add docstrings to kmod.kmod and kmod.kmod.Kmod.

python: MANIFEST.in: add missing source to the sdist tarball.

python: Add additional out Module attributes (path, refcnt, ...).

python: Convert to Cython.

With Cython we get easier memory handling and Python 3 compatibility.

python: update FSF address in COPYING and COPYING.LESSER

Please FSF, never move again.

python: whitespace

python: add proper error handling to loaded_modules()

We need to check the result of basically all Py* calls and cleanup
properly if they fail.

python: Improve README's description of kmod

Based on text from kmod's README.

python: Make setup.py version match version in .c

python: Add README

python: More cleanup and renaming of stuff. Add docstrings.

python: Add support for listing loaded modules, modprobe, rmmod

And other misc. cleanups and changes.

python: use c99 init for struct init

move casts of pyobject -> kmodobject to the functions from the struct
init.

python: a skeleton that compiles

python: initial checkin

build-sys: try harder to shut up compiler wrt strict-aliasing

With -Wstrict-aliasing=2 we get the following warning:

libkmod/libkmod-signature.c:124:20: note: in expansion of macro 'get_unaligned'
  sig_len = be32toh(get_unaligned(&modsig->sig_len));

However there's nothing wrong with it. modsig->sig_len is uint32_t and
get_unaligned in this case returns uint32_t. There's notstrict aliasing
violation.

libkmod: Fix unaligned access

From Jan Engelhardt:

Program received signal SIGBUS, Bus error.
[Switching to process 11100]
0x00035278 in kmod_module_signature_info (file=0x4eeb8, sig_info=0xffffc254)
    at libkmod/libkmod-signature.c:124
124             sig_len = be32toh(modsig->sig_len);
(gdb) p modsig
$1 = (const struct module_signature *) 0xf7dfe143

modsig->sig_len can be unaligned if modsig is unaligned, so the padding
in the struct has no effect since we are mapping it to the mem buffer.

build-sys: Remove -Werror from CFLAGS

Just let the warnings be emmited, but don't fail on them.

build-sys: Remove bogus line causing warning

./configure: line 14316: xyes: command not found

We are not using have_manpages, so remove it.

Add test for depmod using search dirs with same prefix

Test depmod with search dirs "foo" and "foobar". Previously to 49b33c1
("depmod: do not allow partial matches with "search" directive") we were
failing this test due to matching the prefix without checking if
it's the full dir name.

We are adding 2 tests here in order to catch the case we only pass the
test due to processing the directories in a favourable order.

depmod: do not allow partial matches with "search" directive

Currently e.g. "search foo foobar built-in" will cause unpredictable
results if baz.ko is in both foo/ and foobar/, since "foo" in search may
match both of those directories and the preferred module therefore
depends on processing order.

Fix the code to ensure that the match is performed on full pathname
components only.

Add test for simple search order in depmod

depmod: fix debug print parameter order

libkmod-elf: Fix check by class in get_modversions()

Commit 51c409b ("Cache the offset of crc") unintentinally changed the
comparison "if (elf->class & KMOD_ELF_32)" to
"if (elf->class == KMOD_ELF_32)".

This has been reported by Serge Voilokov <serge0x76@gmail.com>:

On Raspberry PI elf->class equals KMOD_ELF_32|KMOD_ELF_LSB so
valid condition should be (elf->class & KMOD_ELF_32) instead of
(elf->class == KMOD_ELF_32).

This fixes "modprobe --dump-modversions" failing on 32b systems.

testsuite: Fix uname() during glibc startup

In a specific configuration (chroot with the linux32 personality), the
modprobe_install_cmd_loop test failed, because the bash process handling
the install command segfaulted. The backtrace showed a uname() call
during libpthread initialization, at which point the environ pointer
hadn't been initialized yet:

Program terminated with signal SIGSEGV, Segmentation fault.
#0  0x080c1591 in getenv (name=<optimized out>,
    name@entry=0xf775f850 "TESTSUITE_UNAME_R") at getenv.c:81
81       for (i = 0, len = strlen (name); environ[i]; i++)
(gdb) bt
#0  0x080c1591 in getenv (name=<optimized out>,
    name@entry=0xf775f850 "TESTSUITE_UNAME_R") at getenv.c:81
#1  0xf775f754 in uname (u=u@entry=0xff946350) at testsuite/uname.c:32
#2  0xf74ffc6c in is_smp_system ()
    at ../nptl/sysdeps/unix/sysv/linux/i386/smp.h:39
#3  __pthread_initialize_minimal_internal () at nptl-init.c:460
#4  0xf74fe32c in _init () at ../sysdeps/i386/crti.S:74
#5  0x00000000 in ?? ()
(gdb) p environ
$1 = (char **) 0x0

I don't know why it only happend in the chroot, but glibc can call its
own functions and impose any restrictions before main() is started, so
we have to adapt.

Also, do not return error if there is an environment, but the
environment variable is not found. If uname() is called by kmod, then
the respective test will simply fail later. If it's something else
calling uname(), then we do not want to disturb the program.

man: use systemd as example instead of udev

Nowadays udev doesn't create nodes in /dev anymore. This role is rather
taken by systemd-tmpfiles on early boot so reference it generically as
systemd.