inst_script should call inst_simple (#750603)

inst_script checks for a shebang, if it doesn't exist it exits.
If it does it should not be calling inst_binary, it should call
inst_simple like it used to.

apply-live-updates.sh: copy without glob

cp $SRC/* $DEST will skip dotfiles in $SRC.
( cd $SRC; cp -a -t $DEST . ) will copy everything.

remove the xen dracut module

The Xen module is unnecessary and it has been for a while.
Most Xen systems will not be using the module, even now, because
xen-detect is not installed by default on most Xen systems, and
dracut uses xen-detect to decide whether to include the module.

It also has some problems:

1) it does not try loading xen_platform_pci;

2) it loads modules unnecessarily; modules.alias is where all Xen support
should reside.  Assuming xenbus_probe_frontend and xen_platform_pci
are loaded so that Xen devices are probed, other modules are picked up
automatically thanks to aliases such as

    alias xen:vbd xen_blkfront

3) Even not-so-recent kernels (say 2.6.32) require the xen_platform_pci
and xenbus_probe_frontend modules even for non-paravirtualized guests.
60xen/module-setup.sh picks the module only for PV guests.

So, just require xenbus_probe_frontend to be builtin, and also
xen_platform_pci for fully-virtualized guests, and remove the module.

Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>

dracut.spec: require new util-linux version with new switch_root

new switch_root knows how to handle "/run"

dracut.spec: apply patches with git

This will take all renames and mode changes.

dracut-functions:inst_script() call inst_binary() with found bin

call inst_binary() with the already found executable to prevent
searching for the binary again

dracut-functions: do not install files from current directory

Protect against relative pathnames without a slash for all inst_*()
functions.

90livenet: do not install by default

90dmsquash-live: do not install by default

90livenet/module-setup.sh: silence check for wget

dracut-functions: inst_dir() handle relative symlinks

dracut-logger: re-set debugging

90livenet: check() for wget

minor changes

- in 10i18n - do stty -iutf8 on non-utf8 consoles, for consistency with
  iutf8 on utf8 ones
- vim modeline in xml file

Signed-off-by: Michal Soltys <soltys@ziu.info>

99base/dracut-lib.sh: add /etc/cmdline/*.conf parsing

modules and overlay images can set default kernel command line
parameters in /etc/cmdline/*.conf in the initramfs.

99base/init: fix check for in kernel polling

*/module-setup.sh: turn off debugging for module search

turn off debugging for module search, because it clutters the debug log

95udev-rules/module-setup.sh: correctly create udevd symlink

netroot: do not die, if arping failed

check root candidates more carefully

This is from the following thread:

http://thread.gmane.org/gmane.linux.raid/35753/focus=35795

Additional tests + more specific info.

Signed-off-by: Michal Soltys <soltys@ziu.info>
[harald@redhat.com: usable_root(): relaxed check for root]

dmsquash-live: fix log message about root/liveroot

dracut-lib.sh: fix dropped backslashes in CMDLINE

The "read" shell builtin consumes backslashes, which is a problem if
your root device is something like "LABEL=Fedora\x2016".

Using "read -r" tells the shell to leave backslashes alone.

dracut: remove duplicate options

'-I' and '--fwdir' were both read_arg and push_arg, and the latter has
priority.

Signed-off-by: Michal Soltys <soltys@ziu.info>

explicitly verify bash version

A simple check in main dracut script.

Signed-off-by: Michal Soltys <soltys@ziu.info>

bash3 compat patch

This patch replaces:

- {var}>... redirections with functionally identical eval construct +
  explicit FDs
- ^^ and ,, case modifiers with temporary shopt

This allows us to lower minimum required bash version
to at least 3.1 (with current code).

Signed-off-by: Michal Soltys <soltys@ziu.info>

dracut.conf.5.xml: tag mismatch fix

build failed with:
xsltproc -o dracut.conf.5 -nonet http://docbook.sourceforge.net/release/xsl/current/manpages/docbook.xsl dracut.conf.5.xml
dracut.conf.5.xml:169: parser error : Opening and ending tag mismatch: para line 168 and listitem
        </listitem>

Fix it by change to </para> at the end

Signed-off-by: Dave Young <dyoung@redhat.com>

95udev-rules/module-setup.s: fixed symlink for udevd to initdir

dracut.*.xml: s/exisiting/existing/g

dracut-functions: conv/normalize minor corrections

mostly with reference to earlier commit:

- bash doesn't need unsetting locals
- make normalize_path() a bit faster, also make sure we remove all
  trailing slashes
- normalize paths before tests

Signed-off-by: Michal Soltys <soltys@ziu.info>

manuals: add info about fs-lib (fsck) configuration

in dracut.8.xml & dracut.conf.5.xml

Signed-off-by: Michal Soltys <soltys@ziu.info>

fs-lib: add ability to choose fsck tools

in dracut.conf:

fscks="<tools>"
nofscks="yes"

and similary on command line:

--fscks [LIST] (in addition to conf's, if defined there)
--nofscks

Signed-off-by: Michal Soltys <soltys@ziu.info>

dracut.8: add missing lvmconf info

Signed-off-by: Michal Soltys <soltys@ziu.info>

convert_abs_rel() fixups

- IFS was not preserved, and modified value could leak to outside functions

- the '.' relative path should be returned for arguments such as /x/y/z
  /x/y - but not for $1 == $2 ones

- $1 == $2 is self-looping link, so it returns final component of its
  name

Signed-off-by: Michal Soltys <soltys@ziu.info>

dracut: check mktemp return value

in slackware the default mktemp is not from coreutils.
A simply make in test directory mangled my rootfs due
to initdir is blank

Also mktemp could failed with other reason like ENOSPC or EPERM

update the documentation of '--[no]prefix'

In

commit fd786adcf515d9d3ee77eb29fa4c6b60020c7209
Author: Harald Hoyer <harald@redhat.com>
Date:   Wed Apr 20 16:47:40 2011 +0200

    dracut: make prefix configurable

Harald changed the meaning of --prefix/--noprefix, but
forgot to update their documentation. This patch
fixes that.

Signed-off-by: WANG Cong <xiyou.wangcong@gmail.com>

95udev-rules/module-setup.sh: also search in /lib/udev and /usr/lib/udev

90mdraid/module-setup.sh: fixed sed arguments

90mdraid/mdraid_start.sh: fix path to md sysfs

order mdadm and lvm timeout operations

dracut [PATCH]es: parallelize block_module filter and net_module_filter

Filtering modules requires enough work that instmods() in the
next pipeline stage was rarely busy.  Parallelize the two
filters which do the most work.  Also fix a filename-vs-contents
mistake in net_module_filter.

--
John Reiser, jreiser@BitWagon.com

>From f4533a2ceca52c443ddebec01eeaa35d51c39c1b Mon Sep 17 00:00:00 2001
From: John Reiser <jreiser@BitWagon.com>
Date: Tue, 13 Sep 2011 17:41:43 -0700
Subject: [PATCH 1/3] Parallelize block_module_filter

dracut [PATCH] Parameter expansion occurs before command evaluation.

Bash shell expands all ${parameter} before evaluating a command.
For multiple declarations and assignments within the same 'local' command,
then new variables or new values that appear towards the left
do not affect parameter expansion towards the right.

--
John Reiser, jreiser@BitWagon.com

>From 507ad6f66fc66f868a9e5fdd3806e012c4022baa Mon Sep 17 00:00:00 2001
From: John Reiser <jreiser@BitWagon.com>
Date: Fri, 23 Sep 2011 07:37:43 -0700
Subject: [PATCH] Parameter expansion occurs before command evaluation.

${parameter} on the right is expanded before evaluating "local var=value"
on the left.

90mdraid: adjust /dev/md loops

Include '_' to also handle old partitionable arrays (pre-2.6.28).

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: more thorough 64-md-raid.rules edit

Catch more variations of incremental assembly.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: check precisely for supported contaiers

ID_FS_TYPE can be much more than just ddf/imsm/linux raid member, so
do the proper checks.

This reverts certain changes from:
cf5891424ef026eede69606a918dadf5560095fd

Signed-off-by: Michal Soltys <soltys@ziu.info>

dracut-functions: inst_rules() add missing ""

99fs-lib: export FSTAB_FILE before fsck call

Signed-off-by: Michal Soltys <soltys@ziu.info>

dracut: create /dev besides /proc, /sys and so

How it worked without it?  The issue only manifests itself with
initramfs integrated into kernel.

dracut-logger: bail out early, if we don't have to log anything

str_replace() fix

Whitespace removal in:

out="${out}${chop# }$r"

will damage certain strings, for example the following call:

str_replace ' aax aaxaa' x y

would return 'aayaayaa' instead of ' aay aayaa'.

Signed-off-by: Michal Soltys <soltys@ziu.info>

dracut-functions: inst_rules() do not check std dirs for abs path

if an absolute path is given, we should not check the standard udev rule
directories.

99fs-lib/fs-lib.sh: fsck btrfs via mounting like xfs

btrfsck is only for manual repairing your filesystem

TEST-40-NBD: relaxed check on ext3 filesystem options

onerror=continue does not seem to be displayed for new kernels

90mdraid: fix/adjust 65-md* rules and related scripts

Reworked the flow of the rules file a bit, removed redundant tests, also
should be easier to follow. It's much shorter now as well, a bit more
similar to 90lvm script - both revolve around same concepts after all.

There's no reason to treat conf-assembled arrays differently from
incremental ones. Once we hit timeout in init's udev loop, we can use
common script (mdraid_start.sh) to try force inactive arrays
into degraded mode.

md-finished.sh was kind-of out of place - it didn't really wait for any
particular device(s) to show up, just watched if onetime mdadm scripts
are still in place. Furthermore, after moving mdraid_start to --timeout
initqueue, it didn't really have too much to watch at all, besides
mdadm_auto (and that served no purpose, as we do wait for concrete
devices).

Either way, with stock 64-md fixes, current version of 65-md*.rules does
the following:

- limits assembly to certain uuids, if specified
- watch for no ddf/imsm
- if mdadm.conf => setup onetime -As script, without forced --run option
- if !mdadm.conf => incrementally assemble
- for both cases, setup timeout script, run-forcing arrays as a last resort

Signed-off-by: Michal Soltys <soltys@ziu.info>

90(md|dm)raid: recognize ddf container

This patch adds ddf support, consistently with imsm/isw options.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: fix/adjust force-run script

1) mdadm -As --auto=yes --run 2>&1 | vinfo (removed)

Currently such auto assembly will not complete or force-run partially
assembled arrays. It might assemble "concurrent" separate array and
force-run it, if possible (though the chances of suddenly showing
missing components in this scenario - a script run after udev timeout -
are pretty thin). See [1] for details. Also see #3 below.

2) mdadm -Is --run 2>&1 (removed)

This will only force-run native arrays - arrays in containers will not
be affected. See [1] for details. Also see #3 below.

3) mdadm -R run loop (implicitly handles #1 & #2)

This loop does everywthing that #1 & #2 are expected to do. Thus, the
above invocations are simply redundant and this is the most safe and
flexible option.

Also, it shouldn't be necessary to go under md/ directory, as those are
just symlinks to /dev/md[0-9]*.

Certain checks were changed to strict ones (array state, degraded state)
instead of relying on env tricks.

'cat' was added explicitly to installed programs (it has been used
implicitly in shutdown script either way)

4) mdmon bug

See [1] for details as well. In short - force-run arrays in containers
will not have mdmon started, so we do that manually.

5) stop/run queue magic

Also removed. mdadm -R will only cause change events to the array
itself, and they should not be an issue.

[1] http://article.gmane.org/gmane.linux.raid/35133

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: fix/adjust mdraid-cleanup

Stop both arrays (first pass) and containers (second pass).
Loop only over /dev/md[0-9]*
Call cleanup script only once, make sure it's after crypt cleanup.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: containers are not runnable

Remove whole "start a container logic".

Containers once assembled, always remain in 'inactive' state.
Any attempt to run a container with mdadm -IR is a no-op, and any
attempt with just mdadm -R ends with an error.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: adjust stock mdadm udev rules

Currently shipped mdadm rules incrementally assemble all imsm and native
raids, and do so unconditionally. This causes few issues:

- fine-grained controls in 65-md* are shadowed - for example,
  mdadm.conf's presence tests or uuid checks
- 90dmraid might also conflict with 90mdraid, if user prefers the former
  to handle containers
- possibly other subtle issues

This patch adjusts the behaviour.

Signed-off-by: Michal Soltys <soltys@ziu.info>

mount securityfs in a seperate dracut module

mount securityfs in a seperate dracut module

99base/init: mount securityfs with source "securityfs" instead of dest

Do not use /run/udev/rules.d for udev rules

for rules, which should not be called in the real root.

Stale rules can cause this:
https://bugzilla.redhat.com/show_bug.cgi?id=734096

99base/init: remove /dev/root helper symlink

Any tool relying on /dev/root has to be fixed.

90dmsquash-live: do not symlink to /dev/live

/dev/live should not be used anyway

dmsquash-live-root: load filesystem modules before mounting loop images

might prevent https://bugzilla.redhat.com/show_bug.cgi?id=735199

dmsquash-live-root: use blkid to determine fstype of images

prevents:
dracut: FATAL: cannot mount live image (unknown filesystem type)
https://bugzilla.redhat.com/show_bug.cgi?id=735199

99base/init: removed cdrom polling reset code

This is done globally now.

dracut: cp with sparse

99base/init: do not fail, when importing the original kernel environment

instmods: factor out egrep of "FATAL: Module .* not found"

instmods: sanity for _mpargs

instmods: get filenames from stdin if no args; use it

Use bash  "[[ string =~ pattern ]]"  instead of "egrep -q".
Replace control-dominated serial fondling
for var in $(proc1); do proc2 var; done
with data-dominated parallel pipeline
proc1  |  while read var; do proc2 var; done
Together this is a large savings.

[harald@redhat.com: fixed network kernel module filter]

install_kmod_with_fw: make fast case faster

filter_kernel_modules is a specialized filter_kernel_modules_by_path

inst_simple, inst_dir: make fast case faster

This small stuff saves 1.7% per dropped statement during "dracut --profile".
Fixing the comment about /lib -> lib64 is REQUIRED!

95udev-rules: add input_id

dracut-functions: hmac checksum files can be symlinks, too

use inst() instead of inst_simple() to install the hmac files

99base/init: move switch_root breakpoint to a later point in the script

99base/init: save and restore environment given from the kernel

90crypt/parse-crypt.sh: also accept the beginning of the LUKS UUID

2e0c003435bbc0751cdf7466c0faebe7bfc7445b introduced a too strict test
for LUKS UUIDs

build initramfs: unclear _mpargs in instmods()

The local variable _mpargs in function instmods() in file dracut-functions
looks peculiar.  The documentation is non-existent, but still ...

First, $_mpargs is not passed to modprobe via for_each_kmod_dep.
This is strange because my guess is that "_mpargs" means
"extra arguments for modprobe".

Second, the leading "--" will be lopped when a leading pathname
is stripped via
_mod=${_mod##*/}
It seems to me that a leading "--" should inhibit modification.

Here's the corresponding patch to current HEAD (from dracut-013.)

99base/init: only poll cdroms, if the kernel does support autopolling

50plymouth: add plymouth.enable kernel command line option

dracut.spec: fixed rhel/fedora version checks

90mdraid/65-md-incremental-imsm.rules: incremental run to settled

move incremental run to settled queue again

https://bugzilla.redhat.com/show_bug.cgi?id=732967

dracut-functions: fix inst_dir() for non-absolute dirs

luks key on ext dev - wait for luks

This really waits for the luks mapper device, so luksOpen can do it job

crypt: changed cmdline arg name from rd.luks.tout to rd.luks.key.tout

luks key on ext dev - wait for luks

This asks for the luks passphrase if key is not found for defined time (if defined with rd.luks.tout cmd line):

 modules.d/90crypt/cryptroot-ask.sh |   21 ++++++++++++++++++---
 modules.d/90crypt/parse-crypt.sh   |    5 +++--
 2 files changed, 21 insertions(+), 5 deletions(-)

livenet: take into account other ca-bundle paths; use inst_any for that

dracut-functions: new function: inst_any [-d dest] f1 [f2 [f3 ...]]

99base: whitespace fix

90crypt: ask_for_password pings plymouthd

If plymouthd is not started, ask_for_password shouldn't try to prompt
for password with GUI and should use text prompt instead.

dracut-functions: speed up inst_dir()

build initramfs: prelink --undo /sbin/*

Fix a typo (omitting the 's' in "sbin") which caused
"prelink --undo" twice on      /bin/*,  and
"prelink --undo" omitted for  /sbin/*.

dracut: unset LD_LIBRARY_PATH

LD_LIBRARY_PATH is not set in the initramfs, so it should not be set
while finding our libraries.

dracut-functions: s/emergency-shutdown/shutdown-emergency/g

add TEST-16-DMSQUASH

This is a test for Fedora LiveCDs created via livecd-tools

profile.py: parse the output of "dracut --profile" for profiling

fix live crash with livenet installed

parse-livenet.sh shouldn't mess with $root unless it finds a valid URL.