lxc-checkpoint: automatically detect if --external or --veth-pair

With the criu release 2.8 criu deprecated the --veth-pair command-line
option in favor of --external:

f2037e6 veth: Make --external support --veth-pair

git tag --contains f2037e6d3445fc400
v2.8

With this commit lxc-checkpoint will automatically switch between
the new and old command-line option dependent on the detected
criu version.

For criu version older than 2.8 something like this will be used:

  --veth-pair eth0=vethYOK6RW@lxcbr0

and starting with criu version 2.8 it will look like this:

  --external veth[eth0]:vethCRPEYL@lxcbr0

Signed-off-by: Adrian Reber <areber@redhat.com>

Merge pull request #1301 from brauner/2016-11-15/isolcpus

cgroups: use %zu format specifier to print size_t

Merge pull request #1299 from adrianreber/master

lxc-checkpoint: enable dirty memory tracking in criu

lxc-checkpoint: enable dirty memory tracking in criu

CRIU supports dirty memory tracking to take incremental checkpoints.
Incremental checkpoints are one way of reducing downtime during
migration. The first checkpoint dumps all the memory pages and the
second (and third, and fourth, ...) only dumps pages which have changed.

Most of the necessary code has already been implemented. This just adds
the existing functionality to lxc-checkpoint:

  -p, --pre-dump            Only pre-dump the memory of the container.
                            Container keeps on running and following
                            checkpoints will only dump the changes.
  --predump-dir=DIR         path to images from previous dump (relative to -D)

The following is an example from a container running CentOS 7 with psql
and tomcat:

 # lxc-checkpoint -n c7 -D /tmp/cp -p
Container keeps on running
 # du -h /tmp/cp
 229M /tmp/cp
Sync initial checkpoint to destination
 # rsync -a /tmp/cp host2:/tmp/
Sync file-system
 # rsync -a /var/lib/lxc/c7 host2:/var/lib/lxc/
Final dump; container is stopped
 # lxc-checkpoint -n c7 -D /tmp/cp --predump-dir=../cp -s
 # du -h /tmp/cp2
 90M /tmp/cp2

After transferring the second (incremental checkpoint) and the changes
to the container's file system the container can be restored on the
second host by pointing lxc-checkpoint to the second checkpoint
directory:

 # lxc-checkpoint -n c7 -D /tmp/cp2 -r

Signed-off-by: Adrian Reber <areber@redhat.com>

cgroups: use %zu format specifier to print size_t

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1282 from brauner/2016-11-03/isolcpus

cgroups: remove isolated cpus from cpuset.cpus  …

Merge pull request #1300 from stgraber/master

debian: Don't depend on libui-dialog-perl

debian: Don't depend on libui-dialog-perl

This package doesn't exist in stretch anymore, and it's unclear why we
were depending on a library to begin with (as opposed to having it
brought by whatever needs it).

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1297 from brauner/2016-11-13/fix_tmpfile_errno

conf: do not use %m format specifier

conf: do not use %m format specifier

This is a GNU extension and some libcs might be missing it.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1293 from evgeni/always-stop-lxc-net

also stop lxc-net in runlevels 0 and 6

Merge pull request #1294 from evgeni/ignore-lxc.egg-info

add lxc.egg-info to gitignore

Merge pull request #1295 from evgeni/bash-completion-pkg-config

install bash completion where pkg-config tells us to

install bash completion where pkg-config tells us to

Signed-off-by: Evgeni Golov <evgeni@debian.org>

add lxc.egg-info to gitignore

Signed-off-by: Evgeni Golov <evgeni@debian.org>

also stop lxc-net in runlevels 0 and 6

there is no reason to not do this :)

Signed-off-by: Evgeni Golov <evgeni@debian.org>

Merge pull request #1290 from brauner/2016-11-09/named_controllers

cgroups: skip v2 hierarchy entry

cgroups: skip v2 hierarchy entry

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1289 from Cypresslin/ubuntu-cloud-squashfs

templates: add squashfs support to lxc-ubuntu-cloud.in

templates: add squashfs support to lxc-ubuntu-cloud.in

Add squashfs format file support for lxc-ubuntu-cloud.in

Signed-off-by: Po-Hsu Lin <po-hsu.lin@canonical.com>

Merge pull request #1288 from Cypresslin/known-release-zesty

Update Ubuntu release name: add zesty

Update Ubuntu release name: add zesty and remove wily

Add zesty to KNOWN_RELEASES
Remove EOL wily from KNOWN_RELEASES

Signed-off-by: Po-Hsu Lin <po-hsu.lin@canonical.com>

cgroups: remove isolated cpus from cpuset.cpus

In case the system was booted with

    isolcpus=n_i-n_j,n_k,n_m

we cannot simply copy the cpuset.cpus file from our parent cgroup. For example,
in the root cgroup cpuset.cpus will contain all of the cpus including the
isolated cpus. Copying the values of the root cgroup into a child cgroup will
lead to a wrong view in /proc/self/status: For the root cgroup
/sys/fs/cgroup/cpuset /proc/self/status will correctly show

    Cpus_allowed_list:      0-1,3

even though cpuset.cpus will show

    0-3

However, initializing a subcgroup in the cpuset controller by copying the
cpuset.cpus setting from the root cgroup will cause /proc/self/status to
incorrectly show

    Cpus_allowed_list:      0-3

Hence, we need to make sure to remove the isolated cpus from cpuset.cpus. Seth
has argued that this is not a kernel bug but by design. So let us be the smart
guys and fix this in liblxc.

The solution is straightforward: To avoid having to work with raw cpulist
strings we create cpumasks based on uint32_t bit arrays.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

utils: add lxc_append_string()

lxc_append_string() appends strings without separator. This is mostly useful
for reading in whole files line-by-line.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1286 from mgariepy/patch-1

create symlink for /var/run

create symlink for /var/run

this patch create /var/run link to point to /run.

This will fix various issue present when /var/run is persistent.

Signed-off-by: Marc Gariepy <gariepy.marc@gmail.com>

Merge pull request #1262 from brauner/2016-10-29/lxc_free_cgroup_sigsegv

cgfs: various fixes

Merge pull request #1275 from brauner/2016-11-04/unshare_cgroup_after_clone

start: CLONE_NEWCGROUP after we have setup cgroups

start: CLONE_NEWCGROUP after we have setup cgroups

If we do it earlier we end up with a wrong view of /proc/self/cgroup. For
example, assume we unshare(CLONE_NEWCGROUP) first, and then create the cgroup
for the container, say /sys/fs/cgroup/cpuset/lxc/c, then /proc/self/cgroup
would show us:

     8:cpuset:/lxc/c

whereas it should actually show

     8:cpuset:/

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1274 from tych0/check-state-before-checkpoint

c/r: check state before doing a checkpoint/restore

c/r: check state before doing a checkpoint/restore

This would already fail, but with a not-as-good error message. Let's make
the error better.

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

Merge pull request #1273 from Blub/trivial/bin-bash-consistency

cleanup: /usr/bin/bash vs /bin/bash consistency

cleanup: /usr/bin/bash vs /bin/bash consistency

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Merge pull request #1058 from hallyn/2016-06-24/eric.cgns

container start: clone newcgroup immediately

Merge pull request #1269 from Blub/phynet-rename-2

conf: merge network namespace move & rename on shutdown

Merge pull request #1270 from tych0/save-dump-state-too

c/r: save dump stdout too

c/r: fix off-by-one error

When we read sizeof(buf) bytes here, we'd write off the end of the array,
which is bad :)

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

c/r: remove extra \ns from logs

The macros put a \n in for us, so let's not put another one in.

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

c/r: save criu's stdout during dump too

This also allows us to commonize some bits of the dup2 code.

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

conf: merge network namespace move & rename on shutdown

On shutdown we move physical network interfaces back to the
host namespace and rename them afterwards as well as in the
later lxc_network_delete() step. However, if the device had
a name which already exists in the host namespace then the
moving fails and so do the subsequent rename attempts. When
the namespace ceases to exist the devices finally end up
in the host namespace named 'dev<ID>' by the kernel.

In order to avoid this, we do the moving and renaming in a
single step (lxc_netdev_move_by_*()'s move & rename happen
in a single netlink transaction).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Merge pull request #1266 from tych0/do-mount-rewriting

Do mount rewriting

log: bump LXC_LOG_BUFFER_SIZE to 4096

We need to log longer lines due to CRIU arguments.

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

c/r: explicitly emit bind mounts as criu arguments

We switched to --ext-mount-map auto because of "system" (liblxc) added
mounts like the cgmanager socket that weren't in the config file. This had
the added advantage that we could drop all the mount processing code,
because we no longer needed an --ext-mount-map argument.

The problem here is that mounts can move between hosts. While
--ext-mount-map auto does its best to detect this situation, it explicitly
disallows moves that change the path name. In LXD, we bind mount
/var/lib/lxd/shmounts/$container to /dev/.lxd-mounts for each container,
and so when a container is renamed in a migration, the name changes.
--ext-mount-map auto won't detect this, and so the migration fails.

We *could* implement mount rewriting in CRIU, but my experience with cgroup
and apparmor rewriting is that this is painful and error prone. Instead, it
is much easier to go back to explicitly listing --ext-mount-map arguments
from the config file, and allow the source of the bind to change. We leave
--ext-mount-map auto to catch any stragling (or future) system added
mounts.

I believe this should fix Launchpad Bug 1580765

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

Merge pull request #1264 from brauner/2016-10-30/fix_lxc_stop_exit_code

tools: use correct exit code for lxc-stop

tools: use correct exit code for lxc-stop

When the container is already running our manpage promises to exit with 2.
Let's make it so.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

cgfs: explicitly check for NULL

Somehow this implementation of a cgroupfs backend decided to use the hierarchy
numbers it detects in /proc/cgroups and /proc/self/cgroups as indices for
the hierarchy struct. Controller numbering usually starts at 1 but may start at
0 if:

    a) the controller is not mounted on a cgroups v1 hierarchy;
    b) the controller is bound to the cgroups v2 single unified hierarchy; or
    c) the controller is disabled

To avoid having to rework our fallback backend significantly, we should
explicitly check for each controller if hierarchy[i] != NULL.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

cgfs: skip empty entries under /proc/self/cgroup

If cgroupv2 is enabled either alone or together with legacy hierarchies
/proc/self/cgroup can contain entries of the form:

        0::/

These entries need to be skipped.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

cgfs: add print_cgfs_init_debuginfo()

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1261 from evgeni/lxc-ls-help-fixes

lxc-ls help fixes

improve wording of the help page for lxc-ls

it's "list of columns", not "list of column"

Signed-off-by: Evgeni Golov <evgeni@debian.org>

improve help text for --fancy and --fancy-format

Signed-off-by: Evgeni Golov <evgeni@debian.org>

Merge pull request #1260 from evgeni/find-obs-build-on-debian

find OpenSUSE's build also as obs-build

find OpenSUSE's build also as obs-build

this is how it is shipped in Debian and Ubuntu

Signed-off-by: Evgeni Golov <evgeni@debian.org>

Merge pull request #1259 from brauner/2016-10-29/lxc_free_cgroup_sigsegv

cgfs: fix invalid free()

cgfs: fix invalid free()

And let's be on the safe side by NULLing free()ed variables.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1257 from evgeni/rpm-fixes

RPM build fixes

fix rpm build, include all built files, but only once

Signed-off-by: Evgeni Golov <evgeni@debian.org>

use python3_sitearch for including the python code

Closes: #502
Signed-off-by: Evgeni Golov <evgeni@debian.org>

Merge pull request #1252 from stgraber/master

Fix environment before importing setuptools

Fix environment before importing setuptools

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1251 from stgraber/master

Tweak libtool handling to work with Android

Tweak libtool handling to work with Android

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1248 from tych0/use-external

c/r: use external

Merge pull request #1249 from stgraber/master

ubuntu: Fix package upgrades requiring proc

c/r: use snprintf to compute device name

This will never actually overflow, because %d is 32 bits and eth is 128
bytes long, but safety first :)

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

c/r: drop duplicate hunk from macvlan case

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

ubuntu: Fix package upgrades requiring proc

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

c/r: add checkpoint/restore support for macvlan interfaces

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

c/r: remember to increment netnr

We need this for calculating the name of unnamed interfaces in the config.
But we also need to remember to increment it :)

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

c/r: use --external instead of --veth-pair

--veth-pair has been deprecated as of 2.6, let's use the new --external
instead.

Signed-off-by: Tycho Andersen <tycho.andersen@canonical.com>

Merge pull request #1245 from stgraber/master

Setup libtool

Use libtool for liblxc.so

This should allow proper filtering of build flags for libraries and make
it easier to use PIE/PIC.

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1244 from Cypresslin/fix-lxc-copy-B

tools: correct the argument typo in lxc_copy

tools: correct the argument typo in lxc_copy

Correct the backingstorage typo in lxc_copy.

Signed-off-by: Po-Hsu Lin <po-hsu.lin@canonical.com>

Merge pull request #1243 from stgraber/master

s390x: Fix seccomp handling of personalities

s390x: Fix seccomp handling of personalities

There are no personalities for s390x, so don't list itself as one.

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1241 from jirutka/alpine-setfcap

lxc-alpine: do not drop setfcap

lxc-alpine: do not drop setfcap

Signed-off-by: Jakub Jirutka <jakub@jirutka.cz>

Merge pull request #1240 from roedie/alpine-fix-extra-packages

alpine: Fix installing extra packages

alpine: Fix installing extra packages
Signed-off-by: Sander Klein <github@roedie.nl>

Merge pull request #1234 from brauner/2016-10-14/better_errors_for_lxc_start

tools: better error reporting for lxc-start

tools: better error reporting for lxc-start

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1233 from brauner/2016-10-14/allow_overlay

tools: make overlay a valid backend for lxc-copy

Merge pull request #1235 from Dean4Devil/master

Add voidlinux distribution

Add voidlinux distribution

Signed-off-by: Gregor Reitzenstein <dean4devil@paranoidlabs.org>

tools: make overlay valid backend

So far, users could only create overlay snapshots by specifying -B overlayfs
and not with -B overlay. This adds support for -B overlay.

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

tools: fix coding style in lxc_attach

Signed-off-by: Christian Brauner <christian.brauner@canonical.com>

Merge pull request #1232 from Cypresslin/fix-s390x-download

tests: fix image download for s390x

tests: fix image download for s390x

Make release selection more flexible.
Update the KNOWN_RELEAES list, add yakkety and remove vivid.

Signed-off-by: Po-Hsu Lin <po-hsu.lin@canonical.com>

Merge pull request #1230 from Jafaral/master

Drop leftover references to lxc_strerror().

Drop leftover references to lxc_strerror().

lxc_strerror() was dropped long time ago, in 2009 to be exact.

Related commit:
https://github.com/lxc/lxc/commit/7cee8789514fb42d6a48d50b904e24284f5526e3

Signed-off-by: Jafar Al-Gharaibeh <to.jafar@gmail.com>

Merge pull request #1229 from stgraber/master

archlinux: Fix resolving

archlinux: Fix resolving

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1228 from stgraber/master

archlinux: Do DHCP on eth0

archlinux: Do DHCP on eth0

Signed-off-by: Stéphane Graber <stgraber@ubuntu.com>

Merge pull request #1226 from jirutka/alpine-shm

lxc-alpine: mount /dev/shm as tmpfs

lxc-alpine: mount /dev/shm as tmpfs

Signed-off-by: Jakub Jirutka <jakub@jirutka.cz>

Merge pull request #1225 from jiazhang0/master

log: sanity check the returned value from snprintf()

log: sanity check the returned value from snprintf()

The returned value from snprintf() should be checked carefully.

This bug can be leveraged to execute arbitrary code through carefully
constructing the payload, e.g,

lxc-freeze -n `python -c "print 'AAAAAAAA' + 'B'*959"` -P PADPAD -o /tmp/log

This command running on Ubuntu 14.04 (x86-64) can cause a segment fault.

Signed-off-by: Lans Zhang <jia.zhang@windriver.com>

Merge pull request #1224 from evgeni/python-utf8

mark the python examples as having utf-8 encoding