Add default settings file

This new settings file makes it possible to set settings which are equal
for many test in a global file. These settings are overriden by the
settings file of the test and the command line arguments.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve file checking

The loglevel is now customizable due to the fact that not all missing
files are an error.
Also some debug messages were added.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add log message

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Rework file checks in test

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Make the interactive error handling a cmd argument

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Rework setting handling

We now using a seperated class for saving our settings, which makes
working with settings from multiple sources much easier.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add source code comment

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix logging

We always used the name of the recipe as he was always there

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Correct spelling mistake

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Make paths absolut when we know that we get valid paths to a file or a dir

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add interactive error handling

It is now possible to connect to serial machines when an error occured.
So the user can fix the error manually.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Rework the connection handling of the serial console

We introduce a new way to init a serial console, to connect and disconnect to a serial console.
Therefore we have 3 new functions in the Machine class:
serial_init()
serial_connect()
serial_disconnet()
there are similar functions in the SerialConnection class.

This should make it possible to close a serial connection in a  test and
to reopen this connection later.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve substitution of the all: statement

We now substitute the all: statement in 3 stages:

1. We check if we get a setting for it which states which machines
should substitute all: (The setting is not fully implemented yet but all
changes which need to be done in recipe.py are done)

2. We try to get all machines named in the recipe and try to substitute
all: with these list.

3. If all other methods faile dwe substitute all: with all amchines
named in the virtual environment.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Split setup virtual environment in two functions

We need the list of virtual machines in the virtual environment to parse
the recipe, but we can create the list of used machines only when we
have a recipe. So we need to split these function.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve code readability and log messages

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Start only the machines which are used in the recipe

We now parse the recipe first and setup the virtual environment after this
to start only the machines we really need. This safes time and
ressources.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix in back_at_prompt check

When we get a line startign with '[' and the prompt is already in the
buffer the pattern matches and we get wrong return code and are not back
at the prompt.

We now check if we have a line in the buffer and if so, we are not at
the prompt. The promtp is not terminated by \n

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Make all class names CamelCase

Fixes: #11718
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix check if we get an valid recipe file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add the ability to set all settings from the command line

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix check if we get correct files for settings and recipe

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add new function settings_parse_copy_from

When we get the copy_from settings from the command line we need
different parsing as if we get the setting from a file.

To avoid code duplication I maked this a function useable at both places
in the code.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add better debugging messages

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Initialize settings dict with defaults values

Even when we never change parts of the dict later we need to make sure that we
have at least some good default values in it.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Support also a file as base for the log file dir

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

We can now run a test also from a standalone recipe file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add self.settings and store all settings in a dictionary

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Provide fallback value if we fail to read the setting

We can now go on if we fail to get a setting.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Rename DEFAULT section to GENERAL

DEFAULT is a special section of the configparser so we should not use
this as a section name.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Make config parsing more robust against errors

This just catches any errors when we parse our config

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Remove name from virtual_environment configuration

This option was never used and is useless

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Parse settings completely before parsing the copy_from setting

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Raise an exception when we do no found important files of a test

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Allow including of recipe files

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Make class names camel-case

Fixes: #11718
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve logging of disk handling

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix check if defining of network was successful

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Merge branch 'master' of ssh://git.ipfire.org/pub/git/people/jschlag/nitsi

Make all parameters in the ini file lower-case

Fixes: #11733
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Make all parameters in the ini file lower-case

Fixes: #11733
Signed-off-by: Jonatan Schlag <jonatan@familyschlag.de>

Supporting the a single statement in a recipe

We now can use the all statement without any other statements.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve recipe parsing

We now allow empty lines and comments.

Fixes: #11746
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve handling of file which should be copied into the image

We now check if a the file or directory exists and throw an exception
when not. We also handle absolute and relativ paths in the right way.

Fixes: #11748
Fixes: #11747
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Set log level of login to info

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Set the log level by command line argument

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve log output

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Catch exceptions to avoid crashing the cleanup

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Raise exception instead of dropping them

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

machine: Improve log messages and stop process of a machine

We can now go on if the machine state was incomplete eg if no snapshot
was made.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improving error message and undefining of network objects

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix logging name of networks

Before everything was logged under network.xml which is not useful

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

.gitignore: Don't list generated nitsi script as untracked file

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

.gitignore: Don't list generated man pages as untracked files

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

man: Improve grammar, spelling and syntax of nitsi.recipe.5

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

man: Fix spelling, wording and formatting of nitsi.settings.5

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

man: the nitsi.settings and nitsi.recipe pages should be category 5

This is the correct category for file formats and is referenced
like this in nitsi.1 already.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

man: Fix spelling issues, wording and wrong page references in nitsi.1

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

Makefile: Ship nitsi.in in tarball

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

m4: Ship AX_PYTHON_MODULE

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Makefile: Remove any excessive whitespace

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Cleanup imports part 2

Fixes: #11717
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix return codes once again

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

network: fix logging

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix syntax and variable name in logging

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Sort imports: part 1

Fixes: #11717
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Merge branch 'master' of ssh://git.ipfire.org/pub/git/people/jschlag/nitsi

Add main() function

Fixes: #11719
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Fix argument parsing of '--version'

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve return codes

This commit adds different return codes for erros in recipe parsing,
test errors and other errors.

We now return 1 when the test fails, 2 when the recipe parsing fails, 3
on other erros and 0 when everything works fine.

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move tests and virtual environment example into examples subfolder

Fixes: #11723
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move tests and virtual environment example into examples subfolder

Fixes: #11723
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add man pages for nitsi

Fixes: #11722
Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Format the name in the log file always with the same length

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Use one time to which all serial connection output is relativ

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add logging to test.log of all serial connection output

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Log exeptions when we try to login

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add logger.py to makefile

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add logging to a general log file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add --version command

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add configure.ac and Makefile.am and make them work

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add .gitignore

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Recipe: split only at the first occurrence of :

We would break break link like https:// when we split at anny occurrence
of :

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Improve log messages in recipe.py

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Log all messages to a recipe with the name of the corresponding test

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Log all messages for a machine using the name of this machine

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Set the log level of a serial connection to info

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

We now use the logging module

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add new test and improve our example test to show our new possibilities

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Remove now unuseful xml file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Update the settings of the virtual environment

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Update example test settings

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Do not exit when fail to load the recipe

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

self.con is already the connection to the libvirt daemon

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Open only one connection to the libvirt daemon

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Add nitsi executable

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move recipe class into an own file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move network class into an own file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move the virtual_environ class into an own file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move machine class into an own file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>

Move the serial_connection class into a seperated file

Signed-off-by: Jonatan Schlag <jonatan.schlag@ipfire.org>