toaster: All machines Fix filter counts

Filter counts needed to take into account the filters that had
previously been applied.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: All machines show results count if filtering or searching

Show the number of results returned if filtering as well as when
searching.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: All machines reset order_by if removing that column

When you remove a column from a table that is currently being sorted by
that value we also need to remove the sort.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: all Machines exclude de-prioritised layer source items

If a duplicate layer exists from another layer source and provides a
machine we don't want to show it if that layer comes from a low priority
layer source.

Signed-off-by: Michael Wood <michael.g.wood@intel.com

toaster: All Machines fix reset search link

In firefox this link wasn't valid as it was inside a button element.
Remove this and add a click handler for the button.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: models Allow the machine's layer name to be searched

Make the layer name searchable. If you know the name of the layer you are
interested in, searching for it is a fast way of getting the list of
machines provided by it.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: All machines Add filtering based on layer in project

Add a filter so that we can filter machines which are already being provided
by a layer in the current project.
Also make sure that we're only showing layers which are compatible with
the current project.
Also handle no results returned and page heading reflecting the number of
results returned from a search.

AlexD solved conflicts while merging the patch.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: All machines Add layer name order by functions

Allow the layer name to be sorted alphabetically in the machines table.
Also fix the default ordering to be machine name

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: layerdetails Don't remove alert from dom on dismissal

When dismissing the alert we actually want to keep the alert area still
in the dom for the use of future alerts. The default behaviour is to
remove it from the dom. Hide it again instead.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: All machines Update layer notifications

Update layer notifications to the new wording for layer add remove
notifications.
Fix bug where the the alert area is being removed from the dom on
dismiss instead of re-hidden

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: All machines add a column to link back to machine conf

Add a column with the "path" to the machine file and add a link back to
the vcs web to view the machine configuration file.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: machines Make sure we don't overwrite the pagesize

The pagesize was accidentally being over written and should be set to
the value returned from the cookie if there was one.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toaster: Add add/select functionality to machines page

This feature for the machines page allows the user to add a layer and
it's dependencies to the current project and then if successful select
the machine(s) which become available due to being provided by the
layer.

AlexD merged the changes into the submission queue.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: machines Fix undefined variables

pagesize and orderby were undefined causing an error to be thrown when
browsing to the all machines page

Signed-off-by: Michael Wood <michael.g.wood@intel.com>

toastergui: add download task log icon to recipe details page

When a task fails, we keep the log and allow users to
download it. Make sure the download is provided in the
tasks table of the recipe details page.

[YOCTO #7207]

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: add the word 'compatible' to 'all' pages

Labels for the 'all' pages don't really convey what's provided in them.
The team has suggested we add the word 'compatible' to them,
to make clear they will show all layers / targets / machines that
can be built with the version of the build system you are
using in a certain project. A link like 'view all targets'
becomes 'view all compatible targets'.

I've also added some help text.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: set column heading to 'Revision'

Replace the column heading 'Branch, tag or commit' with
'Revision'. This also fixes 7023.

[YOCTO #7023]

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: display Toaster mode and version in debug mode

This patch displays the current running mode and checked-out git branch
as Toaster version when running in debug mode.

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: improve logging facilities for toaster

This patch improves the logging facilities for toaster in order
to help diagnose bugs that happen on user machines.

The logs are stored now under "/tmp/toaster_$$" where $$ is a
PID-based unique identifier. On shutdown, toaster will automatically
erase all logs unless errors are listed in the log file.

On error, Toaster provides suggestions on what to do.

This patch includes a minor fix found as a result of logging
improvements.

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: enhancements for the startup sequence

This patch brings fixes and enhancements in the startup sequence.

- the dependency version checking is now correctly enforced when
starting in both modes
- fixed errors in looking up environment variables
- added message with 'daemon' program start location
- presenting menu for selecting config file

[YOCTO #7283]
[YOCTO #7291]
[YOCTO #7273]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: improvements in layer selection logic

This patch clearers and bring fixes for the layer selection
logic in order to enable information collected during build to be used
in configuring projects, specifically targeting the recipes
learned through the building process.

The patch also adds tests to verify the layer selection logic.

[YOCTO #7189]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: enable server-side caches and debug-panel

This patch enables the server-side caches for Django using
file cache in /tmp/ directory.

Patch enables django debug panel if available.

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: fix loadconf error message

Toaster crashes in loadconf if it needs to raise an Exception due
to poorly formatted error message. This patch fixes the formatting

[YOCTO #7276]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: correct typo in toaster script

A small typo slipped in the message included in
the fix for [YOCTO #6023].

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toasterui: use text() instead of html()

Use the text() jQuery function instead of the html()
one for security reasons.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: remove time link for failed build requests

Failed build requests do not have a build time page where
you can look at the time spent on each task. Therefore,
their build time information cannot be a link to such
a page.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

data_smart: split expanded removal values when handling _remove

Given these assignments:

 TEST="a b c d"
 TEST_remove = "b d"

TEST evaluates to "a c".  However, if the _remove override is given as a
variable:

 TEST="a b c d"
 FOO = "b d"
 TEST_remove = "${FOO}

TEST evaluates to "a b c d", because when FOO is expanded it isn't split into a
list.

Solve this by splitting all members of removeactive once they've been expanded.

[ YOCTO #7272 ]

Signed-off-by: Ross Burton <ross.burton@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

tests/data: add test for incorrect remove behaviour

The _remove operator isn't working correctly when used with a variable that
expands to several items, so add a test case to exercise this path.

Signed-off-by: Ross Burton <ross.burton@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: proper setup for build configuration

This patch makes sure that all the toaster conf files are actually
written from the build enviroment controllers.

Additionally, toaster checks that the 'daemon' program, which is used
to start the build system, is available (currently for localhost).

[YOCTO #7171]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: new layer checkout logic

This patch implements a new layer checkout logic that brings more
flexibility in getting layers under different commits work with
Toaster.

The new hibrid logic will checkout separately each layer and commit id;
the task execution will be delegated to the checkedout bitbake, but the
data logger will be executed from the current toaster version as to
bring in enough data to sustain the updates in UI models.

[YOCTO #7171]
[YOCTO #6892]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: update texts for the startup sequence

This patch updates the prompts to the user to better explain
what Toaster is doing and the information it needs from the user.

Additionally, fixes a check in loadconf command.

[YOCTO #6785]
[YOCTO #7251]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

data_smart: Don't use mutable objects as default args

These only have one instance created which means your subsequent datastores
can contain echos of previous ones. Obviously this is not the behaviour
we want/expect. It doesn't affect bitbake too badly as we only have one
datastore, it does massively potentially break our selftests though.

Thanks to Tim Amsell for pointing out the now obvious problem!

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

parse/ast: Fix issue if path contains '&'

Signed-off-by: Pascal Bach <pascal.bach@siemens.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toastergui: update project build listing

We update the build listings in the project mode to enable
proper display and selection of build requests that do not have
an actual build object because the bitbake process did not start.

We add a page to display error details for build requests that
did not start a build.

Fixing errors and misspelling in build sections.

Sorting by "timespent" is disabled for build-listing pages.

[YOCTO #7165]
[YOCTO #7156]
[YOCTO #7196]
[YOCTO #7188]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toasterui: do not filter images by extension

ToasterUI filters build artifacts by extension in order
to determine if a build artifact is an image or not.

Using IMAGE_FSTYPES for this purpose is not correct as
the varible value holding image extensions is just a coincidence.

So we just look if the filename contains the "rootfs" magic
string, which is a pretty good approximation.

[YOCTO #7213]

Signed-off-by: Alexandru Damian <alexandru.damian@intel.com>

toastergui: alignment fix

Align horizontally the pagination and show rows
controls at the bottom of the layer details page.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: remove recipe id links to the layer index

Toaster cannot use the recipe id to link to the layer
index, because recipe ids can change. We need to search
by the recipe name instead.

This patch removes the recipe id link from the layer
details page and replaces it with a search by the
recipe name.

It also makes sure links to the layer index open in
a new tab/window.

[YOCTO #7194]
[YOCTO #7193]

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: consistent capitals in button

Capitalise correctly the 'Build target' button label in
the layer details page: it should match the table heading.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: hide table controls when when less than 10 entries

The 'show rows' and pagination controls in the layer details
page should only show when there are more than 10 entries
in a table.

[YOCTO #7217]

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: set column width in layer details page

Set the width of the action columns to span2 to stop
the buttons from wrapping as much as possible.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: add 'show all' link to no results page

When you search for targets or machines in the layer details
page and your search returns no results, you should
see a 'show all' link that you can click to clear the
search and display all table entries.

[YOCTO #7218]

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: give the add dependencies form some breathing space

In the editable version of the layer details page, the form to
add dependencies needs some distance from the dependency list.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: consistent add / remove layer notifications

In my struggle to ensure consistency in the format and content
of the notifications we show when you add and remove layers to
a project, I've:

* added the project name to the notifications
in the layer details page

* removed the 'Go to project configuration' link
from the notifications in the layer details page

This changes align the notifications we show in the layer
details page with the ones we show in the 'all' pages.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: remove redundant style declaration

The bottom margin for dd tags nested inside forms is
set twice. Delete one of them.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: Generic message for the layer details empty states

In the layer details page, change the message you see when
the number of targets or machines provided by a layer is
0, either because that's what's reported by a layer index
instance, or because Toaster does not have any information
about the layer.

The new message is more generic, in order to fit layers from
all layer sources.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toaster: apply common styles to right hand column of detail pages

Layer, recipe and package details pages have a right column
with additional information. This commit standardises the
formatting of the content in that right column across
all these pages by creating a new css class .item-info
in default.css

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toaster: make layouts consistent

The layer details page should have the same layout as all
other detail pages (recipes, packages). For this to happen,
the basebuilddetailpage.html and baseprojectpage.html
templates should use the same layout, and so should the
layerdetails.html and recipe.html templates.

This patch also capitalises the string 'All layers' in the
breadcrumb of layerdetails.html as all other breadcrumb elements.

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

siggen: Ensure taskdata default functions exist in base class

The get/set_taskdata functions are now part of the API of the class,
ensure they exist in the base class definition so the noop handler
works.

[YOCTO #7233]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker: Use expanded_data for ASSUME_PROVIDED

Users expect operators like _remove to work on this variable. We need
to use expanded_data to ensure this happens correctly.

[YOCTO #7135]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker: Rename event_data -> expanded_data

event_data would be better named expanded_data, then we can widen its scope
to other places in cooker where we need to access an expanded data store.
We certainly don't want multiple expanded data stores.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

server/process: Fix select call

There was a report that bitbake -e | less would use 100% cpu when it shouldn't
really. The issue appears to be a bogus file descriptor in the select call. We
shouldn't be blocking if there is event data pending to a *reader* from server
context.

[YOCTO #7138]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toastergui: enable re-ordering when columns are hidden

This patch enables table re-ordering when a sorted-by column is hidden.
This is default functionality in toaster table pages, but was not
enabled for all columns in this situation.

[YOCTO #7125]
[YOCTO #7022]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: all projects column show/hide

This patch fixes the show/hide in all projects page.

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: fix the second 'view all targets' link

The project page has 2 links to the all targets page.
The one at the top of the page is working, but not
the one further down. This patch sorts that out.

[YOCTO #7147]

Signed-off-by: Belen Barros Pena <belen.barros.pena@intel.com>

toastergui: minor fixes

This is a minor fixes patch.

- legacy sorting by "timespent" does not crash the builds pages
- missing xhr_configvaredit view in observer mode is added

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastegui: project page build selected targets

Fixing the action on the "Build selected targets" button.
Remove "build-button" duplicate id from the build page.

[YOCTO #7047]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: fix all targets page search

This fixes the display of layers in all-targets page search/filtering
usage pattern by displaying layer-equivalence class.

The significant impact is the correct display of the list size
for search/filtering actions

[YOCTO #7051]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: fix all-targets redirect

Fixes the all targets redirect to /api/1.0/targets.

[YOCTO #7147]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toaster: newproject default release selection fix

This patch fixes the default project release selection to
obey the DEFAULT_RELEASE name set in ToasterSettings.

[YOCTO #7035]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: "Run again" button in build pages

This patch fixes the "Run again" button for the completed builds.

[YOCTO #7173]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: fix duplicate IDs all builds page

This patch fixes the duplicate IDs found in the all builds page,
originating in the "Project" column filter.

Also fix misspell "Log1" instead of "Log".

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toasterui: save event backlog to build

We add a call that saves any queued events to the build

[YOCTO #7021]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

toastergui: save cookie for orderby/page size settings

We save the current settings as cookies on the server side
for the layers, targets and machines pages under Project pages.

[YOCTO #6961]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>

prserv/serv: Improve exit handling

Currently, I'm not sure how the prserver managed to shut down cleanly. These
issues may explain some of the hangs people have reported.

This change:

* Ensures the connection acceptance thread monitors self.quit
* We wait for the thread to exit before exitting
* We sync the database when the thread exits
* We do what the comment mentions, timeout after 30s and sync the database
  if needed. Previously, there was no timeout (the 0.5 applies to sockets,
  not the Queue object)

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: project configuration variables page

Implement the project configuration variables page.

AlexD made whitespace changes and a minor fix.

[YOCTO #6588]

Signed-off-by: David Reyna <David.Reyna@windriver.com>
Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: project builds page

This is a complete re-write of the "Project builds" page
based on the "All builds" page in managed mode.

[YOCTO #6589]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

fetcher: use os.path.splitext() instead of string.split()

Signed-off-by: Ross Burton <ross.burton@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bin/bitbake: only check that /dev/shm is writable on Linux

Signed-off-by: Ross Burton <ross.burton@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bb/fetch2/wget.py: latest_versionstring escape packagename when built regex

When built package regex for use in searching upstream version in sites,
the package name need to be escaped to avoid usage of special regex
char.

For example when search for gtk+, '+' need to be escaped.

Signed-off-by: Aníbal Limón <anibal.limon@linux.intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker.py: trap the ENOSPC error and translate it

Trap the ENOSPC error and translate it into a human readable error
message, which is good for debugging.

Signed-off-by: Robert Yang <liezhi.yang@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker: Further optimise pyinotify

We currently add crazy numbers of watches on files. The per user limit is 8192
by default and on a system handling multiple builds, this can be an issue.

We don't need to watch all files individually, we can watch the directory containing
the file instead. This gives better resource utilisation and better performance
further reverting some of the performance regression seen with the introduction
of pyinotify.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

command/cooker/knotty: Fix memres handling of command environment changes

If the environment changes, we need memory resident bitbake to adapt to those
changes. This adds in functionality to handle this alongside the configuration
option handling code. This means that the common usage:

MACHINE=X bitbake Y

now works with the memory resident server.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

lib/fetch2: Tweak get_srcrev() function description

Tweak the comments on get_srcrev() to better describe its function.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toasterui: fix variable data error

A bug slipped in the toaster ui that prevented saving of
build configuration despite the data being retrieved
from the server. This patch fixes the shaming mistake.

[YOCTO #7117]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toastergui: all builds page lists failed build requests

This patch modifies the all builds page by splitting the page
into two variants - the "interactive" (default) and "managed" mode
versions.

In the "managed" mode version, we display build requests instead of
builds, including the failed build requests that have no build
associated with them.

[YOCTO #6671]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: layerdetails Remove compatibility setting

Remove the layer compatibility configuration option from the layer
details as this is not in the design.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: Add layer details page feature

This commit adds the layer details page which shows the metadata for the
layer such as layer description, machines associated with the layer as well
as the targets provided.
If the layer is an imported layer this page also allows you to update
the layer's configuration.
>From this page you can add/remove the layer from the current project

Signed-off-by: Michael Wood <michael.g.wood@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ConfHandler: Clean up bogus imports

The import statements here are plain bizarre. Remove them, tweaking
some of the function calls to match current practices. I can't find any
reason these old imports are as they are.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ConfHandler: Rename oldfn to parentfn to be clearer

Looking at this function I had no idea what oldfn was, I doubt anyone
else would either without looking up what the caller does. "parentfn"
would seem a more appropriate name so rename it.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker: Improve pyinotify performance

Benchmarks show that the introduction of pyinotify regressed
performance. This patch ensures we only call the add_watch() function
for new entries, not ones we've already processed which does improve
performance as measured by "time bitbake -p".

This doesn't completely remove the overhead but it does substantially
reduce it.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker: Fix pyinotify handling of ENOENT issues

We try and add watches for files that don't exist but if they did, would influence
the parser. The parent directory of these files may not exist, in which case we need
to watch any parent that does exist for changes. This change implements that fallback
handling.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker/cache/parse: Implement pyinofity based reconfigure

Memory resident bitbake has one current flaw, changes in the base configuration
are not noticed by bitbake. The parsing cache is also refreshed on each invocation
of bitbake (although the mtime cache is not cleared so its pointless).

This change adds in pyinotify support and adds two different watchers, one
for the base configuration and one for the parsed recipes.

Changes in the latter will trigger a reparse (and an update of the mtime cache).
The former will trigger a complete reload of the configuration.

Note that this code will also correctly handle creation of new configuration files
since the __depends and __base_depends variables already track these for cache
correctness purposes.

We could be a little more clever about parsing cache invalidation, right now we just
invalidate the whole thing and recheck. For now, its better than what we have and doesn't
seem to perform that badly though.

For education and QA purposes I can document a workflow that illustrates this:

$ source oe-init-build-env-memres
$ time bitbake bash
[base configuration is loaded, recipes are parsed, bash builds]
$ time bitbake bash
[command returns quickly since all caches are valid]
$ touch ../meta/classes/gettext.bbclass
$ time bitbake bash
[reparse is triggered, time is longer than above]
$ echo 'FOO = "1"' >> conf/local.conf
$ time bitbake bash
[reparse is triggered, but with a base configuration reload too]

As far as changes go, I like this one a lot, it makes memory resident bitbake
truly usable and may be the tweak we need to make it the default.

The new pyinotify dependency is covered in the previous commit.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bitbake: Add pyinotify to lib/

We need inotify support within bitbake and pyinotify provides the best
mechanism to add this. We have a few options:

a) Depend on pyinotify from the system
b) Add in our own copy
c) Only use pyinotify in cases like the memory resident server

For a), it would mean adding in dependencies, updating documentation and
generally creating churn for users as well as having implications for things
like the build-appliance recipe.

It turns out that glibc has the C functionality we need from version 2.4
onwards (2006) and that we just need a single python file for b), there
is no binary module needed. We therefore add in a copy of pyinotify 0.9.5
into the tree meaning we can depend on it simply and unconditionally.

c) is unattractive as we need fewer possible code paths, not more.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bb/fetch2/ssh.py: Fix urldata.localpath use os.path.normpath

When urls ends with trailing slash os.path.basename return "" [1]
and built urldata.localpath only with DL_DIR, it causes that
donestamp is built as DL_DIR + '.done' and seems that ssh resource
was already download.

[YOCTO #6448]

[1] https://docs.python.org/2/library/os.path.html#os.path.basename

Signed-off-by: Aníbal Limón <anibal.limon@linux.intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

fetch/git: Improve ls-remote handling for latest_revision

Currently the code ignores lightweight tags which has caused some user
complaints. We can't put the right search list in place easily since
the results don't come back in a good order, head happens to sort
before tags.

In the end I refactored the function so we get the complete list of
remotes and then we can filter it ourselves in the order we chose,
including checking for light weight tags, preferring the proper ones.

Hopefully this resolves the issues people have been seeing.

[YOCTO #6881]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: implementation of project page

This patch brings the project page in line with the design,
including build error handling and suggestions.

Includes some refactoring for already existing code.

[YOCTO #6587]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: branch name priority resolution

Adding a Layer_Version function that gets back the
branch name that should be used/displayed for finding the
targeted git branch name.

Change the commit id to use the branch name instead of the
last-updated commit hash from the layer source.

[YOCTO #7031]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: do not launch web browser on noweb option

This patch makes Toaster managed mode obey the "noweb" parameter
by not starting the web server and launching the web browser
command if the "noweb" parameter is specified.

The web browser will be pointed at 127.0.0.1 instead of 0.0.0.0

[YOCTO #7039]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: write pre-read conf file for build variables

We change the setting of variables from directly injection
into the set-up cooker to writing a conf file that is pre-read
on bitbake server startup. This is needed because the injection
can only happen after the variable set is parsed, and the variables
already inferred, so setting up variables happens too late.

[YOCTO #7045]

Signed-off-by: Alexandru DAMIAN <alexandru.damian@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

toaster: Improve client side error handling

Make use of the toastermain.settings.DEBUG flag to toggle the client
side error logging. Make the error logging consistent by using
console.warn/error across the project, this adds traceability to the
warnings. Also handles the case where console is not available by
stubbing it in libtoaster.

Signed-off-by: Michael Wood <michael.g.wood@intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ast: Add error when trying to use dash in sh function names

A dash character is illegal in function names in sh (but not bash). Since
our shell tasks run under sh and the shell parser is sh based, EXPORT_FUNCTIONS
won't work with class names containing a dash.

We can't change sh, we can ensure the user is warned about the problem
straight away though.

[YOCTO #7006]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cache/fetch2/siggen: Ensure we track include history for file checksums

Currently, if you reference a file url, its checksum is included in the
task hash, however if you change to a different file at a different
location, perhaps taking advantage of the FILESPATH functionality, the
system will not reparse the file in question and change its checksum to
match the new file.

To correctly handle this, the system not only needs to know if the
existing file still exists or not, but also check the existance
of every file it would have looked at when computing the original file.

We already do this in the bitbake parsing code for class inclusion. This
change uses the same technique to log the file list we looked at and
if files in these locations exist when they previously did not, to
invalidate and reparse the file.

Since data stored in the cache is flattened text, we have to use a string
form of the data and split on the ":" character which is ugly, but is
an internal detail we can improve later if a better method is found.

The cache version changes to trigger a reparse since the previous
cache data is now incompatible.

[YOCTO #7019]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

wget: Add localpaths method which gives localpath with history

In some cases for cache purpoes we not only need to know which file
is going to be used but also which paths were considered. Add a
localpaths method which includes the history.

The core which() funciton already supports this, this just extends
the function to preserve the extra data we need. localpath becomes
just a special case of the case with history.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bitbake-worker: Use setsid() rather than setpgid()

The bug has a long discussion of this. Basically, in some environments,
the exact details of which aren't understood, a Ctrl+C signal to the
UI is being transmitted to all the process children. Looking at the output
of "ps ax -O tpgid", its clear the main process is still the terminal
owner of these processes.

stty -a on a problematic system shows: "-ignbrk brkint"
and on a working system shows: "-ignbrk -brkint"

The description of brkint would suggest this is the problem, setting up
that terminal environment wasn't able to reproduce the problem though.
It was confirmed that using setsid() caused the problem to be resolved
and is probably the right thing to be doing anyway, so lets do it.

[YOCTO #6949]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cooker: Shut down the parser in error state

If the cooker is in an error state, we shouldn't continue to try parsing.
This fixes an issue where an invalid PR server is detected when bitbake
is started and ensures bitbake exits cleanly rather than hanging.

[YOCTO #6934]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

utils: make edit_metadata_file() handle VARIABLE +=

This is a little crude as the usage basically ignores that you're doing
an append operation, but for a lot of cases it will be sufficient.

Signed-off-by: Paul Eggleton <paul.eggleton@linux.intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bitbake-layers: fix error handling in add-layer / remove-layer

* Fix add-layer error message when a layer is already in BBLAYERS
* Ensure we show an error message if we can't find BBLAYERS at all

Signed-off-by: Paul Eggleton <paul.eggleton@linux.intel.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

fetch2/wget: Fix horrible temp file handling

Hardcoding a temp directory is bad practice and leads to races between
the tests. There is no longer any good reason for doing this, drop it
and ensure the files get cleaned up correctly.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

tests/data: Add a key deletion test

If you copy the datastore, then delete a key, it should not exist in
d.keys(). This adds a test to cover the recently found data store bug.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

tests/fetch: Add versionstring tests to network tests list, fix print()

The versionstring tests hit the network so should only run when
network tests are enabled.

Also remove the print statement which confuses the test output and
add it to the test failure message instead.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>