bin/bitbake: Add python 2.6 check (from Poky)

Now we need python 2.6 check for it otherwise bitbake appears to hang.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

cooker.py: Improve server idle handling (from Poky)

This patch:
  * Uses the xmlrpc timeout controls added in python 2.6 removing the need to
    hack the class instead. The hacking didn't work for 2.6.
  * Converts the parsing function to parse a file per call to the function
  * Allows checking for xmlrpc commands between parsing files allowing the user
    to interrupt parsing.
  * Starts to teach the command queue about command properties such as whether
    they require the cache.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

providers.py: Add caching for the dynamic package regexps (from Poky)

Add caching for the dyanmic package regexps which improves task data
performance significantly.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

utils.py: Add build_environment function (from Poky)

Add a function to bring the command environment in sync with the data
dictonary.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

ui/puccho: Improve path specification to glade files (from Poky)

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Add .gitignore, ignore *.pyc.

Signed-off-by: Chris Larson <clarson@mvista.com>

taskdata: fix a possible infinite loop when multiple eligible providers aren't buildable

The code which removes providers which aren't buildable from the eligible list
modifies the list while iterating it, resulting in skipping some entries.  If
the list contained two failed providers in sequence, it left the second behind
in the eligible list.

Fixed by replacing the block with a list comprehension that constructs a new
eligible list without the failed entries.

Signed-off-by: Chris Larson <clarson@mvista.com>

Merge the BBCLASSEXTEND code from Poky. This allows once recipe to provide mutliple targets (e.g. -native and -sdk) and has been discussed on the OE mailing list

providers.py: Fix + character escaping from PACKAGES_DYNAMIC (thanks Otavio Salvador)

data.py: Make sure allowed variables inherited from the environment are exported again (from Poky)
shell.py: When running a stage task in bbshell, run populate_staging, not the stage task (from Poky)

fetch/__init__.py: Set HOME environmental variable when running fetcher commands (from Poky)

fetch/git.py: Add username handling to git fetcher (from Poky)

fetch/wget.py: Fix wget fetching of urls with parameters specified (from Poky)

fetch/hg.py: Fix hg checkouts of specific revisions (from Poky)

[bb] Remove unused imports reported by pyflakes

[ui] Fix import statements reported by pyflakes

We ignore the following kind of warnings
    import gtk
    import gtk.glade...

as glade is not imported by default and need that extra line,
pyflakes does not know...

[svk] pyflakes things the go method is broken...

Is anyone still using svk? I don't want to mess with this code
when it might work (due a global) but I might break it... my guess
is that is supposed to be ud.date.

[fetchers] Make pyflakes happy by removing these import statements

We don't use the modules, no need to import them here.

[bb] Fix the tests by setting a debug level at start

In preparation for python3.0 make sure our test cases
are working again.

lib: remove use of 'sets' to make Python 2.6 happy

Acked-by: Chris Larson <clarson@kergoth.com>

bb.fetch.go: iterate over SRC_URI, not urldata.

urldata can contain urls other than just what's in SRC_URI.  The urls of
mirrors, premirrors, stashes, etc can end up in there as well, and we don't
want bb.fetch.go to be fetching those things directly.

Signed-off-by: Chris Larson <clarson@mvista.com>

bb.fetch.git: make empty host pass a file uri to git.

Signed-off-by: Tom Rini <trini@embeddedalley.com>
Signed-off-by: Chris Larson <clarson@mvista.com>

bb.fetch: make try_mirror go through the dispatcher rather than using wget directly.

Signed-off-by: Chris Larson <clarson@mvista.com>

Make the bbpath change for includes temporary rather than permanent.

We currently modify BBPATH so that an include/require looks in the current
working directory before it looks elsewhere.  Modifying it permanently
doesn't gain anything, just polluting it with locations that don't need to
stay there.

Signed-off-by: Chris Larson <clarson@mvista.com>

BBMASK: survive a non-existant path and don't keep the dir after globbing.

Signed-off-by: Chris Larson <clarson@mvista.com>

BBPKGS: act as a default that can be overridden via the cmdline.

Signed-off-by: Chris Larson <clarson@mvista.com>

Clean up by Otavio Salvador

cache.py: Simplfy logic (from Poky)

BBHandler: Move handler finalisation code into a separate function

utils.py: Add bb.utils.prune_suffix function

Tag BitBake 1.8.12 (update versions, MANIFEST, ChangeLog)

Add puccho, goggle and crumbs metadata from Poky (by Robert Bradford)

bin/bitbake: Fix cooker log handling after recent changes

cooker.py: Rearrange the code to allow init of new UIs

shell.py: Catch up with core changes

Update the UIs against the core changes and allow dynamic loading of the UI so UIs become truly plugable.

Rename depexplorer -> depexp for consistency

command.py: Standardise to getVariable and setVariable functions for consistent naming

Pass around the tasks to execute rather than using magic variables. Also use the empty_environment() function to clear the environment

utils.py: Add empty_environment() function and call this from the cooker instead of hiding in data.py (from Poky)

fetch/__init__.py: export more variables to the fetcher commands to allow ssh checkouts and checkouts through proxies to work better. Also allow user and pswd options in urls globally and improve proxy handling when using mirrors (from Poky)

wget.py: Add support for HTTP_PROXY and HTTP_PROXY_IGNORE variables to the wget fetcher

utils.py: Add clean_environment() function and call where appropriate (from Poky)

BBHandler: Improve file not fuond error message

git.py: Add username handling to the git fetcher (Robert Bragg from Poky)

utils.py: Improve lock file function error handling (from Poky)

providers.py: Fix typos and add some further debug which can occassionaly be useful for debugging problems

event.py: Remove the Pkg* events, the make no sense in the task based model bitbake now uses (From Rob Bradford in Poky)

cooker.py: Pass the task to run to tryBuild directly, don't use self.configuration.cmd (From Rob Bradford in Poky)

runqueue.py: Fire the task started event from the worker process, not the server so the pid field is useful (from Rob Bradford in Poky)

Add the pid to the event messages so we can identify which worker events come from (From Rob Bradford in Poky)

Rename online/offline to sync/async for less confusion (from Rob Bradford in Poky)

build.py: Add better debug to exec_func_python when python function execution fails from Poky)

Add tryaltconfigs option to control whether bitbake trys using alternative providers to fulfil failed dependencies. It defaults to off, changing the default since this behaviour confuses many users and isn't often useful (from Poky).

When SRCREV autorevisioning for a recipe is in use, don't cache the recipe (from Poky)

Add osc fetcher (from Joshua Lock in Poky)

[svn] Add @rev to svn checkout command

Patch by borgcube@gmx.li

Svn tries to be smart about revisions. So, when you check out an older revision of a file it goes to the latest revision (HEAD) and tries to go back to the old file. In this case it was impossible, since the whole thing was moved outside of svn's scope, so svn can't find the file in the HEAD revision.

Svn treats this situation as an exception and provides the "peg-revision"-syntax for that. So where you would normally do
svn co -r1337 http://url/to/somewhere/module module

you would now have to do
svn co -r1337 http://url/to/somewhere/module@1337 module,
the @1337 telling svn to go start looking at revision 1337 instead of HEAD.

cache: not existing cache file is not out of date

taskdata: improved error message when BitBake is called with not existing target

fetch/hg.py: Properly format the command if the user URI parameter is empty.

cooker.py: Fix an init problem (from poky)

runqueue.py: Fix nostamp flag handling (from Poky)

[fetch] Always add PN to the _revision_key we get from the fetcher
    This is extending r1101 to always append something to the
    _revision_key of the fetcher. alphaone spotted that it was missing
    for the latest_revision case.

[git] Do not run git-rev-list everytime to increase the speed
    Cache the result of git-rev-list for a repo and hash. This
    speeds up do_package of the linux kernel tremendously.

[git] Optionally use git-rev-list to get a sortable revision
    With setting BB_GIT_CLONE_FOR_SRCREV="1" you can get a sensible
    and global (per repository with only fast forwards) revision. The downsides
    are you will have to have a repository at parse time which means you will
    git-clone certain trees you don't even use. This is also the reason why
    this is optional. This also means you might need to download your git
    checkouts to get this feature working.

[git] Do not git-fetch if we already have the rev we want
    When not having internet do not fail on a not needed git-fetch

[git] Disable downloading of checkouts.
    Instead of calling try_mirror check if we have a local checkout
    already. This code fetched a new checkout even if you had a local
    repository which is rather bad if you don't have internet but a full
    repository. And the overhead of a full checkout vs. repository is not
    too big anyway.

Allow to conditionally implement sortable revision in the fetcher

Make the revision key unique by adding the PN
    If two different recipes (e.g. linux-openmoko and linux-openmoko-devel)
    use the same git repository but with different SRCREVs the count just
    incremented on each parsing. By adding PN to the key we keep the count on
    a per package level. Spotted by Graeme.

[bb.utils] Make prunedir cope with symlinks to directories

2008-10-07  Julian Chu  <Julian_Chu@openmoko.com>

        Reviewed by Holger.

        The packagekit git repository contains a symlink and on fetching the
        pruning failed as "packagekit" is not a directory but a symlink to a
        directory.

        * lib/bb/utils.py:

fetch/perforce.py: Fix to use commandline options instead of being overriden by the environment from Martyn Welch

utils.py: Fix error message (from Joshua Lock)

bin/bitbake: Add better environmental variable handling. By default it will now only pass certain whitelisted variables into the data store. If BB_PRESERVE_ENV is set bitbake will use all variable from the environment. If BB_ENV_WHITELIST is set, that whitelist will be used instead of the internal bitbake one. Alternatively, BB_ENV_EXTRAWHITE can be used to extend the internal whitelist.

cooker.py: Add parseConfiguration() function and move inheritFromOS call outside the parser and into cooker

cooker.py: Rename __depends to __base_depends after configuration parsing so we don't recheck the validity of the config files time after time. Also bump the cache revision to match the format change (from poky)

AUTHORS: update my email address

parse/__init__.py: Fix missing update_mtime function causing shell reparsing breakage (from poky)

providers.py: Fix PACKAGES_DYNAMIC handling of packages with '++' in the name (from poky)

fetch/hg.py: Fix hg fetcher username/password handling and fix crash

fetch/__init__.py: Raise an exception if SRCREV == 'INVALID' (from Poky)

utils.py:  Move prunedir function to utils.py and add explode_dep_versions function

Vim syntax:
- Highlight variable expansions as PreProc, both the braces & the contents.
- Highlight inline python (${@...}) as PreProc for the braces and as actual
  python inside.

[cvs] Allow to checkout by date and time
    With putting YYYYYMMDDHHmm into the SRCDATE bitbake will checkout
    using "-D YYYYMMDD HH:mm UTC". Be careful when you switch from SRCDATE
    with time and without to always get updatable packages.

providers.py: Fix indentation errors

providers.py: When a regexp fails to compile for PACKAGES_DYNAMIC, print a more useful error (#4444)

Revert the '-' character fix in class names since it breaks things

build.py: Make sure expandKeys has been called on the data dictonary before running tasks fixing various strange issues (from poky). Correctly add a task override in the form task-TASKNAME which whilst a change in behaviour shouldn't matter since the original approach didn't work at all

manuals: Add missing options documentation (thanks to zecke for noticing and the patch)

BBHandler.py: Correctly handle '-' characters in class names (#2958)

utils.py:  Add md5 and sha256 checksum generation functions from Ross Burton (via Poky)

Allow to store the PersistData in a PERSISTENT_DIR.

If PERSISTENT_DIR is used wiping the tmpdir will not wipe the PersistData
which sometines is wanted (e.g. for git SRCREVs).

Acked-By: Richard

runqueue.py: Add bb.runqueue.check_stamp_fn() for use by packaged-staging, also improve check_stamp_task debug output

runqueue/taskdata.py: Make sure recrdeps tasks include all inter-task dependencies of a given fn

runqueue.py: Flush stdout/stderr before forking to fix duplicate console output

providers.py: No longer weight providers on the basis of a package being "already staged". This leads to builds being non-deterministic.

runqueue.py: Fix default whitelist variable value

runqueue.py: Add BB_STAMP_WHITELIST option which contains a list of stamps to ignore when checking stamp dependencies and using a BB_STAMP_POLICY of 'whitelist'. Useful for packaged-staging

providers.py: Improve runtime PREFERRED_PROVIDERS warning messages to be more user friendly

fetchers: Tweak the new checkstatus code to handle some corner cases better

trunk cvs.py: Sync with 1.8 branch