mdmon: ping will wait for manage_mon to catch up.

When a 'ping' (empty message) is sent to mdmon, we wait for
'monitor' to do a full loop to make sure it has caught up
with anything that needs doing.
This allows synchronisation between mdadm and mdmon.

Maybe monitor should signal managemon rather than managemon polling...

Signed-off-by: Neil Brown <neilb@suse.de>

Make sure resync_start is initialised properly and maintained properly

Signed-off-by: Neil Brown <neilb@suse.de>

ddf: endian fixes.

We forgot to convert endian for lba_offset at one point,
and use le32 instead of be32 right nearby!!

Signed-off-by: Neil Brown <neilb@suse.de>

mdmon: close possibility of re-marking the metadata dirty on shutdown

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

mdmon: notify metadata of recovery completion

Array may no longer be degraded.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

mdmon: initialize component_size in manage_new

When we go to activate a spare for an array we expect ->info.component_size
is valid.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

mdmon: close small window of invalid mon_tid

There is a small chance that the manager tries to wake the monitor before
mon_tid is set.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

mdadm: add an environment variable to prevent auto-launching mdmon

Useful for attaching gdb to mdmon before any action is taken on the array.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

managemon: don't treat sysfs_add_disk as boolean function

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: process update

Handle 'activate_spare' events

imsm: activate_spare

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: metadata only supports a global 'data_offset'

When creating a volume a drive must have free space starting at the same
location as all the other drives in the array.

imsm: fix raid1 creation

Need to supply dummy values for the chunk size and number of data stripes

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: fail ->open_new if container_member is out of range

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: kill obsolete call to fsync() in store_imsm_mpb

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: fix insufficient mpb buffer allocation

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: catch posix_memalign allocation failures

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: remove extra superswitches

Following the lead of 75ede16d.  This incidentally fixes creation of a second
array by gating call to getinfo_super_imsm_volume with a valid ->current_vol.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: fix store_imsm_mpb() alignment for O_DIRECT

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

Print used message in place of "default metadata" message.

When creating an array in a container, print e.g.
   Creating array inside ddf container /dev/whatever
rather than
   Defaulting to version /md127/1 metadata

Introduce devname2devnum

and use it instead of opencoding.

Fix fd comparison in Incremental

fd==0 is theoretically possible...

Pass 'verbose' flag to validate_geometry

That way it can be silent when we are just trying to figure out
which metadata to use, and noisy when detecting a real problem.

Correct unit conversion for component_size and dev/size in sysfs.

These are both Kilobytes, so do the conversion to sectors properly.

Use O_DIRECT for all IO to devices.

Using buffered IO risks non-atomic updates to parts of the
device that we don't actually want to write to.  This isn't in
general safe.
So switch to O_DIRECT for all that IO and make sure we have
properly aligned buffers.

Stop all arrays before running each test in regression test driver.

Sometimes I forget to stop arrays at the end of scripts, and
that shows errors in the next script, which is confusing.

ddf: Set container_member from subarray in getinfo_super.

Also go direct from subarray to text_version.

Reduce the number of metadata updates done by ddf.

1/ track if there are any actual updates pending, and only
   write metadata when we have changed something.

2/ when writing null virtual-configs, write full blocks,
   not just the first 4 bytes.  This will allow O_DIRECT
   writes in a subsequent patch.

Improve shutdown for container-based arrays.

1/ close a race where multiple arrays disappear at once
   and monitor isn't woken up to find out that the last one
   has gone.
2/ "mdadm -Ss" needs to pause briefly for mdmon to exit.

Keep container device open in monitor

... so that it cannot be stopped while there are active arrays.
I don't know where that second 'close' came from ....

Make sure we remove pid file in monitor before manager exits.

Remove some noisy printfs.

Create arrays via metadata-update

Support creating arrays inside an active ddf container by
sending a metadata update over a pipe to mdmon.

Revise message passing code.

More here

Remove mgr_pipe for communicating from manage to monitor.

Data is being passed in shared memory, so the pipe is only being
use as a wakeup.  This can more easily be done with a thread-signal.

Remove mon_pipe for communicating from monitor to manager

The returned value was never used, and we don't really want
this return path anyway as writing to a pipe could conceivably
block, and the monitor must not block.

Handle device removal from container

This really should be done in mdadm, not mdmon.
We ensure the device won't be suddenly commited as a hot-spare
using O_EXCL, then check the 'holders' sysfs directory
to make sure it is only in use once.

Fix kernel patch

Make super super0.c function static.

So only 'super0' is externally visible.

Remove the multiple super_switchs for ddf.

It is simpler if there is just one, and the methods
make decisions as appropriate.

Remove silly convention that major='-1' means 'zero superblock'.

Use 'info pointer is NULL' instead.

Remove getinfo_super_n and do some other cleaning up.

Getting close to a sensible description of what some of the
superswitch methods are supposed to do!

External metadata shouldn't set array.*_version

It doesn't mean anything and is never used.

Add subarray field to supertype.

When loading the metadata for a subarray (super_by_fd), we set
->subarray to be the name read from md/metadata_version so that
getinfo_super can return info about the correct array.

With this we can differentiate between a container and
an array within the container by looking at ->subarray[0].

Add some comments to explain some of the bits of superswitch.

Hide subordinate superswitch structures.

Only one superswitch should be externally visible for each
general type.  Others which handle different flavours
(e.g. container/data-array) should be internal only.

Remove 'major' from superswitch.

It isn't generally meaningful.

Use text_version in map_file rather than major.minor.

Assorted cleanups to DDF

Fix write_init_super usage when hot-adding a spare

Using write_init_super to add a spare to an active array is quite
different to how it is used when creating an array.

It mostly works, but if we are adding two devices to an array,
then when we add the second, there are still traces of the first
which confuse write_init_super.

So get write_init_super to ignore those traces.  Longer term, we
probably want to do this differently as for DDF, hot-adding to
an active array will have to be quite different - it will want to
write to all metadata, possibly via mdmon.

Always zero a struct ddf_super on allocation.

Always initialise a struct super_type to zero

Fix freeing of updates that have been handled by monitor.

Yes, we do want to free the buf, and the space too if it is still
there.

Always assume_clean for raid0, linear, multipath, faulty

For arrays that don't have redundancy (raid0, linear etc), the
clean/dirty distinction doesn't mean anything.  So always
'assume clean' for these arrays.

Merge branch 'release' of git://git.kernel.org/pub/scm/linux/kernel/git/djbw/mdadm into devel-3.0

Merge branch 'release' of git://git.kernel.org/pub/scm/linux/kernel/git/djbw/mdadm into devel-3.0

Merge branch 'master' into devel-3.0

Conflicts:

Makefile

Fix bug in forced assemble.

From: Chris Webb <chris@arachsys.com>

We are loading into the already-loaded 'st' instead of the
newly create 'tst', which is clearly wrong.

Fix an error when assembling arrays that are in the middle of a reshape.

It is important that dup_super always returns an 'st' with the same
->ss and ->minor_version as the st that was passed.
This wasn't happening for 0.91 metadata (i.e. in the middle of a reshape).

mdmon: add debug print statements for profiling mdmon

for development only as console output can block leading to monitor deadlocks
in low mem situations

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: set map state depending on sync state

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: reenable mdmon

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: write anchor last

Ensure that newly written anchors reflect a consistent metadata block.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: implement store_zero_imsm and init_zero_imsm

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: ->getinfo_super set raid_disk to disk.number

A spare device by definition will have raid_disk set to -1, but when
assembling the container we want this disk to by included.

Fixes a SIGSEGV when doing:
mdadm -A /dev/imsm -e imsm /dev/sd[b-e]

...where /dev/sde is marked as a global spare device

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: add 'Create' support

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: 'volume' is the proper name for imsm container members

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: ->container_dev needs to be set in load_super_imsm_all

It is used later by container_content_imsm to determine set the
text_version of the member arrays.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: add 'mpb_size' to --examine output

Break out sector_count() for use elsewhere.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

sysfs: helper routine to retrieve the scsi id

imsm records this information in its metadata

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

sysfs: provide a helper function for locating scsi_generic interfaces

imsm records and validates this data in its metadata

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

ddf: fix up validate_geometry to ignore other containers

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

ddf: fix 'ddf' pointer corruption

hostname[17] = 0 overwrites the last byte of the ddf pointer

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

ddf: convert size paramter to sectors when calling avail_size_ddf

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

A kernel patch needed to add a spare to an active external-metadata array

Add DDF code for activate_spare

Plus various bug fixes etc.

Support adding a spare to a degraded array.

When signalled by the monitor, the manager will find spares and
add them to the array and initiate a recovery.

Some fixes to make failures in ddf get handled properly.

Correctly set resync_start when creating an array.

DDF: Update array state and disk state properly when adding to a BVD

super method for updating ddf metadata.

Allow passing metadata update to the monitor.

Code in manager can now just call queue_metadata_update with a
(freeable) buf holding the update, and it will get passed to the
monitor and written out.

Store and recover spare_assign info in DDF.

Add mppe and conf_rec_len to struct super_ddf

Rather than having to pull them from inside structures and
be_to_cpu them all the time.

Don't ignore errors in sysfs_add_disk.

i.e. if the add fails, don't add the device to the internal data
structures.

Release 2.6.7

Avoid NULL reference calling free_super and elsewhere.

Since we made free_super a superswitch call, we need to be careful
that st is non NULL before calling st->ss->free_super(st).
Also when updating byteorder there is a chance of a similar NULL
deref.

Remove stray semicolon

Causes compile error with gcc-2.95

Fix some stuff.

Parse the 'instance' part of external:/mdXX/INST in metadata handler.

This give more flexability.

Discard st->container_member

'container_member' isn't really a well defined concept.
Each metadata might enumerate members differently, so just
let each format /mdX/YYYY as appropriate.

Remove st->text_version in favour of info->text_version

I want the metadata handler to have more control over the 'version',
particularly for arrays which are members of containers.
So discard st->text_version and instead use info->text_version
which getinfo_super can initialise.

Change mark_clean to set_array_state.

DDF needs more fine grained understanding of the array state.

Discard get_sync_pos.  We should be using get_resync_start.

"sync_complete" just tracks the current resync/recover/check/whatever pass.
"resync_start" tracks which parts of the array are known to be in-sync
(modulo active writes).  So it is what we need to use to update the metadata.
Also we cannot call it when the array has stopped, as the value is no longer
available then.  We must call it when the resync completes.
Possibly also call it preiodically if the array is quiescent.

Start mdmon during incremental assembly of container

allow --incremental to reuse devices that already exist

.. and other fixes.

auto-start mdmon on --create

FIXME uses sill hardcoded path.

Need --assemble too.

Exit when there are no more arrays to manage.

Remove supertype->devfd

It is never used.

Remove stopped arrays.

When an array becomes inactive, clean up and forget it.

This involves signalling the manager.