Revise message passing code.

More here

Remove mgr_pipe for communicating from manage to monitor.

Data is being passed in shared memory, so the pipe is only being
use as a wakeup.  This can more easily be done with a thread-signal.

Remove mon_pipe for communicating from monitor to manager

The returned value was never used, and we don't really want
this return path anyway as writing to a pipe could conceivably
block, and the monitor must not block.

Handle device removal from container

This really should be done in mdadm, not mdmon.
We ensure the device won't be suddenly commited as a hot-spare
using O_EXCL, then check the 'holders' sysfs directory
to make sure it is only in use once.

Fix kernel patch

Make super super0.c function static.

So only 'super0' is externally visible.

Remove the multiple super_switchs for ddf.

It is simpler if there is just one, and the methods
make decisions as appropriate.

Remove silly convention that major='-1' means 'zero superblock'.

Use 'info pointer is NULL' instead.

Remove getinfo_super_n and do some other cleaning up.

Getting close to a sensible description of what some of the
superswitch methods are supposed to do!

External metadata shouldn't set array.*_version

It doesn't mean anything and is never used.

Add subarray field to supertype.

When loading the metadata for a subarray (super_by_fd), we set
->subarray to be the name read from md/metadata_version so that
getinfo_super can return info about the correct array.

With this we can differentiate between a container and
an array within the container by looking at ->subarray[0].

Add some comments to explain some of the bits of superswitch.

Hide subordinate superswitch structures.

Only one superswitch should be externally visible for each
general type.  Others which handle different flavours
(e.g. container/data-array) should be internal only.

Remove 'major' from superswitch.

It isn't generally meaningful.

Use text_version in map_file rather than major.minor.

Assorted cleanups to DDF

Fix write_init_super usage when hot-adding a spare

Using write_init_super to add a spare to an active array is quite
different to how it is used when creating an array.

It mostly works, but if we are adding two devices to an array,
then when we add the second, there are still traces of the first
which confuse write_init_super.

So get write_init_super to ignore those traces.  Longer term, we
probably want to do this differently as for DDF, hot-adding to
an active array will have to be quite different - it will want to
write to all metadata, possibly via mdmon.

Always zero a struct ddf_super on allocation.

Always initialise a struct super_type to zero

Fix freeing of updates that have been handled by monitor.

Yes, we do want to free the buf, and the space too if it is still
there.

Always assume_clean for raid0, linear, multipath, faulty

For arrays that don't have redundancy (raid0, linear etc), the
clean/dirty distinction doesn't mean anything.  So always
'assume clean' for these arrays.

Merge branch 'release' of git://git.kernel.org/pub/scm/linux/kernel/git/djbw/mdadm into devel-3.0

Merge branch 'release' of git://git.kernel.org/pub/scm/linux/kernel/git/djbw/mdadm into devel-3.0

Merge branch 'master' into devel-3.0

Conflicts:

Makefile

Fix bug in forced assemble.

From: Chris Webb <chris@arachsys.com>

We are loading into the already-loaded 'st' instead of the
newly create 'tst', which is clearly wrong.

Fix an error when assembling arrays that are in the middle of a reshape.

It is important that dup_super always returns an 'st' with the same
->ss and ->minor_version as the st that was passed.
This wasn't happening for 0.91 metadata (i.e. in the middle of a reshape).

mdmon: add debug print statements for profiling mdmon

for development only as console output can block leading to monitor deadlocks
in low mem situations

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: set map state depending on sync state

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: reenable mdmon

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: write anchor last

Ensure that newly written anchors reflect a consistent metadata block.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: implement store_zero_imsm and init_zero_imsm

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: ->getinfo_super set raid_disk to disk.number

A spare device by definition will have raid_disk set to -1, but when
assembling the container we want this disk to by included.

Fixes a SIGSEGV when doing:
mdadm -A /dev/imsm -e imsm /dev/sd[b-e]

...where /dev/sde is marked as a global spare device

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: add 'Create' support

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: 'volume' is the proper name for imsm container members

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: ->container_dev needs to be set in load_super_imsm_all

It is used later by container_content_imsm to determine set the
text_version of the member arrays.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: add 'mpb_size' to --examine output

Break out sector_count() for use elsewhere.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

sysfs: helper routine to retrieve the scsi id

imsm records this information in its metadata

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

sysfs: provide a helper function for locating scsi_generic interfaces

imsm records and validates this data in its metadata

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

ddf: fix up validate_geometry to ignore other containers

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

ddf: fix 'ddf' pointer corruption

hostname[17] = 0 overwrites the last byte of the ddf pointer

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

ddf: convert size paramter to sectors when calling avail_size_ddf

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

A kernel patch needed to add a spare to an active external-metadata array

Add DDF code for activate_spare

Plus various bug fixes etc.

Support adding a spare to a degraded array.

When signalled by the monitor, the manager will find spares and
add them to the array and initiate a recovery.

Some fixes to make failures in ddf get handled properly.

Correctly set resync_start when creating an array.

DDF: Update array state and disk state properly when adding to a BVD

super method for updating ddf metadata.

Allow passing metadata update to the monitor.

Code in manager can now just call queue_metadata_update with a
(freeable) buf holding the update, and it will get passed to the
monitor and written out.

Store and recover spare_assign info in DDF.

Add mppe and conf_rec_len to struct super_ddf

Rather than having to pull them from inside structures and
be_to_cpu them all the time.

Don't ignore errors in sysfs_add_disk.

i.e. if the add fails, don't add the device to the internal data
structures.

Release 2.6.7

Avoid NULL reference calling free_super and elsewhere.

Since we made free_super a superswitch call, we need to be careful
that st is non NULL before calling st->ss->free_super(st).
Also when updating byteorder there is a chance of a similar NULL
deref.

Remove stray semicolon

Causes compile error with gcc-2.95

Fix some stuff.

Parse the 'instance' part of external:/mdXX/INST in metadata handler.

This give more flexability.

Discard st->container_member

'container_member' isn't really a well defined concept.
Each metadata might enumerate members differently, so just
let each format /mdX/YYYY as appropriate.

Remove st->text_version in favour of info->text_version

I want the metadata handler to have more control over the 'version',
particularly for arrays which are members of containers.
So discard st->text_version and instead use info->text_version
which getinfo_super can initialise.

Change mark_clean to set_array_state.

DDF needs more fine grained understanding of the array state.

Discard get_sync_pos.  We should be using get_resync_start.

"sync_complete" just tracks the current resync/recover/check/whatever pass.
"resync_start" tracks which parts of the array are known to be in-sync
(modulo active writes).  So it is what we need to use to update the metadata.
Also we cannot call it when the array has stopped, as the value is no longer
available then.  We must call it when the resync completes.
Possibly also call it preiodically if the array is quiescent.

Start mdmon during incremental assembly of container

allow --incremental to reuse devices that already exist

.. and other fixes.

auto-start mdmon on --create

FIXME uses sill hardcoded path.

Need --assemble too.

Exit when there are no more arrays to manage.

Remove supertype->devfd

It is never used.

Remove stopped arrays.

When an array becomes inactive, clean up and forget it.

This involves signalling the manager.

Set status of devices in ddf.

Might work a little bit....

Implement mark_clean for ddf and remove mark_dirty and mark_sync

mark_dirty is just a special case of mark_clean - with sync_pos == 0.
mark_sync is not required.  We don't modify the metadata when sync
finishes.  Only when the array becomes non-writeable at which point we
use mark_clean to record how far the resync progressed.

Initialise newly allocated active_array better.

Just set it all to zeros.  ->devs in particular needs to be 0.

Discard 'array_list' in mdmon

The container has an ->arrays field that we should be using.

'errno' is a positive number, not negative.

I've been living in the kernel too long ;-)

Remember to close directories when we are finished with them.

Alway use a unique file name for opendev

Else mdadm and mdmon running in parallel can tread on each other.

Remove 'fd' arg from sysfs_add_disk

It it never used, and removing means there are several 'open's that can
go.

Remove stray semicolon

Causes compile error with gcc-2.95

Fix autoassemble for stack arrays.

If you have stacked arrays, then
  mdadm -As --homehost=fred
should work but doesn't.  It gets into an infinite loop!

So write some tests, and fix the bugs.

Release 2.6.6

Remove outdated HOWTO link and credit Jakob's contribution.

From: David Greaves <david@dgreaves.com>

Signed-off-by: David Greaves <david@dgreaves.com>

Include sysfs.c in mdassemble.auto

and tidy up Makefile a bit.

"make everything" now also makes mdassemble.auto

This is
  make MDASSEMBLE_AUTO=1 mdassemble.static

so we now find compile bugs more easily.

Fix some initialisations...

close some memory leaks

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

add infrastructure to receive higher order commands, like remove_device

From: Dan Williams <dan.j.williams@intel.com>

Each md_message encapsulates a single command.  A command includes an 'action'
member which describes what if any data comes after the action.  Communication
with the monitor involves updating the active_cmd pointer and then writing to
mgr_pipe.  Pass/fail status is returned via mon_pipe.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

start fleshing out socket code, ping monitor to see if it is alive

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

when failures happen they should be propagated to all member arrays

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

handle disk failures

From: Dan Williams <dan.j.williams@intel.com>

Added curr_state as a parameter to set_disk.  Handlers look at this to
record components failures, and set global 'degraded' or 'failed'
status.

When reading the state as faulty:
1/ mark the disk failed in the metadata

2/ write '-blocked' to the rdev state to allow the kernel's failure
   mechanism to advance

3/ the kernel will take away the drive's role in remove_and_add_spares()

4/ once the disk no longer has a role writing 'remove' to the rdev state
   will get the disk out of array.

There is a window after writing '-blocked' where the kernel will return
-EBUSY to remove requests.  We rely on the fact that the disk will
continue to show faulty so we lazily wait until the kernel is ready to
remove the disk.  If the manager thread needs to get the disk out of the
way it can ping the monitor and wait, just like the replace_array()
case.

[buglet fix: swap the parameters of attr_match in read_dev_state]

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: update metadata for dirty -> clean or resync -> idle events

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

keep member disk fd(s) for updates

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

Flag arrays for deletion after they have been stopped.

From: Dan Williams <dan.j.williams@intel.com>

If they are later reassembled they will be replaced and deallocated
via replace_array.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

handle resync completion

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

Add mdmon functions to super-intel.

start resync when transitioning from initial readonly state

From: Dan Williams <dan.j.williams@intel.com>

mdadm handles setting resync_start, monitor uses this value to determine
whether to set the 'active' or 'readauto' state.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

Merge mdmon

handle Manage_subdevs() for 'external' arrays

From: Dan Williams <dan.j.williams@intel.com>

1/ Block attempts to add/remove devices from container members
2/ Forward add/remove requests to containers

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

set resync_start in Incremental_container

From: Dan Williams <dan.j.williams@intel.com>

Metadata handlers set mdinfo.resync_start depending on the state of the
array.  By default mdadm assumes the array is dirty and needs a full
resync.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: create support

From: Dan Williams <dan.j.williams@intel.com>

This should probably be made into a generic 'external' capability rather
than hardcoding 'ddf' and 'imsm'.

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: assemble raid devices

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

Set 'metadata_version' for container_member in Incremental_container

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>

imsm: assemble container support

From: Dan Williams <dan.j.williams@intel.com>

Signed-off-by: Dan Williams <dan.j.williams@intel.com>