moved the vnn_map initialisation out of the cmdline code
(This used to be ctdb commit 81492b840d608dc724d5a25ddef6eb0ce12b95fb)

merged ronnies code to delay client requests when in recovery mode
(This used to be ctdb commit dfca37076d642f3407c63dfe3b685287d27c8f8d)

hang the event from the retry structure instead of the hdr structure

(This used to be ctdb commit 8536c8c3a30a986ba4945d02aef82b47495ce3f8)

when we are in recovery mode and we get a REQ_CALL from a client,
defer it for one second and try again

(This used to be ctdb commit 606fb6414b97d1813056982cda7c0fe84d746e67)

merge from ronnie
(This used to be ctdb commit f67a4842e7b1efb2ad61c41e4895c7698e564bf3)

add a command line flag to ctdbd to start a recovery daemon.

update the recovery test script to start all ctdb daemons with a
recovery daemon

(This used to be ctdb commit 47794e16df285cacefc30208d892d931a6e46b96)

change the name of the recovery daemon to ctdb_recoverd

(This used to be ctdb commit b0cf919e4f38961e5cf4e1e79a0cfe4bb4a96d76)

add a small tool to monitor recovery

(This used to be ctdb commit b45936828713c31ee670e2106b49c2351234f310)

fixed a problem with the number of timed events growing without bound with the new seqnum code
(This used to be ctdb commit 6109ae3dae8d93c93a2dc76cc561ea6e21458aa6)

we must repoint dmaster to an invalid node during recovery to stop the
shortcut from working

(This used to be ctdb commit 5e18930be8c0efb87aa9e2780d9457634b24e156)

fix alignment bug for pulldb

(This used to be ctdb commit f1188289c18805c2c5f8bae61d73df3fc762faee)

merge from tridge

(This used to be ctdb commit da8636707547e77c76dc7e368ddfae35b8a21402)

merged from ronnie
(This used to be ctdb commit 49aad9fb09ca2c787e6f82ba03cb229cc51844f0)

hang the timeout event off state   and thus we dont need to explicitely
free it   and also we wont accidentally return from the function without
killing the event first

(This used to be ctdb commit e3d72d024ef7342a808e5c488fd646a39e5fac78)

it now works to talloc_free() the timed event if we no longer want it to
trigger

this must have been a sideeffect of a different bug in the recoverd.c
code that has now been fixed

(This used to be ctdb commit 676446fd1083c371ad0ff72dd8c636ec8e6d1423)

recovery daemon with recovery master election

election is primitive, it elects the lowest vnn as the recovery master

two new controls, to get/set recovery master for a node

to use recovery daemon,   start one
./bin/recoverd --socket=ctdb.socket*
for each ctdb daemon

it has been briefly tested by deleting and adding nodes to a 4 node
cluster but needs more testing

(This used to be ctdb commit 541d1cc49d46d44042a31a8404d521412ef2fdb3)

add new controls to get and set the recovery master node of a daemon
i.e. which node is "elected" to check for and drive recovery

(This used to be ctdb commit d577093eb4b619392c71ab5ce81e8c02565d93f0)

add a test in the function that checks whether the cluster needs
recovery or not  that all active nodes are in normal mode.
If we discover that some node is still in recoverymode it may indicate
that a previous recovery ended prematurely and thus we should start a
new recovery

(This used to be ctdb commit c15517872e6c98c8c425a8d47d2b348ecb0620b0)

update a comment to be more desciptive

(This used to be ctdb commit 96082c54d830974bf9a4d5bad33ad60379a85798)

change a lot of printf into debug statements

(This used to be ctdb commit 6edb9149c7eb36da47e4e6a9dd3ede22263ce3f9)

break out the code to update all nodes to the new vnnmap into a helper
function

(This used to be ctdb commit 81d39177949b54715710907d14ddc888dc09b064)

create a helper function for recovery to push all local databases out
onto the remote nodes

(This used to be ctdb commit 1ba76d374652cfa29e56fb77c7190349e42d3bcc)

add an extra blank line

(This used to be ctdb commit 75096dde58df6532abbf5b9ebd771e8810156483)

break the code that repoints dmaster for all local and remote records
into a separate helper function

(This used to be ctdb commit d5ab30d0ac21e736eb34eaa19bccfee5f0ce7cfb)

create a helper function for recovery that pulls and merges all remote
databases onto the local node

(This used to be ctdb commit 5cecc47449c369f91e83389a94b987ac32b1e3f4)

create a helper function to make sure the local node that does recovery
has all the databases that exist on any other remote node

(This used to be ctdb commit 0f436e3d40fea6e6a146019b0c664e80e81e88b4)

add a helper function to create all missing remote databases detected
during recovery

(This used to be ctdb commit 04758c6f7d8f61260be6d2472380cb7904984427)

break out the setting/clearing of recovery mode into a dedicated helper
function

(This used to be ctdb commit dba4e4f8aa4f2fde1e9f8d93bdf3a33f7de8ce18)

dont allocate arrays where we can just return a single integer

(This used to be ctdb commit 07bc338e490e0f7018808a2450bc54863eb88c94)

dont use arrays where a uint32_t works just as well

(This used to be ctdb commit 843e974b29c93df891ae7cf13323ee960a334f60)

add a ifdeffed out block to the call.

we really should kill the event in case the call completed before the
timeout   so that we can also make timed_out non-static

(This used to be ctdb commit f297eed589b1d4e188f77f195683365cf91d0e62)

hte timed_out variable needs to be static and can not be on the stack
since if the command times out and we return from ctdb_control   we may
have events that can trigger later which will overwrite data that is no
longer in our stackframe

(This used to be ctdb commit 93942543092be618c0bd8ef68b470b0789bad7ad)

update to rhe recovery daemon
ctdb_ctrl_ calls are timedout due to nodes arriving or leaving the
cluster it crashes the recovery daemon afterwards with a SEGV but no
useful stack backtrace

(This used to be ctdb commit cd3abc7349e86555ccd87cd47a1dcc2adad2f46c)

in the recover test
start the daemons with explicit socketnames and explicit ip address/port

remove all --socket=  from all ctdb_control calls since they are not
needed anymore

(This used to be ctdb commit 593a959d428f5b4a913117a9b5c8fe65a3eb950e)

add support in catdb to dump the content of a specific nodes tdb instead
of traversing the full cluster.
this makes it easier to debug recovery

update the test script for recovery to reflect the newish signatures to
ctdb_control

the catdb control does still segfault however when there are missing
nodes in the cluster   as there are toward the end of the recovery test

(This used to be ctdb commit 8de2a97c14a444f817ceb36461314f10c9601ecc)

merge from tridge

(This used to be ctdb commit 08173e3ab77178b9841db0081a51b93291d9e8dc)

add a control to get the pid of a daemon.
this makes it possible to kill a specific daemon in the recover test
script

(This used to be ctdb commit 2fa394b4c80988cb1a6d04b236ec64cc9d9e8a40)

merge relevant lib code from samba4
(This used to be ctdb commit 8076a7c7e12da6d59bae31a2e4a0267d87c7b1b3)

merged vnn map broadcast from ronnie
(This used to be ctdb commit c0fa029435fdaa0be006b28eddb6b31beb2ee605)

- take advantage of the new EVENT_FD_AUTOCLOSE flag
- use the tdb_chainlock_mark() call to allow us to guarantee forward progress in the ctdb_lockwait code

(This used to be ctdb commit e201e98aad0fef6a779a80f3b1ae7792953e2d6b)

allow the events system to be chosen on the command line
(This used to be ctdb commit 2fe976d7a376a763472cc7952a78b6249ce416c8)

use the new lib/events autoconf code
(This used to be ctdb commit fec779711e8c4d6e047d792aee744e60e5a9f67c)

- added a EVENT_FD_AUTOCLOSE flag that allows you to tell the event system to close the fd automatically when a fd_event is freed. This prevents races which can lead to epoll missing events
- added autoconf rules for automatically building with epoll support

(This used to be ctdb commit 4d113298b26f7163992f2e47429c953bd4f957c9)

added tdb_chainlock_mark() call, which can be used to mark a chain locked without actually locking it. This will be used to guarantee forward progress in the ctdb non-blocking lockwait code
(This used to be ctdb commit 2af98c3418496b39106c7282f550049ec8239657)

merge from tridge

(This used to be ctdb commit 8648104f8d76d22427c14422b126f7e979cc2d95)

show number of connected clients in status output
(This used to be ctdb commit 99765bbe327bfe9c43415f4943281458f25be51b)

split the vnn broadcast address into two
one broadcast address for all nodes
and one broadcast address for all nodes in the current vnnmap

update all useage of the old flag to now only broadcast to the vnnmap
except for tools/ctdb_control where it makes more sense to broadcast to
all nodes

(This used to be ctdb commit dfb65b88cf67ad9d61268c4b47a6d8ae346f47df)

merge from tridge

(This used to be ctdb commit ea45ffe3fe479d49b6ed47cb545ee662655f6187)

added a dumpmemory control, used to find memory leaks
(This used to be ctdb commit 44fdafaf421e3e906796d529aed2f7c5df201b94)

- fixed a crash bug after client disconnect in ctdb_control
- added total memory used to ctdb_control status output

(This used to be ctdb commit a99ffe4372edc63d83d8c8ebf9a60b3413301f5a)

- added counters for controls in ctdb_control status
(This used to be ctdb commit 858061372fc9902837a1a5b8bcfc0ada58eec193)

merged from ronnie
(This used to be ctdb commit 88f0977f303836b50aa9239a9eb3447646bc1e3f)

merge from tridge

(This used to be ctdb commit 62574808ef4dcb76760f1dd2496fbe8e34197c23)

added seqnum propogation code to ctdb
(This used to be ctdb commit be2572b1b09eaaa1ea6a726d60f16996f9407d13)

merge from tridge

(This used to be ctdb commit 6c8b90cedc67daa89d54db5268fde18bfc20abaf)

added a ctdb control for enabling the tdb seqnum
(This used to be ctdb commit c66920d9fb08a4a33418e2c1dcf1fc320fba3761)

added a tdb_enable_seqnum() function
(This used to be ctdb commit 1f89da231c6637e339d5da156d6a48340706fe61)

remove a exit from the test script

(This used to be ctdb commit 4adb61f8270dbd15732bc458d49a66138dd240cc)

recovery daemon

this program is a client to the local ctdb daemon

every second it pulls all vnnmap and nodemaps from all nodes that are
available and checks if a recovery is required

a recovery is required if :
* all nodes do NOT have an identical vnnmap and generation
* all nodes do NOT have an identical nodemap
* there are active nodes that are NOT in the nodemap
* there are nodes in the nodemap that are NOT active

During recovery,  the recovery tool will also make sure that all nodes
know about and have created all databases.

(This used to be ctdb commit 2f2650467bac7e8954de7c17cb34f46b0bdbcd26)

make catdb take a dbname instead of an id
(This used to be ctdb commit 365346345c33d2f310bb23d0c6ab5c3ed5e6e938)

nicer interface to ctdb traverse
(This used to be ctdb commit e5ce866dcc5037b5069e42bf1e168b646f007b01)

also verify that the generation id is the same on all the nodes and if
not, trigger a recovery

(This used to be ctdb commit 46b8a66ee70419c153acf45eeec88c1fc8f230ce)

merge from tridge

(This used to be ctdb commit 5724d41352df252151e54ecdb02baa7f82c3aabf)

- changed the REQ_REGISTER PDU to be a control

- allow controls to know which client invoked them

- added a client_id to clients, so they can be identified remotely

- added the ability to remove registered srvids

- in the list_keys code, register a temp srvid, then remove it afterwards

(This used to be ctdb commit 29603c51cc6d81362532cd8e50f75c8360c5f5ef)

merge from ronnie
(This used to be ctdb commit cf23175526d8fde1ef145605fb545584384b6cec)

update getvnnmap control to take a timeout parameter
dont explicitely free the vnnmap pointer in the getvnnmap control  this
is freed by the mem_ctx instead

add code to the recoverd to detect when/if recovery is required
veiry that the number of active nodes, the nodemap and the vnn map is
consistent across the entire cluster and if not   trigger a recovery
(which right now just prints "we need to do recovery" to the screen.

(This used to be ctdb commit 2b0a207a3748bdb3394dc9fd0d1c344ee1bb0bb5)

change the signature for ctdb_ctrl_getnodemap() so that a timeout
parameter is added.
change ctdb_get_connected_nodes in the same way

(This used to be ctdb commit d85f23bcf4c1230225abb2f4a053c70b68d469aa)

ctdb_control should use the provided timeout and not hardcode to 1.0
seconds

(This used to be ctdb commit 03acb2f450578f6195ab2d0a598f6720e33e7cfb)

start working on a recovery daemon

change ctdb_control so it takes a timeval pointer as argument.
this is the timeout. if the node has not responded within hte timeout
ctdb_control will return an error instead of hanging.
if the timeval pointer is NULL then the call will block indefinitely if
there is no response.

this is used for now in the createdb control   but all the helpers
ctdb_ctrl_* should probably be updated to take a timeout parameter as
well.

(This used to be ctdb commit 1fe64b04869b17dbf123851b0fe09df8d28a6211)

merge from tridge

(This used to be ctdb commit fb8ac93c7dfc11e774ef1ce05b0d0df1de56a621)

first version of traverse is working
(This used to be ctdb commit ecac90cee389a6fa0e9b1efba521e098a24d323f)

cleanup the control "write record"

(This used to be ctdb commit 4dd5c26a21a5dc2b2f76eb23cfeb4df82ba4e956)

merge from tridge

(This used to be ctdb commit abf4c9d0cccd937a7036bd03b1b4c6e635c8eb58)

merged from ronnie
(This used to be ctdb commit 57a80110ddfd202f8de37297db76dc43a064e476)

don't zero beyond packet header unnecessarily
(This used to be ctdb commit 4cf88ca2ce81db8fe10b0dfedb81d99a2bd93328)

cleanup getnodemap

(This used to be ctdb commit 3867ccf71a167fb82dbc5a3f03f968a325a0c70b)

fixup getdbmap control so it looks a bit nicer

(This used to be ctdb commit 78a4d61cb78da20af5210488e685c91bc3023e90)

first stage of efficient non-blocking ctdb traverse
(This used to be ctdb commit 4c23e6f26bde421bb56b55de9d6cd3e319b2be40)

merged cleanup from ronnie
(This used to be ctdb commit 971e7f82f3e1e9bfc8d521080c86431fbb59277d)

break set/get vnn map out from ctdb_control and put it in ctdb_recover.c
for the time being

remove all the [de]marshalling and just pass a structure around instead

(This used to be ctdb commit b1169555ab7015976c0135ff51121cc238f5887c)

merge from ronnie
(This used to be ctdb commit bac8eed2c247a7970836c0e6c2b9e2664922f410)

merge from tridge

(This used to be ctdb commit ae72aac605d0c68134d65c213d76496e6293ebc4)

merge from ronnie
(This used to be ctdb commit daba707370b28e200d9e55eb81fc819b62f8fbdd)

merge from tridge

(This used to be ctdb commit 2321a2a31e43208f16d6af15ee55a489670de005)

fixed a memory leak in the ctdb_control code
(This used to be ctdb commit 70aa77a66bb5f16c93ecb122b92a6e63f6343ab1)

enabled built in popt if system doesn't have it
(This used to be ctdb commit 30c8d69267a78e1d3dea0fcc936ee2939bb7a373)

merge from tridge

(This used to be ctdb commit 17b73a811009588f836c3f9fd1b775d9d504d30c)

do a real recovery by killing a node and then calling the recover
control

(This used to be ctdb commit f8d97f8b56f0af83a514ec0364eb915e2d5ea2d7)

recover.sh test script that build a few database and populates them with
a record  then performs a recovery which merges all records onto node 0

(This used to be ctdb commit 54a072deb40d8d4a4a9e35bfde0eec3c867211d0)

add a recover test   change alignment for the pull/push db structures

(This used to be ctdb commit 0eb45623ca103e69765ed577ae02e7f8ca777e37)

added a builtin fetch function to support samba3 unlocked fetch
(This used to be ctdb commit 8c57a8355a94a7d714b9bec98533bc40a2bc4684)

nicer command parsing in ctdb_control
(This used to be ctdb commit 440077ffabb4ce831004b36ac26bd2f8f9b41499)

discard REQ/REPLY DMASTER when generation id is wrong or when in
recovery mode

(This used to be ctdb commit bfd6d430f22e38cff1d64510dc447cfbe1dab35f)

nicer string handling in usage
(This used to be ctdb commit 8c568ada9b46132ebfa452def4f8ba3f11240532)

merged from ronnie
(This used to be ctdb commit 77255f93d432829387dc328b0ae726cc9cba8d68)

remove sleep from the fetch test

add a test script to start 4 daemons to test recovery

(This used to be ctdb commit 09eab12b00934afa5159fc500faf6b07effb2804)

add a control to create a database

(This used to be ctdb commit 74e489c6737cc79537c7812ea82daafb1b363ec2)

remove test code in the fetch test to keep the daemons running forever
(so one has lots of tiume to play with ctdb_control)

(This used to be ctdb commit 8fbaf82a7b3f0e62c887e91731ad8c659122c785)

change the getnodemap control to a more consistent output for whether a
node is connected or not

(This used to be ctdb commit 65c5fe53937a17e1fa6de5739cbd01b982dc49bb)

update some calls to ctdb_control() that were still using the old
signature (flags field)

update some calls to ctdb_get_config() to use the new name
ctdb_ctrl_get_config()

change #include "talloc/talloc.h" to #include "lib/talloc/talloc.h" in
lib/events/events.h

(This used to be ctdb commit d2cdd87037b9f0c387228d7d4743da4869929c93)