merged tridge's branch

(This used to be ctdb commit 9f76f0fc94cedc2ac775181033c2484d56ccfed0)

fixed typo
(This used to be ctdb commit 9755f9c62fd14abc65189fc06629f37546f53082)

merge from peter
(This used to be ctdb commit ddf390da2bceb5b3f431433aec424d99d98c05f4)

merged tridge's branch

(This used to be ctdb commit 02ec7d6abb75a7c0a414efd4a50d44e6f1e5e407)

moved status to ctdb_control
(This used to be ctdb commit 9a543968ba0379fbf8e977e184f22f4349d6243f)

made ofed-1.0 (and 1.1) compatible + fixed warnings

(This used to be ctdb commit 43e4b83fc796b05baccfff6a34df398c821aa018)

added a ctdb control message, and tool
(This used to be ctdb commit 0d7a71f35bb8ce95231f8ca1e8e3e4024fe657e5)

merge from ronnie
(This used to be ctdb commit 37ef65737571a4290a150c28cf2b0a6b221253fd)

add version printout
(This used to be ctdb commit 54aaf64cf0681329cdcdc4b7f76e1335952bb683)

fit some more windows across a screen
(This used to be ctdb commit f787f9c966bab82065b979b0a6fcc5c056c7cee4)

popt not needed in lockwait code
(This used to be ctdb commit 796fdbe8efc3d74515218ddcb25abdbec2e9c2b7)

add pdu's that the client can use to query the ctdb daemon of the path
to the database it created (so the client can open and access the same
file)

(This used to be ctdb commit c2eda19499b3263b2248c41bd531fb73c7b42212)

fixed ctdb/ib bug at reject event
reverted my suggestion in debug.c (based on my false error detection)

(This used to be ctdb commit 5c52c9f37639c65b551c10d1706c49653cd99742)

split the 32bit idr field into two.
store the idr as the high 16 bits and use a rotating counter for the low
16 bits.

(This used to be ctdb commit 7c763b7b5e6ca54a6df4586893ddaf1b508b4c22)

add a comment that sometimes sending remote calls straight to the
lmaster instead of what the nodes think is the dmaster (which might be
stale) improve performance.

(This used to be ctdb commit f535f79e6a2a6c6d07141b96e0b957fa93c684f4)

added max_redirect_count status field
(This used to be ctdb commit ecea04741fe552aa409ab165d7c69ead9649986c)

merge from tridge

(This used to be ctdb commit 3457af559a5d54fd9eb787f18ff15d7c19271f60)

fixed the reverse of the last bug - handle the case when the new dmaster is the lmaster
(This used to be ctdb commit b2599834d2ace7369a1b36f85fdf6eb62f047e30)

mark authoritative records
(This used to be ctdb commit f2076338221c5cb28f9045ce5345cc6a9b429f1a)

debug changes
(This used to be ctdb commit 3ddc1e4f1d3660d33cc2a07e53b66772116e9640)

merge from tridge

(This used to be ctdb commit 1c33c9856c05068a5681f3e37c9b94f429038a69)

- when handling a record migration in the lmaster, bypass the usual
  dmaster request stage, and instead directly send a dmaster
  reply. This avoids a race condition where a new call comes in for
  the same record while processing the dmaster request

- don't keep any redirect records during a ctdb call.  This prevents a
  memory leak in case of a redirect storm

(This used to be ctdb commit 59889ca0fd606c7d2156839383a09dfc5a2e4853)

merge from tridge

(This used to be ctdb commit 2644ee0e81e4f78d35528999b0a18f4253f99794)

added a useful tool for dumping a ctdb
(This used to be ctdb commit 671ed94011e21396571a3f4a5191b9a83911c952)

merge from tridge

(This used to be ctdb commit 831847ba999e504b9c75f4e7c9c09c26bbeffcba)

update the vnn as well when getting the connection information
(This used to be ctdb commit 25f36f7edaa56a16692949d6750b65d74bf4218f)

merge from samba4
(This used to be ctdb commit a64c6ace26559b2793f2a804430fb0fc53f03a34)

merge from tridges tree

(This used to be ctdb commit d3fdb22eec5fd21132e2a9ab19ebbb21217ccec9)

- prevent sending dmaster requests to ourselves

- add some debug code

(This used to be ctdb commit 26ad1ec3a3b872520a735e4fe4f224f716643731)

merge fixes from samba4
(This used to be ctdb commit 23d892c2696c5c1dd9f12f1ccd1acfa264be4fb6)

merge tdb updates from samba4
(This used to be ctdb commit c9959e5741a17fd52070b744714eb00bf92a93eb)

use talloc_vasprintf

(This used to be ctdb commit e259620d416497fba5ac43a87f3be7b280c21409)

removing my dirt from tridge's code
(this change wasn't necessary)

(This used to be ctdb commit 217d996abdafe91c2f51d9d486d95a6607b56285)

merged tridge's branch

(This used to be ctdb commit b40d044fc5b057b707a6f5637313c0836981a66e)

Simplified code in ctdb_init_transport.

(This used to be ctdb commit 9a30e0fcbdde587cb1f3d854b8f1d22da19d9af4)

- ctdb/ib minor bugfixes (error case)
- make ctdb capable of alternative connection (like ib) again, solved the fork problem
- do_debug memory overwrite bugfix (occured using ibwrapper_test with wrong address given)

(This used to be ctdb commit da0b84cda26d544f63841dfd770ed7ebad401944)

- expanded status to include count of each call type
- added lockwait latency

(This used to be ctdb commit 0b5d196147e644cf8b172cb4b593fd46b1caa386)

added ctdb_status tool
(This used to be ctdb commit 908d6c6a936e21f70f05827ce302e966cca0132a)

- fixed a problem with packets to ourselves. The packets were being
  processed immediately, but the input routines indirectly assumed
  they were being called as a new event (for example, a calling
  routine might queue the packet, then afterwards modify the ltdb
  record). The solution was to make self packets queue via a zero
  timeout.

- fixed unlinking of the socket in a exit in the lockwait code. Needed
  an _exit instead of exit so atexit() doesn't trigger

- print latency of lockwait delays

(This used to be ctdb commit 1b0684b4f6a976f4c5fe54394ac54d121810b298)

merged fix from volker (thanks!)
(This used to be ctdb commit 5f51864f837de5fd262d6a41722605789494cb66)

minor debug changes
(This used to be ctdb commit 1950d96458238782c3bfd8e41a053c4be8330ef9)

merge from tridge

(This used to be ctdb commit 819cdf314900388fe36368a21e2c4895b78b9203)

The remote node needs to get the IMMEDIATE_MIGRATION flag to actually send the
record

(This used to be ctdb commit 9159434b1eef39b7de58b30626039f1e45a97306)

Merged tridge's ctdb branch.

(This used to be ctdb commit d9046da5219144afe68f5a376243d998e7068ccd)

fixed a bug found by volker - initialse the record on disk when initialised in memory
(This used to be ctdb commit f7903b00cdc91ae7d7e38b1a38d2b7b663e3a728)

- split out ctdb_ltdb_lock_fetch_requeue() into a simpler
  ctdb_ltdb_lock_requeue() and a small wrapper

- use ctdb_ltdb_lock_requeue() to fix a possible hang in
  ctdb_reply_dmaster(), where the ctdb_ltdb_store() could hang waiting
  for a client. We now requeue the reply_dmaster packet until we have
  the lock

(This used to be ctdb commit 97cd7aa09ce3abbb5e3e965c5c81668e0c0133a5)

- added a --torture option to all ctdb tools. This sets
  CTDB_FLAG_TORTURE, which forces some race conditions to be much more
  likely. For example a 20% chance of not getting the lock on the
  first try in the daemon

- abstraced the ctdb_ltdb_lock_fetch_requeue() code to allow it to
  work with both inter-node packets and client->daemon packets

- fixed a bug left over in ctdb_call from when the client updated the
  header on a call reply

- removed CTDB_FLAG_CONNECT_WAIT flag (not needed any more)

(This used to be ctdb commit 7559dcd184666c3853127e3c8f5baef4fea327c4)

merge from ronnie
(This used to be ctdb commit 257af5c31a311217315e07d6a194c3f96c8dfa80)

 the checks for srcnode and destnode from the client are redundant since the daemon will sort these out itself before it sends the call of to either the local handler or a remote daemon

(This used to be ctdb commit 9175d49ba1ce2af99907fa227b50d281f85c98ae)

merge from ronnie
remove unused bench_incr function in ctdb_bench.c

(This used to be ctdb commit 39424cb13070c9964121b533a9f9ba448ce49d16)

remove a comment that is no longer valid

(This used to be ctdb commit e834cf18cfc18c9462f0dfff0315b5b6798771f8)

don't need these structures any more
(This used to be ctdb commit 506117dc24ec647c629c92a3996455cd8d9c8ec6)

add some tests in the daemon that a REQ_CALL that a client sent us has valid srcnode and destnode

update ctdbd_test.c to show how to force a migration onto the local node

(This used to be ctdb commit fe313cee4927075be311e28ea106bd5cc035f217)

merge from tridge

(This used to be ctdb commit 45081eadb89fdaf8c831e161ae7df816beda934b)

merge from tridge

(This used to be ctdb commit e9561cfe190af8c0594de7531fbf087730aae60c)

much simpler fetch code!
fetch is now confined to the client code, no spcial code at
all in the daemon.

(This used to be ctdb commit 3ec801c9717e250b902760862df188e03c9bdbf4)

- fully separate the client version of ctdb_call from the daemon
  version. The client version is different enough that this is
  worthwhile

- enable local shortcut for client version of ctdb_call

- add idr_find_type(), with better error reporting in case of type
  mismatch

(This used to be ctdb commit 2388094c5f7b6ce003e86b05620c06217d63b49c)

- make he packet allocation routines take a mem_ctx, which allows
  us to put memory directly in the right context, avoiding quite a few
  talloc_steal calls, and simplifying the code

- make the fetch lock code in the daemon fully async

(This used to be ctdb commit d98b4b4fcadad614861c0d44a3854d97b01d0f74)

ctdbd does no longer take a --daemon parameter since we no longer do non-daemon mode
remove the parameter from the ctdbd script

remove the store_unlock from ctdbd_test since there is no and will be no pdu for this
CTDB_REPLY_FETCH_LOCK no longer return the data for the record since the client is assumed to read this itself from the local tdb. remove some variables that no longer exists.

(This used to be ctdb commit 77c43479e1932b27387fc2f85a3cb6538633b481)

merge from tridge

(This used to be ctdb commit 414952b2dd48de4a9edb532ba9c2cb6e22bb6d7f)

avoid a deadlock the fetch_lock code. The deadlock could happen when
a client held the chainlock, and the daemon received a dmaster reply
at the same time. The daemon would not be able to process the dmaster
reply, due to the lock, but the fetch lock cannot make progres until
the dmaster reply is processed.

The solution is to not hold the lock in the client while talking to
the daemon. The client has to retry the lock after the record has
migrated. This means that forward progress is not guaranteed. We'll
have to see if that matters in practice.

(This used to be ctdb commit 737e5a1253cb048222c595a474aff71c99fc554f)

- use separate directories for the tdb files by default
- use TDB_CLEAR_IF_FIRST to ensure we don't use an old tdb
(This used to be ctdb commit ac47d7b4eb79597da1358da21f10e634cdc9dd2e)

merged the db_dir changes from volker. Changed them slightly,
to make the --dbdir option available to all ctdb tools, not just
the daemon

(This used to be ctdb commit add63b0ae11d8727163bb6f0c94a617d9b88ef28)

merge from tridge

(This used to be ctdb commit a8d7f1af3751276599086735660fec0659d57b1c)

Add --dbdir to ctdbd. Necessary for shared operation between ctdbd and smbd.
(This used to be ctdb commit bce40105e2ccbca5e364793bbf1a6357e6dd69b2)

this fixes a timeout error spotted by volker
It ensures that when the client context goes away (such as when the client exits)
that any timed events and partially completed requests from that client also go away
(This used to be ctdb commit 45a45a0a44d4da9b45719aac72b0ae4bd4c74462)

merged cleanup from ronnie
(This used to be ctdb commit 26037a7b3557faa1c10944f654b1465877c6b840)

validate dmaster on a client fetch request
(This used to be ctdb commit b49069aac0c14e5a02be843247930c197d620a81)

we dont need the structure ctdb_reply_shutdown since we dont implement that pdu any more

(This used to be ctdb commit 5bac32b3daf3c61214269cd09cfc1b6c3f8c3d6e)

merge from tridge

(This used to be ctdb commit c8598a3a727049517ee7a923b0ae30b039b9080b)

simpler shutdown process. The reply is not actually needed, and
occasionally leads to problems if an immediate send on the socket
causes a context switch and the client exiting before the daemon. We
now exit the client when the daemon goes away.

(This used to be ctdb commit b7bed0088e700f25105ceea63640b38804f51e4d)

use shutdown in more tests
(This used to be ctdb commit 150153947b959f90991fdae8d7c85ef8d551dff5)

make sure we don't double free in the async lock handler
(This used to be ctdb commit 67d3e64f82fd71ff1e32bf377d0cf1f636b9602f)

merge from tridge

(This used to be ctdb commit 4a6cb8a5c411457459eaadddd03ef64924505cd8)

- merge from ronnie, and use wait instead of sleep in test scripts
(This used to be ctdb commit 6e6812641e3ce7afae7bd46ed317a885839fdd4f)

add/finish the ctdb_shutdown() function.
this function can be used in test applications to perform an orderly shutdown of the ctdb cluster once the test has completed.
the ctdb nodes will remain operational until all of them have received a shutdown from their client(s)  after which the ctdb daemons will all terminate.

this eliminates the need to using sleep() in some of the test applications

(This used to be ctdb commit f35db69dc190b11659aad85495bb66308fdb5599)

merge fetch1 changes from ronnie
(This used to be ctdb commit 906419acf121ea93661f91bde65cdcd890f70e63)

initial shutdown function where a client can request an orderly shutdown of a ctdb cluster

(This used to be ctdb commit 00d2748bd4e7209ff7e253f6652fdd9bf16cf147)

started adding a cleaner daemon finish method
(This used to be ctdb commit 5ef0cd83d7f24616dad85cece485b770376ecd45)

merge from tridge

(This used to be ctdb commit e83db4d76ea498413ba4314e937d0ff298bd4cb6)

bit less verbose when client exits
(This used to be ctdb commit a6477577beba71bd9185b968de43b763378f234b)

- merge volkers debug changes

- fixed memory leaks in the 3 packet receive routines. The problem was
  that the ctdb_call logic would occasionally complete and free a
  incoming packet, which would then be freed again in the packet
  receive routine. The solution is to make the packet a child of a
  temporary context in the receive routine then free that temporary
  context. That allows other routines to keep or free the packet if
  they want to, while allowing us to safely free it (via a free of the
  temporary context) in the receive function

(This used to be ctdb commit 304aaaa7235febbe97ff9ecb43875b7265ac48cd)

enhance fetch1 test to verify that a lock is released when a client terminates while holding the lock  and the next blocked waiting client is assigned the lock

(This used to be ctdb commit 927228299280779664683fca04a7f76b55bef813)

merge from tridge

(This used to be ctdb commit d1262efebfc6e51e676720d42443017563aaffe3)

Clean up the call_states correctly

(This used to be ctdb commit 9fcc40a2ddd8f7f62bdd8b5ab71d182220e23af0)

Be less verbose

(This used to be ctdb commit 7497b5a9031c471c25bf6029c436fd82788b415c)

Some more debug and two memleak fixes

(This used to be ctdb commit 1e2802422794956827263265306952df5e69b377)

typo
(This used to be ctdb commit bf2799504498ae452bb7244ae3eb6a51797afe9b)

Add timestamps to debug output.
(This used to be ctdb commit 197a02384bd2ca42dfff4c0357175424d2321e9c)

add debug tracing to fetch_lock
(This used to be ctdb commit b58d2ae0e4ef3393a93724526f2aebc7529de14f)

more DEBUG() calls
(This used to be ctdb commit 79f3d63eec5652d87f13875c76e90ead81a26ad9)

moved cmdline.c to common code
(This used to be ctdb commit 32b31a6b91a19fc0c5225cb88c35cc1d14b4a6df)

use the common cmdline code in ctdbd
add a basic debug system with -dXX

(This used to be ctdb commit af9f21cef79f888c57d3b50a23ca787c9567ce60)

fixed a missing idr remove, and check the types after idr_find()
(This used to be ctdb commit 74028de89d18bfedcea17415d6d6dc2f7c69b076)

make sure we notify ctdb when a node dies
(This used to be ctdb commit 598feb4fb9badcf329837965ad39e0f0dfe28498)

merge from volker and ronnie
(This used to be ctdb commit ccc3bef713598f7df6d2e5d83618038d5f25fd68)

merge from volker to prevent some valgrind errors

(This used to be ctdb commit ab516a6dcc6871cdbf781892adcd2c77e4c631c2)

merge from tridge

(This used to be ctdb commit cf0948e73a10d7bc402a4ade4d9a87a7a247bdba)

ZERO_STRUCT writes one byte too many here.
(This used to be ctdb commit 3c5c433e5b92f8fe2193a6e5720e31e3eb6bc76b)

update destination in a redirect reply
(This used to be ctdb commit b2836974ad270e823c630e3acf12327b53c37d88)