create symbols for fetch lock response status

(This used to be ctdb commit d8243f474897dc65fb7286225b07bdf48b6faed0)

finalize fetch lock changes to get rid of the record handle

(This used to be ctdb commit 36c1e98a5533214d5507699dc5d8bdec35cb28c2)

do not use a ctdb_record_handle for client fetch_lock/store_unlock any more

change ctdb_client_fetch_lock to return a status code instead of a record handle and make it unconditionally fill in data.

change ctdb_client_store_unlock to take ctdb_db and key as arguments instead of a record handle

update the ctdb_fetch.c test to use the clientside helpers for fetching and storing data

(This used to be ctdb commit 22d5d40375e0135916c97945646f94119612615d)

remaning code to finish lock_fetch/store_unlock clientside helpers

(This used to be ctdb commit edf1e1fea8500461a08cd2795251a5cc0bd10229)

initial change to remove store_unlock pdu and use tdb chainlock in the client

(This used to be ctdb commit 87dd265d2c61125ca2fa922cfcf9371a234fff0c)

merge from ronnie
(This used to be ctdb commit fcf3669c27691ddb383d1c585234622efa498d90)

partial merge from volker (some overlaps removed)

(This used to be ctdb commit c4747460a8e0017acfd2a97a632ecd9395562d4f)

better error handling in ctdb_ltdb_lock_fetch_requeue()
(This used to be ctdb commit 1952be19f625dbe257050acebf468e7e6eb0da8c)

change some error printouts to make it easier to determine whether the error occured in the client or in the daemon

(This used to be ctdb commit a7e42c2c56e38b4b58ede0ad45767695d704dac4)

merge from tridge

(This used to be ctdb commit 1000ea33025b625e23e7065f95efad447c380c8c)

add an explanation of ctdb_ltdb_lock_fetch_requeue()
(This used to be ctdb commit 7c749315130a2bc87dcc07460d10dcb089ae4202)

add an explanation of how to use ctdb_lockwait()
(This used to be ctdb commit e0c9844ea6270ff506b0b5906aa6ccfcc3bcce7a)

fixed crash bug - thanks volker
(This used to be ctdb commit e293f6fadf673d8bc7203198d709bcb28c26b482)

darn, forgot this
(This used to be ctdb commit 0feb5da60c0331f6c391622910ca1f436263ce46)

wait on the right fd ....
(This used to be ctdb commit 27b67ee6576b17f8b3aae024ae3bd0bb1c42f0f2)

added a ctdb_ltdb_lock_fetch_requeue() function
this will be the core of the non-blocking lock idea for ctdb, it will be used
in place of ctdb_ltdb_fetch(), but will also get a lock. It re-starts a request
if it needs to block
(This used to be ctdb commit afa479026cf6293e6a878c8a329cdac035284672)

added a tdb_chainlock_nonblock() call to tdb
(This used to be ctdb commit 6587bdca71d97709c9271a73aea0be5a2a35f399)

merge local copy of tdb from samba4 tdb
(This used to be ctdb commit d4619ce98ce44acaebeb6ae9c516a7917bf4e27f)

fixed a fd bug (thanks volker)
(This used to be ctdb commit 512a96de1b31e856785749ffc0bed60b1c589f9e)

merge from tridge

(This used to be ctdb commit 7e60f4ea41707b064e646d0271e81a18f5640aba)

this is a demonstration of an idea for handling locks in ctdb.

The problem we have is this:

  - we want the client smbd processes to be able to 'shortcut' access
    to the ltdb, by directly accessing the ltdb, and if the header of
    the record shows we are the dmaster then process immediately, with
    no overhead of talking across the unix domain socket

  - a client doing a shortcut will use tdb_chainlock() to lock the
    record while processing

  - we want the main ctdb daemon to be able to set locks on the
    record, and when those locks collide with a 'shortcut' fcntl lock,
    we want the ctdb daemon to keep processing other operations

  - we don't want to have to send a message from a smbd client to the
    ctdbd each time it releases a lock

The solution is shown in this example. Note that the expensive fork()
and blocking lock is only paid in case of contention, so in the median
case I think this is zero cost.

(This used to be ctdb commit a3248c3e2b740cd2403acffd3c1f6a33dca0ea03)

merge from tridge

(This used to be ctdb commit 014a255f5e8d97d296d2fe061ab9c2c25494076d)

merged from samba4
(This used to be ctdb commit 541814e6ee3dd7f8f1b3fb615213ff5979b6e22f)

pull out common command line code for tests into tests/cmdline.c
(This used to be ctdb commit de3db72c1fd0e56ac2b8d8fe962c725dc64f2051)

merge from tridge

(This used to be ctdb commit b40bb042e5a29c61161421d7451368b11ad757e9)

merge CTDB_SRVID_ALL patch from Samba4
(This used to be ctdb commit 43cd05ab58e940a1ef0352aabe0b63075264a7a0)

- fix includes to work in both samba4 and ctdb standalone
- when we do a store_unlock the lock record becomes unlocked, so we
  must destroy it (or we leak memory)

(This used to be ctdb commit d85955640e670dd580073da96b25fb8a10c08d18)

added --dblist option to ctdbd, to allow list of databases to be specified on the command line
(This used to be ctdb commit a19df59e9c2ea24d92a483f8a44514f492d49601)

merge from ronnie
(This used to be ctdb commit af32b215f67d3bedb1bed542960f3f3813b3f60c)

add code to fetch1 test to tell the two child processes one at a time to fetch_lock the same record

they both successfully fetch and lock the same record at this stage  but when the actual locking works properly  the second child will block.

this test allows us to verify the blocking once we have implemented it

(This used to be ctdb commit b1c0baa03a669757aaacb6e1a2794224f5ba2cd7)

add examples for volker on how to do fetchlock/storeunlock

note that the actual locking/unl;ocking does not still work

(This used to be ctdb commit 45505520a69a2fbbb1e3a015b54d2133924f46a4)

update to fetch1.sh test

there is still a bug in the ctdb code in that the children no longer receive messages from the parent for unknown reasons

(This used to be ctdb commit 468f68e4607900c5c38aea428a48dd6ea1647411)

merge from tridge

(This used to be ctdb commit 7e111784a156cc6ed15645db4a911701673d7c2a)

merge from ronnie
(This used to be ctdb commit 867468a7aadc11d0cb4d9f0eab55d3f34f11d6d3)

merge from tridge

(This used to be ctdb commit 9c4e5569b82d9c7894e3ac1d5f0783c4d770daf4)

private -> private_data for samba3
(This used to be ctdb commit 080b6901173afb2ad618dd0621876ff478c7d6e5)

add missing code to store_unlock so that the data that a client writes is stored in ltdb

this makes it possible to do fetch_lock and store_unlock across a domain socket to read/write data.

note that the actual locking is NOT implemented yet

(This used to be ctdb commit c7a397c56caf71283c081e5b97620085ed5108c6)

merge store_unlock code from ronnie
(This used to be ctdb commit eb6f05528c14de5145323d0ff93baf6fb89518de)

add more elaborate test to fetch1 test

for now:
fetch a record
store a known entry for this record
fetch the record again  (and later verify we got the same record)
store it back again

this will not work right now since we dont yet store the record inside the daemon

(This used to be ctdb commit f502094499a3c25ab58aa3d192588b5e6dd2b8e4)

add store_unlock pdu's for the domain socket.

note that the store_unlock does not actually do anything yet apart from passing the pdu from client to daemon   and daemon responds.

next is to make sure the daemon actually stores the data in a database

(This used to be ctdb commit 167d6993e78f6a1d0f6607ef66925a14993ae6a1)

merge from tridge

(This used to be ctdb commit e7c318394b51936c7afef9451b8e32c42fac9829)

merge from ronnie
(This used to be ctdb commit 8a6d3a2766d878f15892bf070536fd121424c9f7)

add the two missing file from the previous commit

(This used to be ctdb commit 3753b64e4e64446dc1f20ec92b45ba11bc0e0be5)

add a beginning of a new test

right now this test only does one fetch lock   but this will be enhanced as more code is added to ctdb to handle fetch_lock and store_unlock

(This used to be ctdb commit 996f117d9181dee22aea979ce04333035f5522c7)

when sending back a fetch lock reply to a client
we cant peek in state->c since this is uninitialized
and even if it were not it would be wrong

create a new structure to pass BOTH client and also the reqid to respond back to
the client with

(This used to be ctdb commit e1a0da3dfbb4a927e8d98723b5e51a201c2a3428)

merge from tridges tree

(This used to be ctdb commit 63669f4b965fd03503bdbfe389243750c376a289)

merge from ronnie
(This used to be ctdb commit 0e351d1655e380fbb35e45d15f4ba3ccc15097e4)

dont hardcode gdb in the test script.     ooops

(This used to be ctdb commit e193d69cd8cdd293379ab88d25e6984b584afa22)

initial support for two new pdus for the domain socket to do fetch_lock

no locking is yet done and the store_unlock call is still missing

the ./tests/fetch.sh --daemon  test fails with parent process dying which needs to be investigated.

(This used to be ctdb commit 7d7141c968950a8856f1be79871932b688bfb07f)

merge from volker

(This used to be ctdb commit c59e92829364aefdd4f8f4972b47135faca69006)

merge from vl
(This used to be ctdb commit 8b5233fbe773893d1bc6b377f8956fe0b3e503ab)

merge from ronnie
(This used to be ctdb commit b4c9dd2f2c014039afca3a225375a4aefee14113)

add an example on how to read a message from the domain socket

(This used to be ctdb commit 9723828b1562eb6a386eb26e63db3b6617ebb454)

do an infinite loop calling event_loop_once() in the ctdbd parent process instead of event_loop_wait()  since the latter will return and thus take down the daemon

(This used to be ctdb commit 26ffd166c176deb7e2437f3ee87887f8b57435e7)

add a test message to the messaging test so we can see that the message data is also passed from originator to receiver

(This used to be ctdb commit f9c2ed3cff8eb481bfa80d944d86233e2a7d5d00)

merge from ridge and vl

(This used to be ctdb commit 8d407c5858a20c9757024f19033b5ef174ec3681)

Rename "private" to "private_data"
(This used to be ctdb commit 78cf4443ac0c66fb750ef6919bcdec189ac219c9)

Merge tridge's tree

(This used to be ctdb commit 63a59a700a1fb4c23cd76d99c5b4c9660c7ca475)

Add a test to read back the message

Volker

(This used to be ctdb commit b7f134fe6e160d7ec70c466f8f3e7fb3dabd0774)

use event_loop_wait instead of while(1)
(This used to be ctdb commit e49a6436483bffcf867fbb746ef43a5356055857)

use lib/replace for signal.h
(This used to be ctdb commit 4c660b9706ef09527b8e1a2837d844d30672c541)

merge from volker
(This used to be ctdb commit 68bc5b4d0d2049ebcee19338f744efd5b129725a)

merge from ronnie
(This used to be ctdb commit 6cd4b1ec40b51f491d25173a7dde0864f525e7ef)

merge
(This used to be ctdb commit 89c24a2ee211126d24e770abb8f91c5575126246)

Handle a client that exited correctly: We need to ignore SIGPIPE and when the
read returns 0 bytes this means the client has exited. Close the connection
then.

(This used to be ctdb commit bd10f4e62146493848258df8a3dc3b9222337a12)

Fix uninitialized variable warnings

(This used to be ctdb commit b84f97adfd25b2fbfab1c7964b68931643e8029c)

add an example on how to send a message to the daemon
(send a message to ourself)

this unfortunately terminates the ctdb daemon when running   but im too tired right now to debug it.
checkin so that nothing gets lost overnight.

(This used to be ctdb commit 9d8821bfd1456591fb5c31f0c6c3fd63e99dc4fb)

add call/reply parsing of the cluster connect-wait call to the test daemon.

(This used to be ctdb commit c54c87feb89b8d97655c1fcd748a295119a1171f)

add a vnn field to the ctdb_reply_connect_wait pdu so that we can tell
non-ctdb-linked clients what the vnn of the local cluster daemon is

(This used to be ctdb commit 57fd1aa54b234545e1e465b5ace2ce93fcfbc22a)

create a standalone ctdb daemon and a script ./direct/ctdbd.sh to start two such daemons in a 2 node cluster.

create a small test application that connects to the ctdb daemon at /tmp/ctdb.socket.127.0.0.1 and do some commands to the daemon.
currently this test tool only opens the socket and registers its pid with the daemon
(the daemon needs to know the pid so that it can forward messages to the correct client)

the test will be extended with additional ctdb commands

(This used to be ctdb commit 801f6127cdd50c5b2d0e64dd8db08500af9dadc9)

merge from tridge

(This used to be ctdb commit 257a167d7e8b532c03a122626dbc2db767dbfdf0)

added --num-clients option to ctdb_messaging test
(This used to be ctdb commit 2f4e7e34071c8950f6c4d64469c5eb15d0888113)

use the new connect_wait code in the ctdb_messaging test
(This used to be ctdb commit 36980878141c5e506dd7ee021fba6ca7d0ff5ad3)

add proper support for ctdb_connect_wait in daemon mode
(This used to be ctdb commit 8d110df5939b3e6a6341909956453887f4eb6b0d)

fixed sending messages to ourselves in non-daemon mode
(This used to be ctdb commit 325afd2de2f5a96fb4f8ec624e04f253c712c97d)

merge from ronnie, plus complete the client side of inter-node messaging
(This used to be ctdb commit e605417436855d22343462acae4cbb79a374977e)

add a test that sends messages between clients connected to the same ctdb

add code to actually pass the messages between clients and ctdb

(This used to be ctdb commit 6d5b55d7b9c611fb5e98765906757a7d82e4bf6b)

partially completed work towards full messaging system which will work in both daemon and standalone mode. Does not compile\! committing so ronnie can continue while I'm out
(This used to be ctdb commit 1b5e65a700e2bd0a5c913d7866024b25600a14c9)

merge from ronnie
(This used to be ctdb commit dd6cec4ed8cda0112120af3967dd06b9e7b9341b)

merge from tridge

(This used to be ctdb commit a027d468f39fdd95a4bd03e26da90eb229b2a645)

forgot to add ctdb_client.c
(This used to be ctdb commit 136f912562ef00ede5589a7aa080503538d14bc3)

 - add --daemon flag to ctdb_fetch test code
 - split client specific routines out of ctdb_daemon.c
 - use ctdb_queue code in message send from client to daemon
 - use clearer names in client/daemon functions
 - use talloc autofree context to avoid global for unlink of socket on
   exit
 - start on API change for message handler, to allow ctdb messaging to
   handle daemon mode with multiple clients

(This used to be ctdb commit 53555db45f3583ae4a32cc3aa9e07fb8ef2a77e3)

rename client.id to client.messenger_id to make the purpose of the field more obvious

(This used to be ctdb commit 350f14909d5dba6cd9d76d221e263933926cea6c)

add a call to register the pid for a messengin service

store this pid inside the client structure in the ctdb daemon

(This used to be ctdb commit d4499c5e0403b0348fa36b259164b1cbfcd671b8)

fix the queueing for partially connected tcp sockets
(This used to be ctdb commit 55f1c2442a53a547302669a4fdd0f1c1deeed930)

updates from tridges tree

(This used to be ctdb commit f291e1e652578c8c80b95fbc3d6a138ce7a7199e)

make some functions static, and remove an unused structure
(This used to be ctdb commit 8d09cac96b2c604a68e4903346cc9db3a66d80da)

merge from ronnie
(This used to be ctdb commit 886a3e9122168ececc257aa1bef2f5de2f2d8d7e)

made all sockets handle partial IO
abstract IO via ctdb_queue_*() functions

(This used to be ctdb commit 636ae76f4632b29231db87be32c9114f58b37840)

remove old ifdef that remained from when this was a header file

(This used to be ctdb commit 050f302103b32ea3895fc97dae7726f11fbf01e3)

merge tcp changes from ronnie
(This used to be ctdb commit 18d6e58b92f59f18cd7772cdbc1b8812a8609ab4)

added daemon mode to ctdb_bench
(This used to be ctdb commit b1e71018866752d32f59170fd5c8ba01b05694d9)

change the tcp code to call ctdb_read_pdu() instead of doing the partial read thing explicitely

(This used to be ctdb commit 6156bec0187df27578afd5afa3fcaadb1a202030)

merge from ronnie
(This used to be ctdb commit fb06332c246e9f8b98a6391b4eda183e2f03333f)

fix a possible free after use
(This used to be ctdb commit 55bc7ee10b9e9df32792b6b5779f094eb513069e)

fix configure for new test location
(This used to be ctdb commit e516ea4714ae0b84ae6073201fbe297dd49b8c51)

move the checking of the CONNECT_WAIT flag into the start method for tcp

(This used to be ctdb commit 44f3e4456d931af642192e034f84c961ab1fdcf0)

restore the test script that was updated by mistake in the previous checkin

(This used to be ctdb commit 5e2e6a5ce439762876f2aa054fdd0d4bb54c403c)

add a CONNECT_WAIT flag to replace the call ctdb_connect_wait() since
we can no longer use this function from the application if we are in daemon mode.

add a horrible "sleep()" to ctdb_test.c   to prevent the daemon from dissapearing (parent process died) when the application exits which may happen before the other nodes in the test have finished talking to our daemon

(This used to be ctdb commit 74d35dafe06d71e755f3a58cc58d4b9b56fc821b)

add a atexit() call to remove the domain socket when the daemon exits

(This used to be ctdb commit 2f685c68e0b17ed8a290a265ebd64c1d089ceec5)