merge from volker

(This used to be ctdb commit c59e92829364aefdd4f8f4972b47135faca69006)

merge from vl
(This used to be ctdb commit 8b5233fbe773893d1bc6b377f8956fe0b3e503ab)

merge from ronnie
(This used to be ctdb commit b4c9dd2f2c014039afca3a225375a4aefee14113)

add an example on how to read a message from the domain socket

(This used to be ctdb commit 9723828b1562eb6a386eb26e63db3b6617ebb454)

do an infinite loop calling event_loop_once() in the ctdbd parent process instead of event_loop_wait()  since the latter will return and thus take down the daemon

(This used to be ctdb commit 26ffd166c176deb7e2437f3ee87887f8b57435e7)

add a test message to the messaging test so we can see that the message data is also passed from originator to receiver

(This used to be ctdb commit f9c2ed3cff8eb481bfa80d944d86233e2a7d5d00)

merge from ridge and vl

(This used to be ctdb commit 8d407c5858a20c9757024f19033b5ef174ec3681)

Rename "private" to "private_data"
(This used to be ctdb commit 78cf4443ac0c66fb750ef6919bcdec189ac219c9)

Merge tridge's tree

(This used to be ctdb commit 63a59a700a1fb4c23cd76d99c5b4c9660c7ca475)

Add a test to read back the message

Volker

(This used to be ctdb commit b7f134fe6e160d7ec70c466f8f3e7fb3dabd0774)

use event_loop_wait instead of while(1)
(This used to be ctdb commit e49a6436483bffcf867fbb746ef43a5356055857)

use lib/replace for signal.h
(This used to be ctdb commit 4c660b9706ef09527b8e1a2837d844d30672c541)

merge from volker
(This used to be ctdb commit 68bc5b4d0d2049ebcee19338f744efd5b129725a)

merge from ronnie
(This used to be ctdb commit 6cd4b1ec40b51f491d25173a7dde0864f525e7ef)

merge
(This used to be ctdb commit 89c24a2ee211126d24e770abb8f91c5575126246)

Handle a client that exited correctly: We need to ignore SIGPIPE and when the
read returns 0 bytes this means the client has exited. Close the connection
then.

(This used to be ctdb commit bd10f4e62146493848258df8a3dc3b9222337a12)

Fix uninitialized variable warnings

(This used to be ctdb commit b84f97adfd25b2fbfab1c7964b68931643e8029c)

add an example on how to send a message to the daemon
(send a message to ourself)

this unfortunately terminates the ctdb daemon when running   but im too tired right now to debug it.
checkin so that nothing gets lost overnight.

(This used to be ctdb commit 9d8821bfd1456591fb5c31f0c6c3fd63e99dc4fb)

add call/reply parsing of the cluster connect-wait call to the test daemon.

(This used to be ctdb commit c54c87feb89b8d97655c1fcd748a295119a1171f)

add a vnn field to the ctdb_reply_connect_wait pdu so that we can tell
non-ctdb-linked clients what the vnn of the local cluster daemon is

(This used to be ctdb commit 57fd1aa54b234545e1e465b5ace2ce93fcfbc22a)

create a standalone ctdb daemon and a script ./direct/ctdbd.sh to start two such daemons in a 2 node cluster.

create a small test application that connects to the ctdb daemon at /tmp/ctdb.socket.127.0.0.1 and do some commands to the daemon.
currently this test tool only opens the socket and registers its pid with the daemon
(the daemon needs to know the pid so that it can forward messages to the correct client)

the test will be extended with additional ctdb commands

(This used to be ctdb commit 801f6127cdd50c5b2d0e64dd8db08500af9dadc9)

merge from tridge

(This used to be ctdb commit 257a167d7e8b532c03a122626dbc2db767dbfdf0)

added --num-clients option to ctdb_messaging test
(This used to be ctdb commit 2f4e7e34071c8950f6c4d64469c5eb15d0888113)

use the new connect_wait code in the ctdb_messaging test
(This used to be ctdb commit 36980878141c5e506dd7ee021fba6ca7d0ff5ad3)

add proper support for ctdb_connect_wait in daemon mode
(This used to be ctdb commit 8d110df5939b3e6a6341909956453887f4eb6b0d)

fixed sending messages to ourselves in non-daemon mode
(This used to be ctdb commit 325afd2de2f5a96fb4f8ec624e04f253c712c97d)

merge from ronnie, plus complete the client side of inter-node messaging
(This used to be ctdb commit e605417436855d22343462acae4cbb79a374977e)

add a test that sends messages between clients connected to the same ctdb

add code to actually pass the messages between clients and ctdb

(This used to be ctdb commit 6d5b55d7b9c611fb5e98765906757a7d82e4bf6b)

partially completed work towards full messaging system which will work in both daemon and standalone mode. Does not compile\! committing so ronnie can continue while I'm out
(This used to be ctdb commit 1b5e65a700e2bd0a5c913d7866024b25600a14c9)

merge from ronnie
(This used to be ctdb commit dd6cec4ed8cda0112120af3967dd06b9e7b9341b)

merge from tridge

(This used to be ctdb commit a027d468f39fdd95a4bd03e26da90eb229b2a645)

forgot to add ctdb_client.c
(This used to be ctdb commit 136f912562ef00ede5589a7aa080503538d14bc3)

 - add --daemon flag to ctdb_fetch test code
 - split client specific routines out of ctdb_daemon.c
 - use ctdb_queue code in message send from client to daemon
 - use clearer names in client/daemon functions
 - use talloc autofree context to avoid global for unlink of socket on
   exit
 - start on API change for message handler, to allow ctdb messaging to
   handle daemon mode with multiple clients

(This used to be ctdb commit 53555db45f3583ae4a32cc3aa9e07fb8ef2a77e3)

rename client.id to client.messenger_id to make the purpose of the field more obvious

(This used to be ctdb commit 350f14909d5dba6cd9d76d221e263933926cea6c)

add a call to register the pid for a messengin service

store this pid inside the client structure in the ctdb daemon

(This used to be ctdb commit d4499c5e0403b0348fa36b259164b1cbfcd671b8)

fix the queueing for partially connected tcp sockets
(This used to be ctdb commit 55f1c2442a53a547302669a4fdd0f1c1deeed930)

updates from tridges tree

(This used to be ctdb commit f291e1e652578c8c80b95fbc3d6a138ce7a7199e)

make some functions static, and remove an unused structure
(This used to be ctdb commit 8d09cac96b2c604a68e4903346cc9db3a66d80da)

merge from ronnie
(This used to be ctdb commit 886a3e9122168ececc257aa1bef2f5de2f2d8d7e)

made all sockets handle partial IO
abstract IO via ctdb_queue_*() functions

(This used to be ctdb commit 636ae76f4632b29231db87be32c9114f58b37840)

remove old ifdef that remained from when this was a header file

(This used to be ctdb commit 050f302103b32ea3895fc97dae7726f11fbf01e3)

merge tcp changes from ronnie
(This used to be ctdb commit 18d6e58b92f59f18cd7772cdbc1b8812a8609ab4)

added daemon mode to ctdb_bench
(This used to be ctdb commit b1e71018866752d32f59170fd5c8ba01b05694d9)

change the tcp code to call ctdb_read_pdu() instead of doing the partial read thing explicitely

(This used to be ctdb commit 6156bec0187df27578afd5afa3fcaadb1a202030)

merge from ronnie
(This used to be ctdb commit fb06332c246e9f8b98a6391b4eda183e2f03333f)

fix a possible free after use
(This used to be ctdb commit 55bc7ee10b9e9df32792b6b5779f094eb513069e)

fix configure for new test location
(This used to be ctdb commit e516ea4714ae0b84ae6073201fbe297dd49b8c51)

move the checking of the CONNECT_WAIT flag into the start method for tcp

(This used to be ctdb commit 44f3e4456d931af642192e034f84c961ab1fdcf0)

restore the test script that was updated by mistake in the previous checkin

(This used to be ctdb commit 5e2e6a5ce439762876f2aa054fdd0d4bb54c403c)

add a CONNECT_WAIT flag to replace the call ctdb_connect_wait() since
we can no longer use this function from the application if we are in daemon mode.

add a horrible "sleep()" to ctdb_test.c   to prevent the daemon from dissapearing (parent process died) when the application exits which may happen before the other nodes in the test have finished talking to our daemon

(This used to be ctdb commit 74d35dafe06d71e755f3a58cc58d4b9b56fc821b)

add a atexit() call to remove the domain socket when the daemon exits

(This used to be ctdb commit 2f685c68e0b17ed8a290a265ebd64c1d089ceec5)

change ctdb_client_read() to use the ctdb_read_pdu() helper

(This used to be ctdb commit d476aa8533b394af6aced9c80fffaf0eefae1dd0)

make normal/deamon mode controllable by a ctdb flag so that the api looks the same in both modes to a client.

send the correct structure back to a client

assorted other cleanups

(tests/test1.sh now works in daemon mode)

(This used to be ctdb commit f4593754cab750dfdb9384884502e2e1b8fde1f0)

dispatcher daemon   first try.

does not yet work

(This used to be ctdb commit ff428808c6546d6f2804a1ac1cf414d1bb9cdcb4)

merge from tridge
(This used to be ctdb commit d7764dec0e9d17290ae310898c147bebe48a0f5c)

another memory leak
(This used to be ctdb commit 10466fe11da71c93fa764bea2b3e1e741c113f9c)

remove talloc debug code
(This used to be ctdb commit d883c1bbd4d3691a0787d37c226051f4fce4d45d)

fixed a bunch of memory leaks
(This used to be ctdb commit 2ba2522f2def3032c89c7973915610a245842b07)

put test code in tests/ directory
(This used to be ctdb commit 6dbb36f27dd0f8ac00c7a010108d4fba15753479)

added a magic header for wireshark and packet version info
(This used to be ctdb commit 8366c212bde710dd46c8c1d9d4301f6c3738e300)

merge from ronnie
(This used to be ctdb commit 079b88102a4c9fc56d12a6c6f74366412731bced)

When we create a tcp connection to a remote ctdb node  do an explicit bind() to set our source side to the same ip address as we use to listen to ctdb traffic.

We need this since there is no guarantee that INADDR_ANY (which would be defaulted to if we dont bind) would be routable from the remote host.
This is entirely possible to happen since CTDB traffic is likely to be isolated to a private non-routable network.

(This used to be ctdb commit e0743d2f84ca0088734c912e210deb93a6b78860)

merge from ronnies branch
(This used to be ctdb commit 713dc36e85c762fedcd8be3b4b25b7a4fb780f10)

merge fetch code from ronnie, and add a simple fetch test
(This used to be ctdb commit 83b794befd8d34b3da544a483f9d39a3fa140655)

first test of forced migration of records.  compiles but not tested.
(This used to be ctdb commit ac6ac290e79446f52caf31f429b4c38668c27eda)

tridge
(This used to be ctdb commit bea51470acb3fc4de0af7b34520990f295cbaac3)

merge back some changes from Samba4
(This used to be ctdb commit b946ff61c0e4b3269d3c7e01093d0a6d5215d6ee)

merge multi-database support from ronnie
(This used to be ctdb commit f8fbc2d07d68c60a6b56389ba041f85195d2c25e)

Split CTDB into sub contexts to handle multiple concurrent databases within the same context.

(This used to be ctdb commit d995103143f6f13f59118549d93ab4b29c27ec89)

merged changes from peter
(This used to be ctdb commit da81d849be32427b0e13fc8b45e01c5015a35b29)

ib: added external send queue to workaround downtime
Workaround is because I couldn't find a correct way in ib to reconnect cleanly (with queue kept) when destination is unreachable.
When connection is broken, all internal queue contents are being destroyed and reconnects automatically.
An "external" send queue is kept until the connection is up again for a dest node.

(This used to be ctdb commit 49cac6eafb9d9c80ef1c7f0388aa7786c8be6f24)

merged tridge's code

(This used to be ctdb commit fcf2f4783842edb3e91a62941aee62e24c19024c)

added --num-msgs option
added TCP_NODELAY on tcp sockets

(This used to be ctdb commit fa76cff388237adea98c2be0827c54334080256a)

added rest of tdb (missed in earlier commit)
(This used to be ctdb commit 4c1434cc4613fc94958de0aa882bf7ca41ec8458)

ignored some files
(This used to be ctdb commit bb1a80492851c380fb239ce294fc1fae697006a0)

added a benchmark script that launches via ssh
(This used to be ctdb commit 7eeeb9c1d8f82739015ce78d8c90291baf3b1982)

support hostnames for node names
(This used to be ctdb commit 5c45b51ec42cdbadce7870b47b765a79d8d41b8b)

workaround proposal for the initialization-problem

(This used to be ctdb commit 2ee400d99fb57796a0e7c3256387ef77f6908f33)

merged tridge's fix

(This used to be ctdb commit 95d3bf8c31d39e697bfae09362fa5a271cbc6a26)

fixed incr initialisation
(This used to be ctdb commit 36f386dcbca98c0bed96713e736170f6d537b83c)

merged peters IB work
(This used to be ctdb commit a7062f777c6bcf5ea5aca1e6fd647f5c4806f7f0)

1st working ib integrated ctdb
TODO: bugfix of ctdb_bench (wants to sent via uninitialised connection - see bench_ring/dest)

(This used to be ctdb commit 61516461e9d45dc7ba87518d134894fed7d7b7cd)

ib: a trivial approach of integration
TODO: bugfix (not yet complete, something happens differently than expected
at tcpip when connection is refused in the beginning)

(This used to be ctdb commit 330d76fb91f717d4fb8d1be29c11ddf8c25a4f1c)

Some minor changes before integrating ib...

(This used to be ctdb commit fa39ad5054de6e781ca980b9e24d22fa0c67e9ae)

Merged tridge's code.
(I had error 206 at direct bzr merge, so 1st I did a "bzr branch" and merged that one.)

(This used to be ctdb commit 9d4d2a8e034f1288583eb98c0f48a51ff323ccac)

ib: adjustment of a test scenario

(This used to be ctdb commit be9d147e754f41bef9c34d1e924c03172ff96a7f)

added a simple benchmark script
(This used to be ctdb commit 508cca97083bf21bcce3505d0964dd33a8298624)

changed ctdb_bench.c to use messages instead of calls
(This used to be ctdb commit d147a434f827f83cf90228a3ed37338db8e9df13)

merged ib work from peter
(This used to be ctdb commit cc3d44b531999dafd752be84e8a966ea6252d65a)

ignore config.h*
(This used to be ctdb commit f4e4bbc7ae8235654d7c58103e47fc5f30ddc272)

merged ctdb messaging code from samba4
(This used to be ctdb commit af3010562763811deb9b7e37fea9962a42885d9d)

merged tridge's code

(This used to be ctdb commit 85d23c52462f6c706626022c3d2ddf731c93599f)

ib: fragment sent buf + many bugfixes
It came to light I have to fragment the send buffer in case destination's to fit receiver's buffers.
Additionally fixed many bugs.
Still testing.
+ TODO: clean code.

(This used to be ctdb commit 2f8876f09bc92169487cb077326579044560a121)

merged from samba4 ctdb
(This used to be ctdb commit 677fd2a7758b743ea920d0b3adb85fbb3f1ff49e)

Added variable msg size scenario.
Detected 1 bug, fixing...

(This used to be ctdb commit 0b7bbd6d7f74f102c475f92448609673dc5efdca)

2 bugfixes
- ibw_stop handling
- ibw_send: < instead of <=

(This used to be ctdb commit 4774ef7e9e33f26745346b9bfe445d913f196e81)

merging tridge's code...

(This used to be ctdb commit 4f97ecf6efb9216a49cf1856fe27337c092f511c)

Added overload test scenario + fixed 1 send queue bug.
TODO: externize debug level

(This used to be ctdb commit 98442ce3e2b3f09ca6736abfa0a8314cbdafaac7)

merge status code changes from samba4 ctdb
(This used to be ctdb commit 705a9f8e5238976aa5c8cd4a5371459650d8b553)

fix a bug in new structure handling
(This used to be ctdb commit 5f248d82717c8094f260ea16292996bb712df947)