Merge branch 'abort-close' into merge

[DOC] documented the 'stats' parameter.

Merge branch 'minconn' into abort-close

[MAJOR] implemented the 'minconn' server parameter for dynamic load regulation
When 'minconn' is set, the number of simultaneous sessions sent to the server
will be limited by a dynamic value depending on the global load on the
instance itself. The principle is to fix the maximal concurrency on the server
proportionnally to the instance's usage relative to its maxconn, with a minimum
fixed to <minconn>. The formula for the number of simultaneous sessions sent
to the server is then max(srv_minconn, srv_maxconn*px_conn/px_maxconn). This
helps unloading the servers when the load is very low.

[DOC] documented the 'abortonclose' option

[MEDIUM] added the 'abortonclose' option.

When this option is enabled, a session will be destroyed immediately if
a client closes during ST_IDLE or ST_CONN states.

[MAJOR] missing parenthesis in poll_loop() might have caused missed events.

[MAJOR] missing parenthesis prevented matching of cacheable cookies !

[MEDIUM] added counters for connect/response/security errors

[MINOR] allow a proxy instance to run without any server (useful for stats)

[MEDIUM] the stats dump FSM was buggy and looped on dispatch instances.

It has been rewritten and now supports an initialization state. It now also
prevents from dumping stopped(disabled) listeners and it is possible to
specify a scope with a list of proxies that are allowed to be dumped from
the one being configured ('.' meaning "this one"). The 'stats' entry can
be configured from the 'defaults' instance and it is correctly flushed
from proxies which redefine it.

[MEDIUM] hopefully definitely fixed hot-reconf for OpenBSD

[MINOR] cosmetic changes in the stats interface

[CRITICAL] potential NULL dereference when counting stats in dispatch mode

[MINOR] also set request time on denied requests

[MINOR] set request time even for stats requests

[BUILD] updated Makefile.bsd for the new files

[MEDIUM] completed HTML status output, fixed some rendering bugs.

Removed one missed debugging write(), fixed buffer management.
Now the HTML table output uses a color code with a caption. Some
more statistics have been collected such as maximum values reached
and failed health checks. Null limits now show "-" instead of "0".

[MEDIUM] first working code for an HTML status report.

[DOC] missing comment caused misinterpretation

[DEBUG] state names were shifted due to missing PEND state.

[MEDIUM] added the new 'stats' keyword with user authentication subsystem.

Right now it only validates the user/passwd according to a specified list,
and lets the user pass through the proxy if the authentication is OK, and
it refuses any invalid access with a 401 Unauthorized response.

[RELEASE] released version 1.2.13.1
   - an uninitialized field in the struct session could cause a crash when
     the session was freed. This has been encountered on Solaris only.
   - Solaris and OpenBSD no not support shutdown() on listening socket. Let's
     be nice to them by performing a soft stop if pause fails.

[MEDIUM] perform a soft stop when pause fails to be nice with non-Linux systems.

At least OpenBSD and Solaris do not support shutdown() on listening socket.
So instead of blocking the hot reconfiguration, at least we can perform a
soft stop if the shutdown fails, so that the new daemon can bind to the
ports without trouble.

[CRITICAL] fixed an uninitialized 'pend_pos' field in struct session.

This might cause random crashes when memory is not initialized first.
Encountered on Solaris 8 only for now, OpenBSD and Linux seem unaffected.

[RELEASE] released version 1.2.13

Summary of changes :
   - 'maxconn' server parameter to do per-server session limitation
   - queueing to support non-blocking session limitation
   - fixed removal of cookies for cookie-less servers such as backup servers
   - two separate wait queues for expirable and non-expirable tasks provide
     better performance with lots of sessions.
   - some code cleanups and performance improvements
   - made state dumps a bit more verbose
   - fixed missing checks for NULL srv in dispatch mode
   - load balancing on backup servers was not possible in source hash mode.
   - two session flags shared the same bit, but fortunately they were not
     compatible.

[DOC] update documentation to explain the server's maxconn

[MINOR] the queue time was missing from TCP logs.

[MINOR] do not report queue time if not queued !

[DOC] added (and updated) the ROADMAP file

[MINOR] make logs more accurate about expiration and close during queue.

[MINOR] separately display the server and proxy queue sizes in the logs

[CLEANUP] remove the unused SV_STCPEND state

[CRITICAL] fix a crashing trouble with the maxconn limits.

If a task was queued on a server and if this task was alone and aborted
before any other task did anything, there were situations by which it
might have queued itself in the run queue, then exited, and the upcoming
tv_queue() associated to the run loop would have resurrected it siently,
causing crashes in task_queue.

The new principle consists in assigning a task to every server that
needs a connection limit. This task will be woken up every time we
suspect we might leave some place to queue a task. The server's task
itself will only have to run across its queue and run the available
number of tasks.

[CLEANUP] added some comments at some complex places

[MEDIUM] in the request, always consider empty cookies as invalid.

This solves a problem of unwanted stickyness to backup servers when some
clients incidentely memorize an empty cookie.

[MINOR] set the expiration date when removing a cookie

It was specified in the documentation that a cookie would be deleted if the
client was switched to a cookie-less server such as a backup server, in
order to avoid stickyness on errors. To achieve this, an empty cookie was
returned. It seems this no longer works (at least with Firefox 1.5 and
Mozilla 1.8a5), because the browser returns the empty cookie. The cookie
specification says that in order to remove a cookie, it must be accompanied
by an expiration date in the past, so this is what we do. Tested on Mozilla
1.8a5, works.

[MINOR] swapped the queued and active sessions in the logs

It was not natural to read sess/pend/lsess/psess in the logs, so before
the feature became official, I've swapped them to read :

   pend/sess/lsess/psess

Where <pend> is the overall number of pending connections on this instance,
including all the servers queues, <sess> is the number of sessions remaining
active on the server when the log was emitted (after the end of the session,
or after parsing the request), <lsess> and <psess> are the number of active
sessions on the listener and on the process respectively.

[MINOR] uninlining 6 very common functions saved 15% code size and improved perf
        by about 1-2% :
  tv_delayfrom, tv_cmp_ms, tv_cmp2, tv_cmp2_ms, tv_remain2, fd_delete

[MEDIUM] when a server goes up, it now steals part of the proxy's queue.

[MEDIUM] redispatch queued sessions if possible when a server goes down.

[MEDIUM] apply the contimeout to the queue by default.
An improvement will be to have a separate timeout for the queue.

[doc] updated the TODO

[MINOR] updated the sig_dump_state() output to show the conn queue state.

[MEDIUM] logs now show the time spent in the queue and the number of sessions
already waiting at accept() time. This number of session is global per instance
so it does not reflect one particular server.

[MEDIUM] slightly optimize the scheduler for non-expirable tasks.
The non-expirable tasks are now sent to a dedicated wait-queue so that
they do not pollute the other ones anymore. This is a temporary dirty
hack which will go away with the new O(log(n)) scheduler.

[MAJOR] first limited implementation of connection queueing.
        There is no timeout yet, and the server UP/DOWN events are not used
to export/import list of connections yet. It seems that the process
can sometimes eat lots of user CPU (~50%) if a maxconn is set on an
overloaded server.

[MINOR] print the proxy name on first line during dumps to avoid confusion.

[MAJOR] fixed missing checks for NULL srv pointers (possible in dispatch mode)

[MEDIUM] it was not possible to balance between backup servers in source hash mode.

[MINOR] stupid bug which caused two different session flags to use the same bit.
Fortunately, this had no side effect because they were not used in same areas.

[CLEANUP] cleaned some comments.

[MINOR] always process the run queue from the head.
This ensures that any task wan wake any other task up and that it will be
processed too.

[MEDIUM] now the round-robin load balancer uses two passes to avoid saturated servers. The first avoids servers which have filled with maxconn connections, and a second pass can enforce the selection of one of them if the first pass found no candidate.

[MEDIUM] added the necessary infrastructure to support per-server session limits : - the "maxconn" config option - the new SV_STCPEND state (connection pending) - a per-server pending connections queue

[MINOR] imported mini-clist.h (circular lists) from librt. It might be wise to merge this with list.h and use sort of common structures.

[MEDIUM] added the total number of sessions per server and per proxy and we now report it in the dumps.

[MINOR] added some comments to the places where we can send a pending connection to a server in case of throttling.

[MINOR] maintain the number of sessions per server and add this info to the logs

Merge branch 'haproxy-1.2.12'

[VERSION] updated everything to reflect version 1.2.12.

[BUILD] added haproxy-small.spec for smaller and embedded systems.
Not sure if it's the best way to proceed though...

[doc] updated english and french docs with source and weight options.

Revert "maintain the number of sessions per server and add this info to the logs"

This reverts c136461676b9bf2c2cbd9abbedbae550171f9696 commit.

Revert "added some comments to the places where we can send a pending connection"

This reverts 704f32b78cccc547a77d1786597213304c59ff44 commit.

Revert "added the total number of sessions per server and per proxy"

This reverts b1c331fd8d4f8d7b2bfdbeff58a4e69d0cfac133 commit.

Revert "added the 'weight' parameter to the servers, limited to 1..256."

This reverts 3b002c7a7911ce5d658b29e6863ccf881b24c702 commit.

Revert "implemented the weighted load balancing based on a server map."

This reverts e0fa4965762fad998f214e30ec8f85b04e83130e commit.

Revert "updated TODO"

This reverts 1d176628c5de108855e240edd9282d1f77c529f4 commit.

Revert "ignore leading empty lines in HTTP requests (RFC2616)"

This reverts d13a3c8d2ae5b9742c42db067705a6464f740af6 commit.

[MINOR] optionnal '-s' command line argument could clobber '-st' and '-sf'

* updated TODO

* implemented the weighted load balancing based on a server map.
  Weighted roundrobin and weighted source hash are now supported.

* added the 'weight' parameter to the servers, limited to 1..256.
  It is factored between all the servers so that the servers map
  will be smaller and easier to construct.

* ignore leading empty lines in HTTP requests (RFC2616)

* ignore leading empty lines in HTTP requests (RFC2616)

* updated TODO

* implemented the weighted load balancing based on a server map.
  Weighted roundrobin and weighted source hash are now supported.

* added the 'weight' parameter to the servers, limited to 1..256.
  It is factored between all the servers so that the servers map
  will be smaller and easier to construct.

* added the total number of sessions per server and per proxy
  and we now report it in the dumps.

* added some comments to the places where we can send a pending connection
  to a server in case of throttling.

maintain the number of sessions per server and add this info to the logs

* once again, forgot to update haproxy.spec

* Released version 1.2.11.1

* it might have been possible that a flapping server would not have been
  detected UP is responding just before being declared down.

* updated CHANGELOG and haproxy.c to display version 1.2.11

* added the '-db' command-line option to disable backgrounding.

* added the -sf/-st command-line arguments which are used to specify
  a list of pids to send a FINISH or TERMINATE signal upon startup.
  They will also be asked to release their port if a bind fails.

* reworked the startup mechanism to allow the sending of a signal to a list
  of old pids if a socket cannot be bound, with a retry for a limited amount
  of time (1 second by default).

* added the ability to enforce limits on memory usage.

* added the 'source' load-balancing algorithm which uses the source IP(v4|v6)

* some regression test files for active/backup conditions.

* re-architectured the server round-robin mechanism to ease integration of
  other algorithms. It now relies on the number of active and backup servers.

* added a counter for the number of active and backup servers, and report
  these numbers upon SIGHUP or state change.

Released 1.2.10.1

While fixing the backup server round-robin "feature", a new bug was introduced
which could miss some backup servers.

* The displayed proxy name was wrong when dumping upon SIGHUP.

Updated CHANGELOG for v1.2.10

cleaned the 'tar' target and allowed the 'clean' target to remove the tar.gz file.

Added the 'tar' target to build the tar.gz archive directly from git.