[MAJOR] new framework for generic ACL support

This framework offers all other subsystems the ability to register
ACL matching criteria. Some generic matching functions are already
provided. Others will come soon and the framework shall evolve.

[MEDIUM] store the original destination address in the session

There are multiple places where the client's destination address is
required. Let's store it in the session when needed, and add a flag
to inform that it has been retrieved.

[MINOR] fixed useless memory allocation in str2net()

It was not necessary anymore to allocate memory in str2net().
Moreover, some calls to free() were missing in case of errors.

[TESTS] added a trivial program to benchmark hash algos

The uri_hash.c program makes it very easy to benchmark the
distribution of hash algos. Pass it one word per line, and
it will show the distribution per server for 1 to 10 servers.

[BUG] fix early server close after client close

Problem reported by Andy Smith. If a client sends TCP data
and quickly closes the connection before the server connection
is established, AND the whole buffer can be sent at once when
the connection establishes, then the server side believes that
it can simply abort the connection because the buffer is empty,
without checking that some work was performed.

Fix: ensure that nothing was written before closing.

[MEDIUM] ensure that we always have a null word in config

It is important when parsing configuration file to ensure that at
least one word is empty to mark the end of the line. This will be
required with ACLs in order to avoid reading past the end of line.

[MINOR] add support for variable size arrays in structures

Depending on the version of GCC, variable size arrays are not
declared in the same manner. Let's add a check for the version
and provide a macro.

[MINOR] add LIST_HEAD_INIT to the list management macros

It is useful to have the ability to initialize a list while declaring it.

[MEDIUM] add better list management macros

The FOREACH_ITEM and FOREACH_ITEM_SAFE macros are nasty, they
require too many arguments. Let's port those from linux instead.

[MEDIUM] implement the URI hash algorithm

Guillaume Dallaire contributed the URI hashing algorithm for
use with proxy-caches. It provides the advantage of optimizing
the cache hit rate.

[MEDIUM] always have msg->sol point to beginning of message

Since the 'data' pointer is not stored in message structures, it is
useful to have such a pointer to it when the message has been fully
parsed.

[BUILD] do not build rbtree anymore

Rbtree is not used anymore. Remove it from the makefiles.

[MINOR] uninline task_wakeup

task_wakup has become bigger since we used the trees. Let's not
inline it anymore.

[MINOR] ev_sepoll: refine flags management.

Ensure that we don't call the event handlers if the FD is already
marked FD_STERROR, and ensure that we properly catch HUP and ERR.

[BUG] fixed connection establishment detection

Since the introduction of speculative I/O, it was not always possible
to correctly detect a connection establishment. Particularly, in TCP
mode, there is no data to send and getsockopt() returns no error. The
solution consists in trying a connect() again to get its diagnostic.

[MINOR] remove wait_time nullification in ev_sepoll

in ev_sepoll(), wait_time is forced to zero if at least one
speculative event is converted to a real event. This is completely
wrong.

[MINOR] pre-compute t->expire in event_accept

At the end of event_accept(), t->expire is computed with tv_min
between two exclusive values. Let's simply assign it at the same
time.

[MEDIUM] many cleanups in the time functions

Now, functions whose name begins with '__tv_' are inlined. Also,
'tv_ms' is used as a prefix for functions using milliseconds.

[MINOR] tell the compiler that debug more is unlikely to happen

In process_session(), add unlikely() around debug code.

[MEDIUM] implement and use tv_cmp2_le instead of tv_cmp2_ms

tv_cmp2_ms handles multiple combinations of tv1 and tv2, but only
one form is used: (tv1 <= tv2). So it is overkill to use it everywhere.
A new function designed to do exactly this has been written for that
purpose: tv_cmp2_le. Also, removed old unused tv_* functions.

[MAJOR] changed TV_ETERNITY to ~0 instead of 0

The fact that TV_ETERNITY was 0 was very awkward because it
required that comparison functions handled the special case.
Now it is ~0 and all comparisons are performed on unsigned
values, so that it is naturally greater than any other value.

A performance gain of about 2-5% has been noticed.

[MAJOR] replaced rbtree with ul2tree.

The rbtree-based wait queue consumes a lot of CPU. Use the ul2tree
instead. Lots of cleanups and code reorganizations made it possible
to reduce the task struct and simplify the code a bit.

[MINOR] removed useless counters from ul2tree_insert()

node_right_lookup and node_right_lookup were two statistical counters.
Let's remove them as we do not need them.

[MINOR] import ul2tree from old librt project

This is an import of the old ul2tree code as well as required bitops.
All of them will have to be refreshed at one moment.

[MINOR] added support for dual-linked lists

Imported dual-linked lists management macros from the old scheduler project,
and fixed a long-standing nasty bug in the DLIST_ADD() macro.

[RELEASE] Released version 1.3.9 with the following changes :

    - modularized the polling mechanisms and use function pointers instead
      of macros at many places
    - implemented support for FreeBSD's kqueue() polling mechanism
    - fixed a warning on OpenBSD : MIN/MAX redefined
    - change socket registration order at startup to accomodate kqueue.
    - several makefile cleanups to support old shells
    - fix build with limits.h once for all
    - ev_epoll: do not rely on fd_sets anymore, use changes stacks instead.
    - fdtab now holds the results of polling
    - implemented support for speculative I/O processing with epoll()
    - remove useless calls to shutdown(SHUT_RD), resulting in small speed boost
    - auto-registering of pollers at load time

[BUILD] regparm in fd.h broke build on gcc-2.95

It was necessary to put the attribute after the type.

[MAJOR] introduced speculative I/O with epoll()

The principle behind speculative I/O is to speculatively try to
perform I/O before registering the events in the system. This
considerably reduces the number of calls to epoll_ctl() and
sometimes even epoll_wait(), and manages to increase overall
performance by about 10%.

The new poller has been called "sepoll". It is used by default
on Linux when it works. A corresponding option "nosepoll" and
the command line argument "-ds" allow to disable it.

[MAJOR] auto-registering of pollers at load time

Gcc provides __attribute__((constructor)) which is very convenient
to execute functions at startup right before main(). All the pollers
have been converted to have their register() function declared like
this, so that it is not necessary anymore to call them from a centralized
file.

[BUILD] declare epoll_* as static when using our own functions

We will have to share this code among several implementations.

[MAJOR] remove useless calls to shutdown(SHUT_RD)

shutdown(SHUT_RD) is useless on data TCP sockets. It does nothing
and consumes one syscall. Remove it.

[MAJOR] implemented support for speculative I/O processing

The pollers will now be able to speculatively call the I/O
processing functions and decide whether or not they want to
poll on those FDs. The changes primarily consist in teaching
those functions how to pass the info they got an EAGAIN.

[MINOR] add support for the polling results in fdtab

Now fdtab can contain the FD_POLL_* events so that the pollers
which can fill them can give userful information to readers and
writers about the precise condition of wakeup.

[MINOR] recompute maxfd before touching fdtab

It may be dangerous to play with fdtab before doing fd_insert()
because this last one is responsible for growing maxfd as needed.
Call fd_insert() before instead.

[MINOR] copy-paste typo when checking for -dk to disable kqueue.

[MAJOR] missing tv_now in kqueue_poll() blocking timeouts

a missing call to tv_now(&now) just after kevent() prevented
the timeouts from expiring.

[MAJOR] ev_epoll: do not rely on fd_sets anymore

The new epoll-based poller uses a list of changes in order to
process only the fds which have changed.

[BUILD] Fix limits.h once for all

Patch #cf83df3d162687d9c74783357421bd89f596eaac was stupid. Including
limits.h is portable and easier. At least it now builds on Solaris,
FreeBSD, Linux and OpenBSD.

[CLEANUP] make makefile more old sh-friendly

Older SH on Solaris does not know about $(cmd) but only know `cmd`.

[MINOR] kqueue: use fd_clo() to close the fd

fd_clo() does not call kevent() which is not needed during a close().
This one will be faster.

[MAJOR] delay registering of listener sockets at startup

Some pollers such as kqueue lose their FD across fork(), meaning that
the registered file descriptors are lost too. Now when the proxies are
started by start_proxies(), the file descriptors are not registered yet,
leaving enough time for the fork() to take place and to get a new pollfd.
It will be the first call to maintain_proxies that will register them.

[MEDIUM] kqueue: do not manually remove fds

FDs attached to a kevent are automatically removed after close().
Also, do not mark the FDs as EV_CLEAR. We want to stay informed
about readiness.

[BUILD] enable kqueue on MacOS X too

MacOS X is said to have kqueue. Let's enable it too.

[MAJOR] kqueue bug in handling infinite timeouts

Calls to kevent() need to pass NULL when there is no timeout.

[MAJOR] kqueue was not initialized during startup

[BUILD] fixed a warning on OpenBSD : MIN/MAX redefined

[BUILD] fix build on FreeBSD for INT_MIN/INT_MAX

FreeBSD stores INT_MIN and INT_MAX in sys/limits.h only. Other systems
(Solaris) have it in sys/types.h and do not have sys/limits.h. Let's
include sys/limits.h only if INT_MAX is not defined.

[MINOR] use 'is_set' instead of 'isset' in struct poller

'isset' was defined as a macro in /usr/include/sys/param.h, and
it breaks build on at least OpenBSD.

[MINOR] removed proto/polling.h which was not used anymore

[MAJOR] implemented support for FreeBSD's kqueue() polling mechanism

It has not been tested yet, but at least it builds.

[MINOR] ev_* : moved the poll function closer to fd_*

[MINOR] changed fd_set*/fd_clr* functions to return ints

The fd_* functions now return ints so that they can be
factored when appropriate.

[MEDIUM] pollers: store the events in arrays

Instead of managing StaticReadEvent/StaticWriteEvent, use evts[dir]

[MEDIUM] factor FD_ISSET/FD_CLR and !FD_ISSET/FD_SET

Use the new FD_COND_C/FD_COND_S macros to reduce the number of
operations during tests and sets.

[MEDIUM] updated all files to use EV_FD_*

Removed the temporary dirty hack.

[MAJOR] modularize the polling mechanisms

select, poll and epoll now have their dedicated functions and have
been split into distinct files. Several FD manipulation primitives
have been provided with each poller.

The rest of the code needs to be cleaned to remove traces of
StaticReadEvent/StaticWriteEvent. A trick involving a macro has
temporarily been used right now. Some work needs to be done to
factorize tests and sets everywhere.

[MINOR] pollers should not use MY_FD_*

[RELEASE] Released version 1.3.8.2 with the following changes :

    - rewriting either the status line or request line could crash the
      process due to a pointer which ought to be reset before parsing.
    - rewriting the status line in the response did not work, it caused
      a 502 Bad Gateway due to an erroneous state during parsing

[BUG] initialize msg->sol before parsing first line

Before calling http_parse_{sts,req}line(), it is necessary
to make msg->sol point to the beginning of the line. This
was not done, resulting in the proxy sometimes crashing when
URI rewriting or result rewriting was used.

[BUG] Status line in HTTP response could not be rewritten

Typo implied use of HTTP_MSG_RQMETH state instead of HTTP_MSG_RPVER.

[CONTRIB] the URLs in the SPEC files were obsolete

[RELEASE] Released version 1.3.8.1 with the following changes :

    - fix reqadd when no option httpclose is used.
    - removed now unused fiprm and beprm from proxies
    - split logs into two versions : TCP and HTTP
    - added some docs about http headers storage and acls
    - added a VIM script for syntax color highlighting (Bruno Michel)

[CONTRIB] added the 'except' keyword to haproxy.vim

[CONTRIB] added a VIM script for syntax coloring

[DOC] added some docs about http headers storage and acls

[MEDIUM] splitted logs into two versions : TCP and HTTP

logs are handled better with dedicated functions. The HTTP implementation
moved to proto_http.c. It has been cleaned up a bit. Now a frontend with
option httplog and no log will not call the function anymore.

[MEDIUM] removed now unused fiprm and beprm from proxies

The fiprm and beprm were added to ease the transition between
a single listener mode to frontends+backends. They are no longer
needed and make the code a bit more complicated. Remove them.

[BUG] fix reqadd when no option httpclose is used.

Due to a code indentation mismatch, the rspadd headers were only
added if option httpclose was not set.

[RELEASE] Released version 1.3.8 with the following changes :

    - fixed several bugs which might have caused a crash with bad configs
    - several optimizations in header processing
    - many progresses towards transaction-based processing
    - option forwardfor may be used in frontends
    - completed HTTP response processing
    - some code refactoring between request and response processing
    - new HTTP header manipulation functions
    - optimizations on the recv() patch to reduce CPU usage under very
      high data rates.
    - more user-friendly help about the 'usesrc' keyword (CTTPROXY)
    - username/groupname support from Marcus Rueckert
    - added the "except" keyword to the "forwardfor" option (Bryan German)
    - support for health-checks on other addresses (Fabrice Dulaunoy)
    - makefile for MacOS 10.4 / Darwin (Dan Zinngrabe)
    - do not insert "Connection: close" in HTTP/1.0 messages

[BUILD] cfgparse requires errno.h on OpenBSD.

[MEDIUM] do not add Connection: close in HTTP/1.0 mode

If we already are in HTTP/1.0 and if no connection: has been seen,
it is not necessary to add Connection: close.

[DOC] added a CONTRIB file

Most useful contributions are acknowledged in this file.

[CLEANUP] added a few missing newlines to the HTML report

Sometimes it is preferable that the HTML output can be parsed.
Ensure better use of the newlines for this.

[MINOR] changed server weight storage from char to unsigned int

This change does not affect memory usage much, but it simplifies the
code a lot by removing many +1/-1 operations on weights.

[CLEANUP] slightly reorganized the struct server

Struct server has gathered lots of informations over the time, but
it's better for clarity and performance to group those information
by usage, the most common ones at the top and the least ones at the
bottom.

[MINOR] cleaned up the check_addr patch a bit

removed useless set_check_addr entry and rely on check_addr itself.

[BUILD] makefile for MacOS 10.4 / Darwin

Contribution from Dan Zinngrabe :

Here is a Makefile based on that for BSD that builds HAProxy 1.3.7 on
MacOS 10.4 and Darwin. I haven't tested it extensively yet, but it
does seem to work so far.

[MEDIUM] add support for health-checks on other addresses

Patch from Fabrice Dulaunoy. Explanation below, and script
merged in examples/.

This patch allow to put a different address in the check part for each
server (and not only a specific port)

I need this feature because I've a complex settings where, when a specific
farm goes down, I need to switch a set of other farm either if these other
farm behave perfectly well.

For that purpose, I've made a small PERL daemon with some REGEX or PORT
test which allow me to test a bunch of thing.

[DOC] update architecture guide

Many useful updates to the architecture guide.

[MEDIUM] add the "except" keyword to the "forwardfor" option

Patch from Bryan Germann for 1.2.17.
In some circumstances, it is useful not to add the X-Forwarded-For
header, for instance when the client is another reverse-proxy or
stunnel running on the same machine and which already adds it. This
patch adds the "except" keyword to the "forwardfor" option, allowing
to specify an address or network which will not be added to this
header.

[MEDIUM] add user/groupname support

Patch from Marcus Rueckert for 1.2.17 :
 "I added the attached patch to haproxy. I don't have a static uid/gid for
  haproxy so i need to specify the username/groupname to run it as non
  root user."

[MEDIUM] check for cttproxy support when required

Previously, use of the "usesrc" keyword could silently fail if
either the module was not loaded, or the user did not have enough
permissions. Now the errors are better diagnosed and more appropriate
advices are given.

[MINOR] more friendly reports of wrong uses of the usesrc keyword

It was difficult to find how to enter the "usesrc" keyword. Now the
configuration checker is a bit more friendly and tries to identify
most mistakes and gives some hints back.

[MINOR] read optimizations based on the MSS

Generally, if a recv() returns less bytes than the MSS, it means that
there is nothing left in the system's buffers, and that it's not worth
trying to read again because we are very likely to get nothing. A
default read low limit has been set to 1460 bytes below which we stop
reading.

This has brought a little speed boost on small objects while maintaining
the same speed on large objects.

[MEDIUM] re-implemented the multiple read polling

Multiple read polling was temporarily disabled, which had the side
effect of burning huge amounts of CPU on large objects. It has now
been re-implemented with a limit of 8 calls per wake-up, which seems
to provide best results at least on Linux.

[BUG] fix pointer initializations for TCP connections.

Very recent changes consisting in moving some pointers to the
transaction instead of the session have lead to a bug because
those pointers were only initialized if the protocol was HTTP,
but they were freed based on their value. In some cases, it
was possible to cause double frees.

[MINOR] added new function http_header_match2()

HTTP header matching is now made easier with http_header_match2().
Various locations have been adapted to use it. A small bug was also
fixed causing empty headers to be matched till next one.

[MINOR] HTTP: factorize all the header insertions

Two new functions http_header_add_tail() and http_header_add_tail2()
make it easier to append headers, and also reduce the number of
sprintf() calls and perform stricter checks.

[MINOR] used http_flush_cookie_flags() instead of a dirty code block

[MINOR] move some flags from session.h to proto_http.h

Some session flags were clearly related to HTTP transactions.
A new 'flags' field has been added to http_txn, and the
associated flags moved to proto_http.h.

[CLEANUP] move http_txn out of session.h

The http_txn structure definitions moved to proto_http.h

[CLEANUP] removed useless includes from streamsock.c

[MINOR] removed the ->h member in struct buffer

The buffer does not need the header pointer anymore, it has
been removed everywhere.

[MINOR] fix accounting for response bytes

A remaining reference to rep->h was replaced.

[MAJOR] completed the HTTP response processing.

Now the response is correctly processed in the backend first
then in the frontend. It has followed intensive tests to
catch regressions, and everything seems OK now, but the code
is young anyway.

[MINOR] code factoring : capture_headers() serves requests and responses

Both request and response captures will have to parse headers following
the same methods. It's better to factorize the code, hence the new
capture_headers() function.

[MINOR] implement http_is_ver_token to fix response parsing

This new character map improves accuracy when parsing HTTP version,
which helps inspecting requests, and fixes response handling.

[MINOR] added new str2i* functions

Those functions provide faster and more flexible alternatives to atoi(),
some of which are able to work on sub-strings.

[MINOR] option forwardfor is for frontends too

Finally, if the "option forwardfor" is specified in the frontend
and not in the backend, apply it.

[CLEANUP] replaced occurrences of 'hreq' with 'txn' (bis)

Did the same in client.c