Workaround to some crappy Linux glibc headers

DW:
 - IP-Filter changed the type for SIOCGNATL between 3.3 and 3.4.
   It also changed the cmd value for SIOCGNATL, so at least we can
   detect it.  We could put something in configure and use ifdefs
   here, but this seems simpler.

DW:
 - Note that the parsing code has a bug that treats names like
   www...foo....com the same as www.foo.com.  No fix at this time.

Added the Authenticate-Info and Proxy-Authenticate-Info headers from
RFC2617

DW:
 - This change collapses multiple dots in hostnames to single dots.  For
   example www....foo....com becomes www.foo.com.   This only recently
   became a problem with internal DNS lookups.  gethostbyname() seems
   to generate a failure for multiple-dotted hostnames, but Squid's
   internal DNS code does not.

DW:
 - clientAccessCheck was allowing all proxy requests in accelerator
   only mode.  Looks like confusion with merging patches from
   some time ago.

DW:
 - The response time warning occurs too often when we check the
   one-minute average.  I'm changing it to the five-minute average
   instead.

Remove squid.conf on make clean

Minor correction in the dependency handling of the "all" target. In some
cases you had to run make twice to get all parts properly rebuilt.

Changed httpd_accel_single_host to default to off to mimic the behaviour
of older squid releases.

Added a check for libdl, to allow pam_auth to build on FreeBSD where
dlopen is in libc..

Cleanup of make dependencies to fix the parallell build races.

Actually the problem was quite basic, and also manifested itself on
the call to cf_gen.

The problematic rules look like:

target1 target2: some.dependency
command wich makes both of target1 and target2

this is incompatible with make -j, as make assumes the command only
builds one of the targets (the one available in $@).

There are two ways to work around this. One is to make the command
only build one of the targets (as done in fs/ and repl/), the other to chain
dependencies between the two targets with some "magic" to have the first
target in the chain rebuilt in case it alone gets removed..

target1: target2
@sh -c "test -f target1 || command to regenerate the targets"

target2: dependency
command to regenerate the targets

Tested on RedHat Linux 6.2 (GNU Make) and FreeBSD 4.0.

Added a default xmalloc and friends failure_notify handler used when the
main program hasn't installed one. These functions are used by more binaries
than the main Squid binary, and not all (only the squid binary) installs
a failure_notify handler. The others cause a SEGV when trying to call
the non-existant failure_notify handler..

Tidying up some memory allocation code, so MemPool code is always
freed correctly, and making sure that the mempools that DO exist for
some structures are actually used.

Allow the hot object -> transit object transition point to be configurable,
rather than hard-coded at SM_PAGE_SIZE. This change should allow a higher
memory hitrate, and makes the current object memory code kind of behave like
the old 'all or nothing' hot object memory cache.

This change should now be placed in the handbook/FAQ somewhere.

Updated messages from Svetlin Simeonov.

DW:
 - Added alarm() timeouts for read() and write().  The default value
   is 120 seconds, but configurable with -T.

The snmp_community ACL check segfaulted if Squid failed to parse
the SNMP query. We might want to backport this to 2.3, and release
it as a patch as this can be used to DOS anyone with SNMP enabled
and using the snmp_community ACL.

A workaround is to base access controls purely on the source address
instead of using a community.

Fixed the "hostname misread as an IP" case for 1234-5.example.com as well.

DW:
 - The code that scans ACL tokens for IP addresses and hostnames
   couldn't tell that "123.foo.com" is a hostname rather than
   an IP address.

DW:
 - Bad "==" operator to test(1)

DW:
 - Note malloc, free, etc alternatives.

Persistent connection bugfix from Chris DeCenzo <decenzo at liberate.com>

Redirected requests lost the persistent state due to lost information
in the "new" request after redirection.

DW:
 - add some comments and ref about floating point math in C.

DW:
 - Francis A. Vidal reported this assertion with load factors 0.6 and
   0.4.  Alex instructed me that all floating point math is unpredictable
   and we should not use floating point equality comparisons.

reran autoconf...

--enable-err-language failed when compiling outside the source tree.

Make configure automatically find and generate the sub-makefiles in
  auth_modules/*
  src/fs/*
  src/repl/*

DW:
 - missing newline on RCODE table output

DW:
 - Once again wasted time tracking down a hit ratio problem, eventually
   re-learning that storeDirSelectSwapDirLeastLoad() could return -1
   causing a swapout to fail.  This patch logs those cases to store.log.

DW:
 - Wrong return value on ENTRY_SPECIAL check for minimum object size.

2.4.DEVEL4

DW:
 - Logic bug in I/O counters.  Open and Create both now share "OpenDone"
   so we have to look at ->mode to see which one gets credit.

DW:
 - 2.4 changes that never got logged.

DW:
 - Harvest Derived?

DW:
 - Synced HEAD with 2.3.STABLE4.

DW:
 - Add some more counters.  These track success and failure of
   disk operations.

DW:
 - Shouldn't have committed that debug.

DW:
 - That range_limit_offset patch could cause a NULL pointer read.

DW:
 - A fix for 'range_offset_limit'.  Moved the range_offset_limit
   check earlier in the client-side processing -- before the request
   is determined to be a hit or miss, and before its forwarded.
 - Extended the logic for determning when a range request should be
   an uncachable miss due to range_offset_limit.  If the request
   would be a HIT on a PENDING object, we force a MISS if we can't
   give the client the offset that it wants right away.
 - Found it necessary to add request->flags.we_dont_do_ranges.  The
   flag is set by the client side, and read in the server side to
   figure out if the Range header should be sent or not.

Make sure the standard filedescriptors (0,1,2) are connected to
/dev/null when running in daemon mode.

USE_REFERER_LOG is --enable-referer-log

referer_log requires USE_REFERER_LOG, or the build fails..
also updated the tag comments to the new format where --enable..
and defaults are automatically generated.

DW:
   - This patch retries internal DNS queries that are returned with
     RCODE 2 (ServFail).

DW:
 - Brad <brad@comstyle.com> pointed out that some configure --enable
   descriptions don't match the arg names.  They were using "_" instead
   of "-".  This patch makes all descriptions use "-", or at least
   match the argument.

DW:
 - Changes from Jens' referer log patch that didn't get committed
   the first time.

DW:
 - Jens-S. Voeckler <voeckler@rvs.uni-hannover.de> submitted this
   patch for referer header logging.

DW:
 - Removed old, unused 'FILE *cache_useragent_log' from before the
   invention of the logfile module.

DW:
 - A patch from 2.3 branch that allows "content-length: 0" in GET and
   HEAD requests.

DW:
 - Record bytes actually written, not the len argument to write().

DW:
 - In storeDiskdSend() we used to loop on storeDiskdDirCallback(sd)
   if we were over the magic2 limit.  There were two problems with
   that approach.  The loop was at CPU speed; there were no delays.
   When this condition occurs, Squid could hog the CPU when it would
   be better to give some cycles to the diskd processes.  Also, we
   need to check callbacks for *all* swap directories, not just the
   current one.

   This patch calls storeDirCallback() instead.  It also adds an
   exponentially increasing delay between calls, with a 500ms limit.
   select is used as a somewhat portable microsecond sleep timer.

Renamed Counter to statCounter to avoid a name space collision on Solaris 8

Complete rewrite of the removal policy list, to work along the
same lines as the filesystem list. Now a list of calls to
storeReplAdd() is generated, which adds the policies to a dynamic
list, and storeCreateRemovalPolicy searches this list for the
requested policy name.

This also allows for a seemless integration of loadable modules
at any time. All that is needed to have filesystems or policies
in loadable modules is to write the few lines of code required
to bring in the shared object, and to call the appropriate
registering function (storeFsAdd or storeReplAdd).

"make clean" forgot to remove repl_modules.c

Added support for USE_TRUNCATE_NOT_UNLINK to aufs

DW:
 - Missed the primary place where swapin completes and we should
   increment the swapin counter.

The last two changes from modio:

* bring ufs to the latest incarnation of ufs-style object/file/bitmap
  removal.
* Make the use of truncate() in diskd.c dependant upon #if USE_TRUNCATE,
  like it should be.

DW:
 - storeDiskdDirRebuildFromSwapLog called storeDiskdDirReplRemove
   with an entry with swap_dirn == -1.

DW:
 - Don't print page fault warning until at least one minute has
   elapsed.

DW:
 - cut-n-paste mistake

DW:
 - ouch, lost a double quote.

DW:
 - echo '\n' is not portable in /bin/sh
 - put echo commands without variables in single quotes

DW:
 - Config.warning.high_memory_warning should be type size_t.

DW:
 - Made the store dir selection algorithm configurable via
   'store_dir_select_algorithm'.  There are currently two options:
   'least-load' (storeDirSelectSwapDirLeastLoad(), the default),
   and 'round-robin' (storeDirSelectSwapDirRoundRobin()).
 - Added counter stats to the storeCreate() function to find out
   how often it fails and succeeds.

DW:
 - Added store swapin and swapout counters.
 - Changed the location of 'swap_files_cleaned' in StatCounters structure.

DW:
 - Since storeDiskdDirCallback() no longer loops when 'away > magic2',
   we have to do it here in storeDiskdSend().

DW:
 - Make statAvgTick() print WARNINGS at debug level 0 if memory usage,
   response time, or page faults exceed admin-defined thresholds.

DW:
 - Support for extension methods via squid.conf.  The admin
   can define up to 20 additional methods with the
   'extension_methods' wordlist.  Methods are converted to
   uppercase, and put into the RequestMethodStr[] array,
   replacing some placeholders.

DW:
 - gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - Need to define snmp_netIdnsFn() when SNMP and internal DNS
   is enabled.

DW:
 - typo?  nss --> nns

Fixed a bug where --enable-useragent-log caused Squid to coredump unless
useragent_log was specified in squid.conf

DW:
 - Added a special checks for large files.  I've been seeing a
   system crash followed by a reboot that seems to corrupt the swap
   log.  Squid believes that the disk holds some really large files.
   It complains about using being over the high water mark and
   proceeds to delete files as fast as it can.  To prevent that,
   we call stat() on sufficiently large files (>128KB) and reject
   those that are missing or have the wrong size.

Patched configure.in to make --localstatedir to work again

Minor bugfix to the textual output of configure for the removal policies
(said store modules not removal policies. Typical case of copy'n paste
decease)

Reran autoconf and autoheader

Modular policy implementation. See programmers guide for API details

Modular policy implementation. See programmers guide for API details.

This also includes Adrians improved store I/O callback handler model.

DW:
  - Minor correction to the minor corrections of the formatting of
    the boilerplate section.

Minor corrections of the formatting of the boilerplate section:

* One and only one blank line first in the files
* added the copyright bolierplate where it was missing
* a few missing debug section "none" statements
* author was missing on some files..

DW:
 - Removed duplicat occurance of "storeSwapOut: Deferring starting
   swapping out".

Possible fix for storeAppend "e->store_status == STORE_PENDING" assertion
when called via ftpAcceptDataConnection.

Corrected --disable-unlinkd. It didn't correctly parse the arguments
and always enabled unlinkd..

Excended the makefile trickery used for --disable-unlinkd to also
apply to dnsserver and pinger. Now no helpers are built or installed
unless requested.

Note: The makefile trickery will probably fail on old UNIX:es if no
helpers are to be installed. Need to find a way to test if a variable
contains anything else besides whitespace.. Workaround: Don't use
--disable-unlinkd or use --disable-internal-dns.

Restored the #if USE_UNLINKD statements. These are used by the
--disable-unlinkd option.

DW:
 - If we're going to remove some #if USE_UNLINKD statements, we might as
   well remove all of them so Squid compiles.

DW:
 - Eliminate unused variable warnings from the worlds longest #if

DW:
 - Avoid assertions at exit if unlinkd never got spawned.

DW:
 - We don't need to cast void pointer assignments.

DW:
 - Another case where a size_t variable can be negative.  Use ssize_t
   instead.

Added autoconf.h dependency to src objects, to trap when someone
changes the configure options.

Added --disable-unlinkd configure option to optionally remove unlinkd
when it is not needed (unlinkd is currently only used by the ufs store)

Oops.. USE_UNLINKD was still referenced by unlinkd.c

hno squid-2.4.DEVEL3-hno.devel.persistent_connections_and_request_timeout.patch

The error message Squid sent when the client did not send a initial
request in a timely manner confused browsers using persistent connections.
It is better to simply close the connection, forcing the user agent to retry
any pending request.

hno squid-2.4.DEVEL3-hno.devel.automatic_stacktraces.patch

Added --enable-stacktraces configure option to set PRINT_STACK_TRACE,
and extended support for this to Linux/GNU libc.

hno squid-2.4.DEVEL3-hno.devel.sslReadClient_read_failure_log_leve.patch

Minor adjustment of sslReadClient log levels

hno squid-2.4.DEVEL3-hno.devel.MD5_mismatch_warning.patch

Fixes some bogous bogous MD5 key mismatch warnings when using
the aufs or diskd stores. This is due to their asyncronous nature where
objects might get removed from the cache while they are being read from
disk.

Also rearranged the ChangeLog somewhat since Duane apparently have made
an internal Squid-2.4.DEVEL3 release..

Workaround/fix for a race condition between storeSwapOut and
stmemFreeDataUpto. The freeing of memory data could cause
entry->mem->swapout.memnode to reference a freed memory chunk..

Added "dummy" store.log logging of entries with no mem object. This
includes almost all RELEASE's.

asyncufs is named aufs nowdays...

Syncronized store_dir implementations between ufs and aufs