Tidying up some memory allocation code, so MemPool code is always
freed correctly, and making sure that the mempools that DO exist for
some structures are actually used.

Allow the hot object -> transit object transition point to be configurable,
rather than hard-coded at SM_PAGE_SIZE. This change should allow a higher
memory hitrate, and makes the current object memory code kind of behave like
the old 'all or nothing' hot object memory cache.

This change should now be placed in the handbook/FAQ somewhere.

Updated messages from Svetlin Simeonov.

DW:
 - Added alarm() timeouts for read() and write().  The default value
   is 120 seconds, but configurable with -T.

The snmp_community ACL check segfaulted if Squid failed to parse
the SNMP query. We might want to backport this to 2.3, and release
it as a patch as this can be used to DOS anyone with SNMP enabled
and using the snmp_community ACL.

A workaround is to base access controls purely on the source address
instead of using a community.

Fixed the "hostname misread as an IP" case for 1234-5.example.com as well.

DW:
 - The code that scans ACL tokens for IP addresses and hostnames
   couldn't tell that "123.foo.com" is a hostname rather than
   an IP address.

DW:
 - Bad "==" operator to test(1)

DW:
 - Note malloc, free, etc alternatives.

Persistent connection bugfix from Chris DeCenzo <decenzo at liberate.com>

Redirected requests lost the persistent state due to lost information
in the "new" request after redirection.

DW:
 - add some comments and ref about floating point math in C.

DW:
 - Francis A. Vidal reported this assertion with load factors 0.6 and
   0.4.  Alex instructed me that all floating point math is unpredictable
   and we should not use floating point equality comparisons.

reran autoconf...

--enable-err-language failed when compiling outside the source tree.

Make configure automatically find and generate the sub-makefiles in
  auth_modules/*
  src/fs/*
  src/repl/*

DW:
 - missing newline on RCODE table output

DW:
 - Once again wasted time tracking down a hit ratio problem, eventually
   re-learning that storeDirSelectSwapDirLeastLoad() could return -1
   causing a swapout to fail.  This patch logs those cases to store.log.

DW:
 - Wrong return value on ENTRY_SPECIAL check for minimum object size.

2.4.DEVEL4

DW:
 - Logic bug in I/O counters.  Open and Create both now share "OpenDone"
   so we have to look at ->mode to see which one gets credit.

DW:
 - 2.4 changes that never got logged.

DW:
 - Harvest Derived?

DW:
 - Synced HEAD with 2.3.STABLE4.

DW:
 - Add some more counters.  These track success and failure of
   disk operations.

DW:
 - Shouldn't have committed that debug.

DW:
 - That range_limit_offset patch could cause a NULL pointer read.

DW:
 - A fix for 'range_offset_limit'.  Moved the range_offset_limit
   check earlier in the client-side processing -- before the request
   is determined to be a hit or miss, and before its forwarded.
 - Extended the logic for determning when a range request should be
   an uncachable miss due to range_offset_limit.  If the request
   would be a HIT on a PENDING object, we force a MISS if we can't
   give the client the offset that it wants right away.
 - Found it necessary to add request->flags.we_dont_do_ranges.  The
   flag is set by the client side, and read in the server side to
   figure out if the Range header should be sent or not.

Make sure the standard filedescriptors (0,1,2) are connected to
/dev/null when running in daemon mode.

USE_REFERER_LOG is --enable-referer-log

referer_log requires USE_REFERER_LOG, or the build fails..
also updated the tag comments to the new format where --enable..
and defaults are automatically generated.

DW:
   - This patch retries internal DNS queries that are returned with
     RCODE 2 (ServFail).

DW:
 - Brad <brad@comstyle.com> pointed out that some configure --enable
   descriptions don't match the arg names.  They were using "_" instead
   of "-".  This patch makes all descriptions use "-", or at least
   match the argument.

DW:
 - Changes from Jens' referer log patch that didn't get committed
   the first time.

DW:
 - Jens-S. Voeckler <voeckler@rvs.uni-hannover.de> submitted this
   patch for referer header logging.

DW:
 - Removed old, unused 'FILE *cache_useragent_log' from before the
   invention of the logfile module.

DW:
 - A patch from 2.3 branch that allows "content-length: 0" in GET and
   HEAD requests.

DW:
 - Record bytes actually written, not the len argument to write().

DW:
 - In storeDiskdSend() we used to loop on storeDiskdDirCallback(sd)
   if we were over the magic2 limit.  There were two problems with
   that approach.  The loop was at CPU speed; there were no delays.
   When this condition occurs, Squid could hog the CPU when it would
   be better to give some cycles to the diskd processes.  Also, we
   need to check callbacks for *all* swap directories, not just the
   current one.

   This patch calls storeDirCallback() instead.  It also adds an
   exponentially increasing delay between calls, with a 500ms limit.
   select is used as a somewhat portable microsecond sleep timer.

Renamed Counter to statCounter to avoid a name space collision on Solaris 8

Complete rewrite of the removal policy list, to work along the
same lines as the filesystem list. Now a list of calls to
storeReplAdd() is generated, which adds the policies to a dynamic
list, and storeCreateRemovalPolicy searches this list for the
requested policy name.

This also allows for a seemless integration of loadable modules
at any time. All that is needed to have filesystems or policies
in loadable modules is to write the few lines of code required
to bring in the shared object, and to call the appropriate
registering function (storeFsAdd or storeReplAdd).

"make clean" forgot to remove repl_modules.c

Added support for USE_TRUNCATE_NOT_UNLINK to aufs

DW:
 - Missed the primary place where swapin completes and we should
   increment the swapin counter.

The last two changes from modio:

* bring ufs to the latest incarnation of ufs-style object/file/bitmap
  removal.
* Make the use of truncate() in diskd.c dependant upon #if USE_TRUNCATE,
  like it should be.

DW:
 - storeDiskdDirRebuildFromSwapLog called storeDiskdDirReplRemove
   with an entry with swap_dirn == -1.

DW:
 - Don't print page fault warning until at least one minute has
   elapsed.

DW:
 - cut-n-paste mistake

DW:
 - ouch, lost a double quote.

DW:
 - echo '\n' is not portable in /bin/sh
 - put echo commands without variables in single quotes

DW:
 - Config.warning.high_memory_warning should be type size_t.

DW:
 - Made the store dir selection algorithm configurable via
   'store_dir_select_algorithm'.  There are currently two options:
   'least-load' (storeDirSelectSwapDirLeastLoad(), the default),
   and 'round-robin' (storeDirSelectSwapDirRoundRobin()).
 - Added counter stats to the storeCreate() function to find out
   how often it fails and succeeds.

DW:
 - Added store swapin and swapout counters.
 - Changed the location of 'swap_files_cleaned' in StatCounters structure.

DW:
 - Since storeDiskdDirCallback() no longer loops when 'away > magic2',
   we have to do it here in storeDiskdSend().

DW:
 - Make statAvgTick() print WARNINGS at debug level 0 if memory usage,
   response time, or page faults exceed admin-defined thresholds.

DW:
 - Support for extension methods via squid.conf.  The admin
   can define up to 20 additional methods with the
   'extension_methods' wordlist.  Methods are converted to
   uppercase, and put into the RequestMethodStr[] array,
   replacing some placeholders.

DW:
 - gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - Need to define snmp_netIdnsFn() when SNMP and internal DNS
   is enabled.

DW:
 - typo?  nss --> nns

Fixed a bug where --enable-useragent-log caused Squid to coredump unless
useragent_log was specified in squid.conf

DW:
 - Added a special checks for large files.  I've been seeing a
   system crash followed by a reboot that seems to corrupt the swap
   log.  Squid believes that the disk holds some really large files.
   It complains about using being over the high water mark and
   proceeds to delete files as fast as it can.  To prevent that,
   we call stat() on sufficiently large files (>128KB) and reject
   those that are missing or have the wrong size.

Patched configure.in to make --localstatedir to work again

Minor bugfix to the textual output of configure for the removal policies
(said store modules not removal policies. Typical case of copy'n paste
decease)

Reran autoconf and autoheader

Modular policy implementation. See programmers guide for API details

Modular policy implementation. See programmers guide for API details.

This also includes Adrians improved store I/O callback handler model.

DW:
  - Minor correction to the minor corrections of the formatting of
    the boilerplate section.

Minor corrections of the formatting of the boilerplate section:

* One and only one blank line first in the files
* added the copyright bolierplate where it was missing
* a few missing debug section "none" statements
* author was missing on some files..

DW:
 - Removed duplicat occurance of "storeSwapOut: Deferring starting
   swapping out".

Possible fix for storeAppend "e->store_status == STORE_PENDING" assertion
when called via ftpAcceptDataConnection.

Corrected --disable-unlinkd. It didn't correctly parse the arguments
and always enabled unlinkd..

Excended the makefile trickery used for --disable-unlinkd to also
apply to dnsserver and pinger. Now no helpers are built or installed
unless requested.

Note: The makefile trickery will probably fail on old UNIX:es if no
helpers are to be installed. Need to find a way to test if a variable
contains anything else besides whitespace.. Workaround: Don't use
--disable-unlinkd or use --disable-internal-dns.

Restored the #if USE_UNLINKD statements. These are used by the
--disable-unlinkd option.

DW:
 - If we're going to remove some #if USE_UNLINKD statements, we might as
   well remove all of them so Squid compiles.

DW:
 - Eliminate unused variable warnings from the worlds longest #if

DW:
 - Avoid assertions at exit if unlinkd never got spawned.

DW:
 - We don't need to cast void pointer assignments.

DW:
 - Another case where a size_t variable can be negative.  Use ssize_t
   instead.

Added autoconf.h dependency to src objects, to trap when someone
changes the configure options.

Added --disable-unlinkd configure option to optionally remove unlinkd
when it is not needed (unlinkd is currently only used by the ufs store)

Oops.. USE_UNLINKD was still referenced by unlinkd.c

hno squid-2.4.DEVEL3-hno.devel.persistent_connections_and_request_timeout.patch

The error message Squid sent when the client did not send a initial
request in a timely manner confused browsers using persistent connections.
It is better to simply close the connection, forcing the user agent to retry
any pending request.

hno squid-2.4.DEVEL3-hno.devel.automatic_stacktraces.patch

Added --enable-stacktraces configure option to set PRINT_STACK_TRACE,
and extended support for this to Linux/GNU libc.

hno squid-2.4.DEVEL3-hno.devel.sslReadClient_read_failure_log_leve.patch

Minor adjustment of sslReadClient log levels

hno squid-2.4.DEVEL3-hno.devel.MD5_mismatch_warning.patch

Fixes some bogous bogous MD5 key mismatch warnings when using
the aufs or diskd stores. This is due to their asyncronous nature where
objects might get removed from the cache while they are being read from
disk.

Also rearranged the ChangeLog somewhat since Duane apparently have made
an internal Squid-2.4.DEVEL3 release..

Workaround/fix for a race condition between storeSwapOut and
stmemFreeDataUpto. The freeing of memory data could cause
entry->mem->swapout.memnode to reference a freed memory chunk..

Added "dummy" store.log logging of entries with no mem object. This
includes almost all RELEASE's.

asyncufs is named aufs nowdays...

Syncronized store_dir implementations between ufs and aufs

DW:
 - Running the current code on an older 2.4 cache results in unlink
   errors.  During 2.4 development, we changed the way swap file
   numbers are assigned and stored.  The high 16 bits used to encode
   the SD index number.  There used to be a call to storeDirProperFileno
   here that re-assigned the index bits.  Now, for backwards
   compatibility, we just need to mask it off.

DW:
 - The 'flag' parameter of storeDirValidFileno got deleted when it
   became storeDirFSValidFileno (at least for diskd and ufs).
   This flag is important for rebuilding.  When the flag is set, it
   enables the out-of-range check against the filemap size.  Without
   this check, the filemap does not grow during the rebuild procedure.
   Instead, all objects with file numbers larger than the default (16k?)
   get declared invalid and most of the cached objects are lost.

DW:
 - Must #include store_diskd.h after sys/msg.h in order to pick up
   mytp_t.

DW:
 - oof.  I thought this got changed and committed in the last patch.
   At this point we need to unregister http->old_sc, instead of
   http->sc.

DW:
 - configure check for mtyp_t was broken because it isn't normally defined
   in sys/types.h.

DW:
 - I'm getting a cbdata assertion when trying to 'cbdataFree' a
   store_client.  Its probably from this call to storeUnregister
   with http->sc instead of http->old_sc.  Regardless, its a good
   idea to always NULL http->sc after calling unregister.

DW:
 - Use xstrncpy instead of strcpy.

DW:
 - SHMBUFS and SHMBUF_BLKSZ are already defined in store_diskd.h.

DW:
 - I don't see why we include assert.h; must be a leftover from something
   old.

DW:
 - Added copyright to .c files, but this copyright text is still
   wrong.  It has 1998 and squid.nlanr.net.

DW:
 - Wrote storeDiskdSync.  Debug level will need to be changed later,
   but for now it will tell us if its working correctly.

DW:
 - Use xstrncpy instead of strcpy.

DW:
 - RHS of pointer assignment can be void without a cast.