DW:
 - Rewrite of much of refreshCheck().

   This was prompted by a bug report that we didn't properly handle the
   must-revalidate directive.  Indeed, we always caused a refresh
   for must-revalidate.   The spec says must-revalidate only takes effect
   for stale responses.

   I find the spec to be unclear on how to handle must-revalidate without
   an explicit expiration time.  Currently, if we have a response
   that has must-revalidate, no expires, but the last-modified factor
   rule says the reponse is fresh, then we don't force a validation.

   Also added support for the max-stale request directive.

   I changed some of the internal accounting to use status codes.  In the
   future it may be useful to have a "refresh.log" file so people can
   figure out why a particular request got validated, or didn't.

DW:
 - Clean up debugging

DW:
 - Adding max-stale cache-control directive.

DW:
 - Two bugs with yesterday's date parsing changes.  (1) Need to incrment
   past "," after strchr(), and (2) struct tm tm needs to be static
   in parse_date2().

Radu Greab (radu@netsoft.ro):
 - If an AS contains networks with mask 0, when trying to view the
   AS Number Database squid enters into an infinite loop. The patch
   below fixes the problem.

DW:
 - Changes prompted by bug report that "Wed Aug 9 11:36:06 2000" could
   not be parsed.  The parse_rfc1123() code assumed there was an extra
   space after Aug and before "9".

   This change breaks the parsing into smaller functions to make the
   code easier to read and understand.

   I changed parsing of the "third" date format (asctime()) to use
   a buffer copy and strtok.  This makes it more flexible.  For example,
   we don't have to require strlen(s) < 24.

DW:
 - Don't send ICP queries to neighbors when the ICP port is zero.

Cross-site scripting fixes by Robert Collins and Henrik Nordstrom

Everywhere where Squid inserts text received from the network into
a HTML page (error pages, FTP listings, Gopher listings, ...) care
must be taken to ensure that the text is properly encoded as HTML,
or a malicious user might be able to insert script code or other
HTML tags, and exploit the web browser of any user visiting their
page or clicking on that funny link received in a email..

DW:
 - A fix for problems relating to large DNS replies.  RFC 1035 says
   that DNS/UDP messages must be 512 octets or less.  Some servers
   (BIND on OS/2) are sending larger packets, but Squid was only
   reading the first 512 octets.  This could cause buffer overruns
   in rfc1035.c.

   This patch changes recv() to use the maximum UDP socket buffer
   size.  However, if we get a large reply we tell rfc1035.c that
   we only got 512 octets.  Thus, its a little safer if that code
   has bugs and reads past 512.

DW:
 - If we discover a truncated packetin the middle of unpacking
   a resource record, we need to zap RR fields that were already
   unpacked.  Otherwise we can end up with RR->class = RFC1035_CLASS_IN,
   RR->type = RFC1035_TYPE_A, and RR->rdlenght = 0.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - key --> hash.key changes

DW:
 - `SD' undeclared (first use in this function)

DW:
 - avoid FPE in idnsCheckQueue() if name servers went away (nns = 0)
   because we're reconfiguring or shutting down.

DW:
 - mistake from global --> per SD size checks patch

DW:
 - replacement should use SwapDir high/low values, not the global ones.
   Made this patch for diskd some time ago, but never duplicated the
   patch in all the other fs duplicated code.

DW:
 - An FTP PUT with content-length: 0 causes an assertion because we never
   called pumpInit().

DW:
 - missed these hash_link changes in the previous commit.

DW:
 - This patch is some work-in-progress for a "forward.log" that would
   log all server-side requests that get forwarded.

   This patch was previously committed with an incorrect CVS comment so
   I manually removed those revisions and re-committed the patch.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - Replaced "xxx Entries read so far" messages with a global, friendlier
   "Store rebuilding is XX% complete" message.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - Changed occurances of

        struct _foo {
            /* first two items must be same as hash_link */
            char *key;
            foo *next;
            ...
        };

   to

        struct _foo {
            hash_link hash;     /* must be first */
            ...
        };

DW:
 - logfileOpen() doesn't use O_TRUNC, so we need to unlink/truncate
   the netdb_state file explicitly.

Adding Robert Collins in as a contributor, because, well, he is.

added in an update to ChangeLog explaining Duane's changes to the
fqdncache.

Added a couple of things which have changed in this version.

Reran autoconf and autoheader

CYGWIN port by Robert Collins

Spelling correction

Cleaned up RebuildState to show that the structure is fs-dependent

Fix cf_gen_defines so it can be parsed through Solaris awk.

Submitted by: Andres Kroonmaa <andre@online.ee>

Andres Kroonmaa's MemPool tidyup, take 1. Take a whole bunch of
xmalloc/xcalloc's and replace them with mempool'ed versions of
things. Not everything has been converted, but this is a start.
Notable weirdnesses are:

* aufs - there are now a few pools which are used for string allocation
  for things like object paths. This might not be the most optimal
  solution but its better than what existed.

* pconn.c - an initial pconn FD set is mempool'ed, and if the pconn set
  grows bigger than PCONN_FD_SZ it changes to xmalloc()

* client_side.c - the incoming request buffer is now initially mempooled,
  of size CLIENT_REQ_BUF_SZ (4096 bytes atm). If it needs to grow, it
  changes to xmalloc()

DW:
 - document file_map_bit_reset gotchas.

DW:
 - stupid typo in comments

DW:
 - We have to test the bit before calling file_map_bit_reset.
   file_map_bit_reset doesn't do bounds checking.  It assumes
   filn is a valid file number, but it might not be because
   the map is dynamic in size.  Also clearing an already clear
   bit puts the map counter of-of-whack.  Damn, been looking
   for that bug for a long time.

- gindent for good measure.

DW:
 - My change to eliminate stdio from net_db.c sucked.  It leaked memory,
   and it had awkward buffer offset junk.  Its probably better to
   use the logfile.c code, which unfortunately requires a change
   to logfileOpen().  Previously the logfile code exited with
   a fatal message if there was an error opening or writing the
   file.  For netdb we don't care that much, so I added a "fatal"
   flag to logfileOpen().

DW:
 - I get coredumps in free() with CommWriteStateCallbackAndFree sometime.
   Not sure if there is a bug here, but it seems like that code could
   lead to double-freeing the buffer.  This change makes it safer by
   NULL-ing the free_func before freeing the buffer.

DW:
 - Changed "WARNING: swapin MD5 mismatch" logging so that it is printed
   only on powers of ten, just like "ignored XX replies non-peer"
   messages in neighbors.c.

DW:
 - in storeClientReadHeader I see no reason to stay in the loop checking
   swap header values when we find a mismatch.  Currently every
   bad swapfile is displaying both MD5 mismatch and URL mismatch.

DW:
 - Passing i->handlerData rather than handlerData to cbdataUnlock()
   is wrong and causes a memory leak because the cbdata never gets
   unlocked.

DW:
 - Evil extra semicolon.

DW:
 - Only print the debugging in storeDiskdDirSync once per second.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - In lru_remove(), it seems to be possible for an entry to exist
   in the hash but not be in the LRU list, so check for that case
   rather than suffer a NULL pointer access.

DW:
 - These XXX comments are out-of-date.

DW:
 - This warning triggers too easily when checking response time at 5 min
   interval.  Lets try it at 20.

DW:
 - This exta backslash caused problems on old make's

DW:
 - Add counters for the number of calls to memPoolAlloc and memPoolFree.

DW:
 - Removed leftover debugging from removing stdio.

MemPools conversions for the connection state and the comm_write state.
These *should* be used right.

DW:
 - Change this assetion to a debugging statement, at least temporarily.

DW:
 - Removed stdio from net_db.c as suggested by Jens-S. Voeckler.

DW:
 - Make ipcache/fqdncache entry lock counter a short just to be
   further reduce the chance that it overflows.

Takahiro Kambe <taca@kyoto.jepro.co.jp>:
 - I compiled squid 2.3STABLE4 and found that three error documents
   weren't translated in Japanese.  And I found a missing translation
   in the Japanese error document which I sent in 2.3STABLE2 days.
   So I'll send those document now.  I've attached the translated
   files.

Dan Larsson <root@tyfon.net>:
 - The error template ERR_TOO_BIG is missing in the swedish errors.
   I've translated the english version from Squid-2.3STABLE4.

"Nguyen, Hai" <hnguyen@websense.com>:
 - If a redirector returns 301/302 Squid would ignore the new Location
   if the original URL is a cache hit.  So, we need to force all
   301/302 redirects to be cache misses.

DW:
 - Some debugging for the case when we deny a proxy request and Squid
   is configured for proxy-only mode.

DW:
 - Fixed range_offset_limit, again.  The problem this time is that
   client_side.c wouldn't set the we_dont_do_ranges flag for normal
   cache misses.  It was only being set for requests that might
   have been hits, but we decided to change to a miss.  I moved half
   of clientCheckRangeOffsetLimit into HttpHdrRange.c and called
   it httpHdrRangeOffsetLimit.  The other half stays in client_side.c
   but is now called clientCheckRangeForceMiss.  Also removed the
   confusing we_dont_do_ranges flag.

DW:
 - forcing miss due to range_offset_limit debugging should not be at
   level 1.

DW:
 - Typo: "client" appears twice.

DW:
 - log SSL status codes in access.log.  Since ssl.c doesn't know about
   HttpReply or MemObject, the least ugly way to do this seems to be
   passing a pointer to the HTTP status variable.

DW:
 - There is really no reason to have the 'http_code' member of
   struct _clientHttpRequest.  It was only used locally in one
   function.

DW:
 - There is really no reason to have the 'http_code' member of
   struct _clientHttpRequest.  It was only used locally in one
   function.

DW:
 - Make neighborUp() return FALSE if we don't have any IP address(es)
   for the peer.

DW:
 - It was wrong to set the dont_retry flag in fwdConnectDone when
   we can't look up the IP address of a neighbor cache.  Its likely
   that there is an option to connect directly to the origin server,
   so forward.c should keep trying, rather than giving up so quickly.
   Now we only set dont_retry if we fail to look up the origin server
   IP address.

DW:
 - Got the logic backwards in these callbacks.  Pass NULL if negatively
   cached, rather than NULL for valid entries.

DW:
 - Unused variable 'i' was already #ifdef'd

DW:
 - Simplified ipcache internals in the same manner as the fqdncache code.
   The ipcache structures have been made internal to ipcache.c.  The
   status variable is gone.  IPcache entries are added to the hash table
   only after the lookup completes.  There is no more need for
   ipcacheUnregister. etc.

DW:
 - Everywhere is using "USE_DNSSERVERS" except configure.in, which was
   using "USE_DNSSERVER".

DW:
 - call xstrncpy *after* checking for NULL buffer.

DW:
 - Lock the entry *after* there is the possibility to return.

DW:
 - This patch makes a fundamental change to the FQDN cache internals.
   Before, FQDN entries could be in the hash (i.e. public) and in
   a pending state.  Additional lookup requests for an entry in the
   pending state would be joined to the pending entry.  Thus, we would
   only bother the DNS server for one lookup even if many clients were
   interested in it.  The problem is that if one lookup got "stuck" for
   some reason, many clients would be blocked.

   Now the pending lookups are "private" and are made public only
   after the DNS server responds.  The disadvantage is that we bother
   the DNS server for parallel requests, but we wouldn't block all of
   Squid's clients if one of those queries got stuck.

   This patch also removes the ugliness of needing to "rename" stuck
   queries after some timeout in order to try getting a fresh
   response.

DW:
 - This ugly hack is here to prevent the user from seeing a negative
   byte hit ratio.  When we fetch a cache digest from a neighbor,
   it gets treated like a cache miss because the object is consumed
   internally.  Thus, we subtract cache digest bytes out before
   calculating the byte hit ratio.

DW:
 - replacement should use SwapDir high/low values, not the global ones.

Newline was missing from removal policy configuration printouts..
(mgr:config)

Add missing DNS poll socket defaults, which reduce the number of poll()
calls on the DNS socket by default (since it was defaulting to 0) .

Noticed by: Andres Kroonmaa <andre@online.ee>

Workaround to some crappy Linux glibc headers

DW:
 - IP-Filter changed the type for SIOCGNATL between 3.3 and 3.4.
   It also changed the cmd value for SIOCGNATL, so at least we can
   detect it.  We could put something in configure and use ifdefs
   here, but this seems simpler.

DW:
 - Note that the parsing code has a bug that treats names like
   www...foo....com the same as www.foo.com.  No fix at this time.

Added the Authenticate-Info and Proxy-Authenticate-Info headers from
RFC2617

DW:
 - This change collapses multiple dots in hostnames to single dots.  For
   example www....foo....com becomes www.foo.com.   This only recently
   became a problem with internal DNS lookups.  gethostbyname() seems
   to generate a failure for multiple-dotted hostnames, but Squid's
   internal DNS code does not.

DW:
 - clientAccessCheck was allowing all proxy requests in accelerator
   only mode.  Looks like confusion with merging patches from
   some time ago.

DW:
 - The response time warning occurs too often when we check the
   one-minute average.  I'm changing it to the five-minute average
   instead.

Remove squid.conf on make clean

Minor correction in the dependency handling of the "all" target. In some
cases you had to run make twice to get all parts properly rebuilt.

Changed httpd_accel_single_host to default to off to mimic the behaviour
of older squid releases.

Added a check for libdl, to allow pam_auth to build on FreeBSD where
dlopen is in libc..

Cleanup of make dependencies to fix the parallell build races.

Actually the problem was quite basic, and also manifested itself on
the call to cf_gen.

The problematic rules look like:

target1 target2: some.dependency
command wich makes both of target1 and target2

this is incompatible with make -j, as make assumes the command only
builds one of the targets (the one available in $@).

There are two ways to work around this. One is to make the command
only build one of the targets (as done in fs/ and repl/), the other to chain
dependencies between the two targets with some "magic" to have the first
target in the chain rebuilt in case it alone gets removed..

target1: target2
@sh -c "test -f target1 || command to regenerate the targets"

target2: dependency
command to regenerate the targets

Tested on RedHat Linux 6.2 (GNU Make) and FreeBSD 4.0.

Added a default xmalloc and friends failure_notify handler used when the
main program hasn't installed one. These functions are used by more binaries
than the main Squid binary, and not all (only the squid binary) installs
a failure_notify handler. The others cause a SEGV when trying to call
the non-existant failure_notify handler..

Tidying up some memory allocation code, so MemPool code is always
freed correctly, and making sure that the mempools that DO exist for
some structures are actually used.

Allow the hot object -> transit object transition point to be configurable,
rather than hard-coded at SM_PAGE_SIZE. This change should allow a higher
memory hitrate, and makes the current object memory code kind of behave like
the old 'all or nothing' hot object memory cache.

This change should now be placed in the handbook/FAQ somewhere.

Updated messages from Svetlin Simeonov.

DW:
 - Added alarm() timeouts for read() and write().  The default value
   is 120 seconds, but configurable with -T.

The snmp_community ACL check segfaulted if Squid failed to parse
the SNMP query. We might want to backport this to 2.3, and release
it as a patch as this can be used to DOS anyone with SNMP enabled
and using the snmp_community ACL.

A workaround is to base access controls purely on the source address
instead of using a community.

Fixed the "hostname misread as an IP" case for 1234-5.example.com as well.

DW:
 - The code that scans ACL tokens for IP addresses and hostnames
   couldn't tell that "123.foo.com" is a hostname rather than
   an IP address.

DW:
 - Bad "==" operator to test(1)

DW:
 - Note malloc, free, etc alternatives.

Persistent connection bugfix from Chris DeCenzo <decenzo at liberate.com>

Redirected requests lost the persistent state due to lost information
in the "new" request after redirection.