A number of CARP bug fixes.

peer->carp.hash was an unsigned long, but the spec requires 32-bit math
on integers.  Since longs are known to sometimes be 64-bits, its safer
to use unsigned int.

peer->carp.load_factor was a float, but its better to use double to
be consistent with other floating point functions and variables.

In parse_peer() I'm concerned that *token could be signed, so its
now casted to unsigned int.

In parse_peer() there is a bug in calculating the proxy hostname hash.
On the final ROTATE_LEFT, it should be "=" rather than "+=".

In carpInit() pay special attention to int/double conversion bugs
and passing ints to functions that expect doubles.

In carpInit() there is a bug with the value of "k".  In the loop,
k needs to be incremented *before* its used.  The internet-draft
begins with k=1, so the first time through the loop k should equal 2.

Added "carp" to cache manager for info and debugging.

I think there are still two bugs: (1) the draft says the multipliers
must be calculated in order of smallest to largest factor.  We don't
do that yet. (2) the 'score' calculation needs to be converted to
double when we multiply by the multiplier.  Otherwise there will
be overflows since the multiplier can be greater than 1.

store.c:1299: warning: control reaches end of non-void function

indent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

Argh, that last patch to src/store_dir.c is bogus.   sd->log.clean.done
will never be NULL, it's sd->log.clean.state that's the problem.
Also, this way I get to fix it in four files, not just one.

NPR bug.  sd->log.clean.done will be NULL if start() fails.

parse_peer() was checking for a self-configured peer, but its not
safe to call getMyHostname() before we parsed the whole config
file.  Therefore, I moved this check into neighbors_open().

A feature to limit the number of connections that we make to
a neighbor cache.

indent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

Even though it was probably safe, its more correct to have the
assert() before this assignment, rather than after it.

Chris.Tilbury@warwick.ac.uk says we need -lrt on Solaris now to compile
async I/O.

Abort the configure script if we can't find a perl executable.

Must memset() this static variable before using.

Forgot to call 'Done' on walker in MaintainSwapSpace.

storeDirWriteCleanLogs() could abort the procedure if file_open()
fails, leaking various structures including repl walkers.

indent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

Handle cancelled reads. diskdstate->flags_closing is now set and cleared
when a FD is opened and closed, and during storeDiskdReadDone() the
copy and callback are only made if the callbackdata is valid.

This differs from before where the copy would always take place, but
the callback would only occur if the callbackdata was valid.

Note that I'm assert()ing that flags_closing == 0 if the callbackdata is
valid. If this ever gets triggered, I think we have another problem ..

 few changes to fix for XMALLOC_DEBUG:
 - check_free shouldn't be called with a NULL pointer
 - I needed to increase DBG_ARRY_SZ to handle larger alloc count
   (perhaps should we use realloc here to grow dynamically?)
 - cf_gen.c used inconsitently alloc funcs: xcalloc() but free(),
   resulting in check_free() to assert during make using cf_gen

Submitted by: Andres Kroomnaa <andre@online.ee>

Replace safe_free() with the appropriate memFree() now that these two
objects are from memory pools. (I believe it was me who converted them
initially, but missed this..)

Submitted by: Andres Kroonmaa <andre@online.ee>

renamed html.c to html_quote.c, also to avoid cvs patch idiocy

Everywhere where Squid inserts text received from the network into
a HTML page (error pages, FTP listings, Gopher listings, ...) care
must be taken to ensure that the text is properly encoded as HTML,
or a malicious user might be able to insert script code or other
HTML tags, and exploit the web browser of any user visiting their
page or clicking on that funny link received in a email..

adding

Don't return NULL in createRemovalPolicy() if there is no match for
the given policy type. None of the FS code handles this correctly,
and it was causing SIGSEGVs when a cache_replacement_policy was not
set in squid.conf, defaulting to lru, and lru was not compiled in.

We now warn very loudly and die with an error. cache.log will tell the
user to check cache_replacement_policy and memory_replacement_policy
in their squid.conf file.

Forced commit:

The URL covering this:

http://www.squid-cache.org/mail-archive/squid-dev/200008/0080.html

Fixed the internal URL code to obey appendDomain for internal
objects if it needs appending. This fixes weirdnesses where
a machine can think it is "foo.bar.com", and "foo" is requested.

Submitted by: Brian Degenhardt <bmd@mp3.com>

Fixed the forwarding / peer detection code so that a peer which is found
to be us is ignored rather than committing suicide.

Submitted by: Brian Degenhardt <bmd@mp3.com>

DW:
 - My recent clientLifetimeTimeout addition causes a memory leak because
   cbdata was locked, but never unlocked  if the timeout never happens.
   Maybe its safe enough to assume that if the FD is open, and the
   timeout triggers, that 'http' is valid.

Up the version to 2.5.DEVEL . Don't give it a devel version yet, since
we haven't rolled a tarball.

Merge in changes from 1.7.2.1 on SQUID_2_4:

  DW:
   - I'm an idiot, got the debug level logic backwards

.. we really should have done this the opposite way around to reduce the
CVS repo size, but thats just me being anal. :)

httpBuildVersion() fixes from 2.4 branch, plus indent

DW:
 - httpBuildVersion fixes from 2.4 branch

Fix an incorrect xfree() which should be a memFree(). Oops.

Submitted by: Andres Kroonmaa <andre@online.ee>

DW:
- http.c: In function `httpBuildRequestHeader':
  http.c:752: warning: double format, http_version_t arg (arg 4)

Convert http_ver from a float to http_version_t which is a struct containing
two integers.

Submitted by: Robert Collins <robert.collins@itdomain.com.au>

typo in comments

Major rewrite of async-io to make it behave a bit more sane with
substantially less overhead.

Some tuning work still remains to make it perform optimal. See the start
of store_asyncufs.h for all the knobs.

Store rebuild double-check cleanup by Robert Collins, slightly altered
by me.

This code implements a two-tiered doublecheck - -S reportonly which warns
for mismatched file lengths, and -S force which will unlink files which
fail a doublecheck. Actual file unlinking is also implemented now, so when
a double check is performed, it will actually clean up the cache store.

DW:
 - Log client connection lifetime timeout to cachelog as per Henrik's
   suggestion.

DW:
 - Rewrite of much of refreshCheck().

   This was prompted by a bug report that we didn't properly handle the
   must-revalidate directive.  Indeed, we always caused a refresh
   for must-revalidate.   The spec says must-revalidate only takes effect
   for stale responses.

   I find the spec to be unclear on how to handle must-revalidate without
   an explicit expiration time.  Currently, if we have a response
   that has must-revalidate, no expires, but the last-modified factor
   rule says the reponse is fresh, then we don't force a validation.

   Also added support for the max-stale request directive.

   I changed some of the internal accounting to use status codes.  In the
   future it may be useful to have a "refresh.log" file so people can
   figure out why a particular request got validated, or didn't.

DW:
 - Clean up debugging

DW:
 - Adding max-stale cache-control directive.

DW:
 - Two bugs with yesterday's date parsing changes.  (1) Need to incrment
   past "," after strchr(), and (2) struct tm tm needs to be static
   in parse_date2().

Radu Greab (radu@netsoft.ro):
 - If an AS contains networks with mask 0, when trying to view the
   AS Number Database squid enters into an infinite loop. The patch
   below fixes the problem.

DW:
 - Changes prompted by bug report that "Wed Aug 9 11:36:06 2000" could
   not be parsed.  The parse_rfc1123() code assumed there was an extra
   space after Aug and before "9".

   This change breaks the parsing into smaller functions to make the
   code easier to read and understand.

   I changed parsing of the "third" date format (asctime()) to use
   a buffer copy and strtok.  This makes it more flexible.  For example,
   we don't have to require strlen(s) < 24.

DW:
 - Don't send ICP queries to neighbors when the ICP port is zero.

Cross-site scripting fixes by Robert Collins and Henrik Nordstrom

Everywhere where Squid inserts text received from the network into
a HTML page (error pages, FTP listings, Gopher listings, ...) care
must be taken to ensure that the text is properly encoded as HTML,
or a malicious user might be able to insert script code or other
HTML tags, and exploit the web browser of any user visiting their
page or clicking on that funny link received in a email..

DW:
 - A fix for problems relating to large DNS replies.  RFC 1035 says
   that DNS/UDP messages must be 512 octets or less.  Some servers
   (BIND on OS/2) are sending larger packets, but Squid was only
   reading the first 512 octets.  This could cause buffer overruns
   in rfc1035.c.

   This patch changes recv() to use the maximum UDP socket buffer
   size.  However, if we get a large reply we tell rfc1035.c that
   we only got 512 octets.  Thus, its a little safer if that code
   has bugs and reads past 512.

DW:
 - If we discover a truncated packetin the middle of unpacking
   a resource record, we need to zap RR fields that were already
   unpacked.  Otherwise we can end up with RR->class = RFC1035_CLASS_IN,
   RR->type = RFC1035_TYPE_A, and RR->rdlenght = 0.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - key --> hash.key changes

DW:
 - `SD' undeclared (first use in this function)

DW:
 - avoid FPE in idnsCheckQueue() if name servers went away (nns = 0)
   because we're reconfiguring or shutting down.

DW:
 - mistake from global --> per SD size checks patch

DW:
 - replacement should use SwapDir high/low values, not the global ones.
   Made this patch for diskd some time ago, but never duplicated the
   patch in all the other fs duplicated code.

DW:
 - An FTP PUT with content-length: 0 causes an assertion because we never
   called pumpInit().

DW:
 - missed these hash_link changes in the previous commit.

DW:
 - This patch is some work-in-progress for a "forward.log" that would
   log all server-side requests that get forwarded.

   This patch was previously committed with an incorrect CVS comment so
   I manually removed those revisions and re-committed the patch.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - Replaced "xxx Entries read so far" messages with a global, friendlier
   "Store rebuilding is XX% complete" message.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - Changed occurances of

        struct _foo {
            /* first two items must be same as hash_link */
            char *key;
            foo *next;
            ...
        };

   to

        struct _foo {
            hash_link hash;     /* must be first */
            ...
        };

DW:
 - logfileOpen() doesn't use O_TRUNC, so we need to unlink/truncate
   the netdb_state file explicitly.

Adding Robert Collins in as a contributor, because, well, he is.

added in an update to ChangeLog explaining Duane's changes to the
fqdncache.

Added a couple of things which have changed in this version.

Reran autoconf and autoheader

CYGWIN port by Robert Collins

Spelling correction

Cleaned up RebuildState to show that the structure is fs-dependent

Fix cf_gen_defines so it can be parsed through Solaris awk.

Submitted by: Andres Kroonmaa <andre@online.ee>

Andres Kroonmaa's MemPool tidyup, take 1. Take a whole bunch of
xmalloc/xcalloc's and replace them with mempool'ed versions of
things. Not everything has been converted, but this is a start.
Notable weirdnesses are:

* aufs - there are now a few pools which are used for string allocation
  for things like object paths. This might not be the most optimal
  solution but its better than what existed.

* pconn.c - an initial pconn FD set is mempool'ed, and if the pconn set
  grows bigger than PCONN_FD_SZ it changes to xmalloc()

* client_side.c - the incoming request buffer is now initially mempooled,
  of size CLIENT_REQ_BUF_SZ (4096 bytes atm). If it needs to grow, it
  changes to xmalloc()

DW:
 - document file_map_bit_reset gotchas.

DW:
 - stupid typo in comments

DW:
 - We have to test the bit before calling file_map_bit_reset.
   file_map_bit_reset doesn't do bounds checking.  It assumes
   filn is a valid file number, but it might not be because
   the map is dynamic in size.  Also clearing an already clear
   bit puts the map counter of-of-whack.  Damn, been looking
   for that bug for a long time.

- gindent for good measure.

DW:
 - My change to eliminate stdio from net_db.c sucked.  It leaked memory,
   and it had awkward buffer offset junk.  Its probably better to
   use the logfile.c code, which unfortunately requires a change
   to logfileOpen().  Previously the logfile code exited with
   a fatal message if there was an error opening or writing the
   file.  For netdb we don't care that much, so I added a "fatal"
   flag to logfileOpen().

DW:
 - I get coredumps in free() with CommWriteStateCallbackAndFree sometime.
   Not sure if there is a bug here, but it seems like that code could
   lead to double-freeing the buffer.  This change makes it safer by
   NULL-ing the free_func before freeing the buffer.

DW:
 - Changed "WARNING: swapin MD5 mismatch" logging so that it is printed
   only on powers of ten, just like "ignored XX replies non-peer"
   messages in neighbors.c.

DW:
 - in storeClientReadHeader I see no reason to stay in the loop checking
   swap header values when we find a mismatch.  Currently every
   bad swapfile is displaying both MD5 mismatch and URL mismatch.

DW:
 - Passing i->handlerData rather than handlerData to cbdataUnlock()
   is wrong and causes a memory leak because the cbdata never gets
   unlocked.

DW:
 - Evil extra semicolon.

DW:
 - Only print the debugging in storeDiskdDirSync once per second.

gindent -br -ce -i4 -ci4 -l80 -nlp -npcs -npsl -d0 -sc -di0 -psl

DW:
 - In lru_remove(), it seems to be possible for an entry to exist
   in the hash but not be in the LRU list, so check for that case
   rather than suffer a NULL pointer access.

DW:
 - These XXX comments are out-of-date.

DW:
 - This warning triggers too easily when checking response time at 5 min
   interval.  Lets try it at 20.

DW:
 - This exta backslash caused problems on old make's

DW:
 - Add counters for the number of calls to memPoolAlloc and memPoolFree.

DW:
 - Removed leftover debugging from removing stdio.

MemPools conversions for the connection state and the comm_write state.
These *should* be used right.

DW:
 - Change this assetion to a debugging statement, at least temporarily.

DW:
 - Removed stdio from net_db.c as suggested by Jens-S. Voeckler.

DW:
 - Make ipcache/fqdncache entry lock counter a short just to be
   further reduce the chance that it overflows.

Takahiro Kambe <taca@kyoto.jepro.co.jp>:
 - I compiled squid 2.3STABLE4 and found that three error documents
   weren't translated in Japanese.  And I found a missing translation
   in the Japanese error document which I sent in 2.3STABLE2 days.
   So I'll send those document now.  I've attached the translated
   files.

Dan Larsson <root@tyfon.net>:
 - The error template ERR_TOO_BIG is missing in the swedish errors.
   I've translated the english version from Squid-2.3STABLE4.

"Nguyen, Hai" <hnguyen@websense.com>:
 - If a redirector returns 301/302 Squid would ignore the new Location
   if the original URL is a cache hit.  So, we need to force all
   301/302 redirects to be cache misses.

DW:
 - Some debugging for the case when we deny a proxy request and Squid
   is configured for proxy-only mode.

DW:
 - Fixed range_offset_limit, again.  The problem this time is that
   client_side.c wouldn't set the we_dont_do_ranges flag for normal
   cache misses.  It was only being set for requests that might
   have been hits, but we decided to change to a miss.  I moved half
   of clientCheckRangeOffsetLimit into HttpHdrRange.c and called
   it httpHdrRangeOffsetLimit.  The other half stays in client_side.c
   but is now called clientCheckRangeForceMiss.  Also removed the
   confusing we_dont_do_ranges flag.

DW:
 - forcing miss due to range_offset_limit debugging should not be at
   level 1.

DW:
 - Typo: "client" appears twice.

DW:
 - log SSL status codes in access.log.  Since ssl.c doesn't know about
   HttpReply or MemObject, the least ugly way to do this seems to be
   passing a pointer to the HTTP status variable.

DW:
 - There is really no reason to have the 'http_code' member of
   struct _clientHttpRequest.  It was only used locally in one
   function.