DW:
 - binary HTTP header logging.  Gives better stats than 'headers'
   from cachemgr.

DW:
 - Need to assign return value of logfileOpen()!!

DW:
 - need to call fd_bytes() for writes!

2.4.DEVEL3

update

nit

DW:
 - Use new Logfile module for access,useragent,store logs.

adding logfile.c module

adding

DW:
 - Added diskd stats to cachemgr.
 - Added config options for diskd magic constants.

extra EOF

DW:
 - storeMaintainSwapSpace was breaking out of the scan loop if the
   current space was below the HIGH water mark, but the event is
   rescheduled at a small interval when space is near the high water
   mark.  Changed the check to use the low water mark instead.

DW:
 - We're passing -1 swapfile number to storeDirDiskFull becuse the
   swapfile number got reset earlier.  Need to pass the 'bad' swapfile
   number instead..

Merge changes from 2.3 branch.  Mostly this is copyright text changes.

DW:
 - oops, use DEVEL now instead of PRE

DW:
 - This fixes an ugly and probably old bug with hot objects.  Previously,
   storeSwapOut was too aggressive in freeing lower parts of in-memory
   objects.  It would free up to how ever much was sent to the client,
   or how much had been saved to disk, whichever was lower.  When the
   object response is complete, it is saved in memory only if mem->inmem_lo
   was equal to zero.  Thus, many objects which could potentially be
   held in memory wouldn't be, because the lower part had been freed
   in storeSwapOut.

   This change doesn't free the lower part until the hi-lo gap is
   at least DISK_PAGE_SIZE (8192 bytes).  This means that in-memory
   hot objects should mostly be 8kb or less.  This change makes a
   very significant improvement in memory hit ratio.

DW:
 - Changed validation process to scan 500 (instead of 50) objects
   per call.  This should be fine because validation does not much
   more than set the ENTRY_VALIDATED flag for each object.

DW:
 - Changed storeGetMemSpace so that it doesn't immediately exit
   if the store is in rebuilding phase.  Purging memory objects
   should be a "light" activity, so there should be no performance
   penalty.  If we don't purge memory objects during the rebuild
   phase, then memory usage grows without bounds until rebuilding
   is complete.  At high workloads this can cause malloc to fail.

DW:
 - Sigh, looks like storeLateRelease never worked like it was supposed
  to because we never set RELEASE_REQUEST for those entries.

DW:
 - fixed byte-order bug for PTR lookups.

typo

naughty words

DW
 - http->log_type is getting clobbered here.  This screwed up stats
   for quite a long time probably.

DW:
 - Change debug level from 0 to 1.

DW:
 - left some debugging at '0,0'

DW:
 - Bug fix with Config.onoff.enable_purge flag.  The PURGE method is
   kind of dangerous.  It would be allowed by default for most access
   control configurations because its not mentioned specifically.
   Thus, we don't allow any PURGE requests unless the PURGE method
   is mentioned in the access list configuration.  Before the fix we
   set the enable flag, but it never got cleared upon a reconfigure.
   Also users complain that defining an ACL that is never used in
   an access list shouldn't trip this flag.  With the fix, the PURGE
   method must be referenced in the 'http_access' list, and we make
   sure to clear the flag on reconfigure.

DW:
 - StoreDigestRebuildPeriod got changed to Config.digest.rebuild_period
   but this case got missed somehow.

DW:
 - Unused variable 'N'

DW:
 - These casts to send() and recvfrom() make "incompatible pointer"
   warnings go away on Solaris.

added English versions of missing files

version.h

DW:
 - Changed swap_file_number assignments to use the new
   storeSwapFileNumberSet function.
 - Also show scanned/removed/high_size stats in storedir cachemgr
   output.

DW:
 - New storeDirSelectSwapDir function selects SwapDirs on round-robin
   basis.  SwapDirs that are full are skipped.
 - Changed storeDirWriteCleanLogs to use the new SwapDir-attached
   LRU lists.

DW:
 - Changed global double-linked LRU list to a bunch of LRU lists,
   one for each SwapDir.  This allows us to choose which SwapDir
   cache replacement should occur on.
 - Previously the LRU list links where maintained by storeHashInsert and
   storeHashDelete.  Now they happen in the new storeSwapFileNumberSet
   function.  So entries are added and removed from the list only when
   their swap file numbers are set/cleared.
 - Changed storeMaintainSwapSpace so that it removes objects in
   a round-robin manner.  This should keep the number of unlink
   requests approximately constant across all SwapDir's.
 - Also changed the calculation of 'max_remove' in storeMaintainSwapSpace.
   Now we remove up to the 5 minute average client request rate, with
   a minimum of 10.
 - This new replacement code keeps the disk usage right at the
   high water mark.  Files are agressively removed whenever the
   high water mark is reached.  No files are removed if the usage
   is below the high water mark.  The only purpose for the low water
   mark now is to calculate the time until the next event.
 - Removed the case when we stop opening swapout files because the LRU
   age gets too low.
 - new_StoreEntry now initializes e->swap_file_number to -1.
 -

DW:
 - Three new functions
 - storeSwapFileNumberSet sets or clears swap_file_number and the
   filemap bit for a StoreEntry.  Replaces much repeated code.
 - storeDirLRUAdd and storeDirLRUAddTail manage the per-SwapDir
   LRU double-linked lists for cache replacement.

DW:
 - fwdConnectStart should be a lightweight event.  If not, and Squid
   gets really busy, it prevents other critical events from running
   often enough.

DW:
 - Fixed off-by-one bug in comparison when 'suggestion' exceeds
   fm->max_n_files.
 - Changed file_map_allocate so that it no longer sets the
   available bitmap before returning.  Now its the job of the
   other end to set the bitmap.  "allocate" is probably no longer
   a good descriptive name.

DW:
 - Set MAX_POLL_TIME back to 10 msec for DISKD.  Better to keep the CPU
   busy than to have delays.

DW
 - User-Agent is taken from HTTP request headers.  It seems silly
   to make it a special case in aclCheck_t and aclCreateChecklist.
   Now acl.c just gets it from request->headers when needed.

Glenn
 - Adds counters for disk hits and memory hits.

gindent

This alternate storeDirSelectSwapDir() function is optimized for
DISKD.  It selects the cache_dir with the fewest outstanding messages
and then uses free space as the tie-breaker.

Changed leakFree() to use the __FILE__, __LINE__ macro so we can
print that info when debugging.

remove client-side limit on number of idle persistent connections for
now; leave a comment in the place where the code was.

leakTouch() call from debugging mistakenly got committed

define our assert macro to a NULL function if NODEBUG is defined.

- added storeClientCallback function which replaces a lot of
  replicated code with a single call.
- fixed storeClientCopy2 which became severly broken from the
  merge with 2.3 branch.
- reworked the way 'sc->flags.disk_io_pending' is used.  Now
  its only set a cleared in the read/write handlers.

Removed 'mem' as a local variable in storeSwapMetaBuild because
its only used in an assertion.   If we disable assertions with NODEBUG
then we get 'unused variable' warnings from the compiler.

Removed 'entry' as a local variable in peerGetSomeNeighborReplies because
its only used in an assertion.   If we disable assertions with NODEBUG
then we get 'unused variable' warnings from the compiler.

try 100msec poll time for DISKD

merge changes from SQUID_2_3 branch

AC_CHECK_TYPE(mtyp_t) needs sys/msg.h

change: stop keeping client connections persistent if we have more than
300 client connections open already.

bug fix: mtype parameter varies in size between different platforms.
Digital Unix uses 'mtyp_t' typedef, so we'll try the same.  If not
found, the default is long.

Some changes to store hash_table buckets to improve performance.
The default is changed from 50 objects/bucket to 20.  Rewrote
storeKeyHashBuckets() and removed the 64K bucket limit.  Users
report this change makes a very big difference.

just alinging DEBUG comment in header

For client-side idle persistent connections, now use the value of
Config.Timeout.pconn instead of hard-coded 15 seconds.

make USE_DISKD configurable in configure script

Added a feature so Squid runs a "squid_start" program just before
forking the child process in daemon mode.  The "squid_start" script
must be in the same directory as the squid executable.  I'm sure that
will change, however, when people complain.

dynamic filemap patch from 2.3 branch
plus print "so far" debug lines more often

if errno is unknown (such that there is no string description)
then at least print the errno value.

mem client fix from 2.3 branch

adding to head

debug level increase for "Averted multiple fd operation"

merge

more checks on swap meta TLV values

2.3 branch merge

url checksum debugging; sometimes URL memory gets trashed

Lots of diskd and storeClientCopy bugs, most of them related
to callback data.  whew!

Add file and line numbers for CBDATA_DEBUG for cbdataLock and
cbdataUnlock.

skip adding objects that will probably be replaced before the next
digest update.

2.3 branch merge

Now works with multiple caches

Number of slight corrections

Correctly deal with multiple caches

2.4.PRE1

2.3 branch merge

got domain/subdomain reversed in debug output

remove return statement inserted during diskd testing

strange line

remove C++ comment delimeters

diskd compile fixes

adding DISKD code

align some common elements in unions -- just in case

Some changes that make DISKD code work.

STORE fixes and async cleanup from trying to get ASYNCUFS working
with FreeBSD 3.1.

The example proxy_auth acl uses the old syntax with a timeout in the
proxy_auth ACL. This timeout should be replaced with REQUIRED.

reload MIME icons at reconfigure

From: Henrik Nordstrom <hno@hem.passagen.se>
What this patch does is to discard the pumpMethod() function, and
instead use the fact that the request has a request entity
(content-length present).

clientCheckContentLength() is extended accordingly to have rules for
methods with requires (PUT/POST) / should not (GET/HEAD) have a request
entity.

missing %'s on snprintf()!

squidGuard is unable to do access-control on a per-user basis unless the
following patch is made...
From: Antony T Curtis <antony@abacus.co.uk>

Don't clobbert ctrl.message when the PASS command fails.

It looks like we moved the server response to "cwd_message" after
PASS so that it could be displayed in a directory listing, but
if PASS fails it wiped out important information for the user
(such as alternate FTP sites)

adding

compiler bugs

committing Dilley's HEAP replacement code

adding

remove comment about probable leak.  I think its fixed
since we removed the odd commSetSelect() call for new
store interface.

fixed leak in 2.2 branch

RFC 2518 WEBDAV request methods

invented snmp_var_new_integer() because I think snmp memory allocation belongs in snmplib