MODIO_1 commit. This change (including documentation) implements a more
modular storage directory system, which leaves object replacement and IO
up to the storage modules.

There is a lot of repeated code in the FS modules and some tidying up
is in the pipeline.

The documentation for this new API is in doc/Programming-Guide/prog-guide.sgml .

Fixed a small patch merge error

Fixed some patch merge errors

regenerated configure from configure.in (autoconf)

hno squid-2.4.DEVEL2.acl_req_mime_type.patch
Squid-2.4.DEVEL2: req_mime_type ACL

regex match agains the mime type of the request generated
by the client. Can be used to detect file upload or some
types HTTP tunelling requests.

NOTE: This does NOT match the reply. You cannot use this
to match the returned file type.

hno squid-2.3.STABLE1.strict_authenticate_ip_ttl.patch [variant there of]
Squid-2.3.STABLE1: strict authenticate_ip_ttl option

Changed authenticate_ip_ttl to have an strict option, enforcing that
the user comes from one IP address only.

Changes from the patch: Added another squid.conf directive for enabling
this rather than overloading the authenticate_ip_ttl option with negative
values..

hno squid-2.3.STABLE1.http_reply_null_character.patch
Squid-2.3.STABLE1: Handle NULL characters in the server reply headers

Squid failed to detect the end of the servers HTTP headers if the server
wrongly responds with headers containing a NULL character. This could
cause abnormal amount of used cache_mem during the request. (the server
in question was mp3 streaming, virtuallu unlimited in size)

hno squid-2.2.STABLE5.persistent_post.patch
Squid-2.2.STABLE5: Persistent POST's blocking memory

Persistent POST requests could block quite a bit of memory by not
releasing request state data until the client connection was closed.

Installation of icons failed when building in a separate object directory

Minor corrections on the dependencies for cf_gen

hno squid-2.3.DEVEL2.rebuild_release.patch [continuation]
Squid-2.3.DEVEL2: Release unused store entries during rebuild

Fixed a small typo from when I merged the patch into the source tree

hno squid-2.3.DEVEL3.squid.conf_template_update-4.patch [continuation]
Squid-2.3.DEVEL3: Major update of squid.conf template generation

There were some remains from that patch that didn't make it as part
of the previous commit (rejects which I forgot to merge manually)

hno squid-2.3.DEVEL3.squid.conf_template_update-4.patch
Squid-2.3.DEVEL3: Major update of squid.conf template generation

A major update on how squid.conf is generated from cf.data.pre and
some related changes.

* Default lines are generated from the compiled default settings (less
  duplication in cf.data.pre)
* Non-enabled functions gets a note telling that the directive isn't enabled
  and what configure option (or defined) that is required to enable it.

Some cleanup of how some defines are used..

hno squid-2.3.DEVEL3.ftp_all_messages.patch
Squid-2.3.DEVEL3: Show FTP server messages

Show all FTP server messages in generated error pages or top level
directory listing. Main purpose is to make sure all information is
available when a login is denied due to to many users or a closed
mirror.

hno/squid-2.3.STABLE1.idns_config-2.patch [with adaptions to current release]
Squid-2.3.DEVEL3: Configurable DNS retransmission interval

Added squid.conf parameters for DNS retransmissions.

hno squid-2.3.DEVEL3.round_robin_clear_counter.patch
Squid-2.3.DEVEL3: Reset "round-robin" counters every 5 minutes

Reset "round-robin" peer selection counters every 5 minutes to speed up
recovery when a dead peer has come on line again ("round-robin" is
implemented by "least-frequently-used", which without this patch gets
stronly biased to the previously dead peer).

hno squid-2.3.DEVEL3.httpd_accel_single_host-2.patch
Squid-2.3.DEVEL3: httpd_accel_single_host

Added simplified support for running Squid as a accelerator in front of
a single server with multiple domains/sites.

hno squid-2.3.DEVEL3.ftp_EAGAIN_loglevel.patch
Squid-2.3.DEVEL3: FTP log level adjustment for ignored "errors"

Use log level 3 on ignored read-"errors" like EAGAIN (was 1).

hno squid-2.3.DEVEL3.internal_range_limit-2.patch
Squid-2.3.DEVEL3: Range request could cause bandwidth spikes

Range requests to servers/objects not supporting range requests could
cause bandwidth spikes and/or negative hit ratio.

hno squid-2.3.DEVEL3.aclDomainCompare-2.patch
Squid-2.3.DEVEL3: The last aclDomainCompare bugs squeezed

This patch fixes some remaining aclDomainCompare issues where Squid gave
more "is a subdomain of" warnings than it needed to.

hno squid-2.2.STABLE5.ipc_hello.patch
Squid-2.2.STABLE5: ipc hello test fails on some platforms/compilers

A missing \0 string terminator could on some platforms/compilers cause
squid to fail the hello test used when starting child processes.

hno squid-2.3.DEVEL3.ftp_HEAD.patch
Squid-2.3.DEVEL3: HEAD and ftp://...

Support HEAD ftp://.. requests without fetching the whole object.

hno squid-2.3.DEVEL2.ipcache_reload.patch
Squid-2.3.DEVEL2: Purge ipcache on reload/PURGE

Purge negatively cached ipcache entries on reload to allow end users to
quickly purge sporious errors, and have the PURGE method also purge
ipcache to allow the cache administrator to manually purge important
entries on DNS updates.

hno squid-2.2.STABLE4.helper_statistics-2.patch
Squid-2.2.STABLE4: Include request in helper statistics

Include the request sent in helper statistics to allow the administrator
to find out why the helper processes are busy.

hno squid-2.3.DEVEL3.helper_rotate_log.patch
Squid-2.3.DEVEL3: Restart helpers when rotating logs

Restart helper processes when rotating logs, to have cache.log properly
rotated.

hno squid-2.2.STABLE4.helper_filedescriptors.patch
Squid-2.2.STABLE4: helpers and open filedescriptors

Make sure all unneeded filedescriptors is properly closed when starting
helper processes.

hno squid-2.3.DEVEL2.rebuild_release.patch
Squid-2.3.DEVEL2: Release unused store entries during rebuild

Squid locked all "released" store entries in memory during the rebuild
procedure, even such entries not needed in the "LateRelease" procedure.
Also, during a dirty rebuild a lot of store entries got locked up which
never was queued for "LateRelease", causing a huge memory leak.

hno squid-2.3.DEVEL3.auth_regex.patch

Squid-2.3.DEVEL3: proxy_auth_regex and ident_regex ACL types

Added proxy_auth_regex and ident_regex ACL types

hno squid-2.3.DEVEL2.CONNECT_miss_access.patch
Squid-2.3.DEVEL2: CONNECT was not under the control of miss_access

Adds miss_access control to the CONNECT method.

hno squid-2.3.STABLE1.no_cache_full_acl_check.patch
Squid-2.3.STABLE1: Make no_cache a full-blown aclNBCheck

no_cache was a fast ACL check, which serverely limits which acl types
that can be reliably used. This patch extends it to a full blown
aclNBCheck which allows all of the ACL types to be used like in
http_access.

hno squid-2.3.DEVEL2.cache_swap_log_name-2.patch
Squid-2.3.DEVEL2: cache_swap_log name based on cache_dir name

%s can now be used in cache_swap_log to build a log file name based on
the cache_dir name instead of numbering the files according to their
corresponding cache_dir location in squid.conf. This is very useful if
you'd like to be able to add or remove cache directories while using
cache_swap_log to have the index files stored outside the cache
directories.

hno squid-2.2.STABLE4.aio_cond_segfault-2.patch
Squid-2.2.STABLE4: Async-IO segfaults if AIO_PROPER_MUTEX isn't set

Async-IO on Linux segfaults in condition variables if given high load
and AIO_PROPER_MUTEX isn't set. This was seen on a SMP Alpha Linux
2.2.10-ac12 box. I knew there was a reason why I made the
AIO_PROPER_MUTEX code a long time ago..
[an incorrect version of this simple patch was already committed]

hno squid-2.2.STABLE5.log_ip_on_direct.patch with additions

Squid-2.2.STABLE5: Log destination IP on DIRECT
This patch logs the destination IP as part of the hierarchy tag in
access.log when going direct. This has been requested by a number of
people from accounting reasons, and logging the hostname is mostly
redundant as it is part of the URL as well.

Additions: Can be rewerted to the old behaviour by turning log_ip_on_direct off

hno squid-2.3.DEVEL2.stat_ufs_fs.patch
Squid-2.3.DEVEL2: Show usable filesystem space in cachemgr, not raw

Change cachemgr Store Directory Stats to show space available to Squid
rather than raw filesystem space (some space are available to root only)
Also extend the support for this on Linux.

hno squid-2.3.STABLE1.FreeBSD_statfs.patch
Squid-2.3.STABLE1: FreeBSD 3.3 statfs

FreeBSD requires sys/mount.h for statfs().

hno squid-2.2.STABLE2.delay_pools_initial_level_overflow.patch
Squid-2.2.STABLE2: delay pools, large initial level

It was a bit to easy to get a integer overflow when using delay pools for
limiting daily download. Changes the initial calculation to use floating
point math, allowing a initial pool size of up to 2^31-1.

hno squid-2.3.DEVEL3.allow_miss_peer_option.patch
Squid-2.3.DEVEL3: allow-miss cache_peer option

allow-miss cache peer option to disable the use of "only-if-cached" on
requests to siblings. This can be useful in some peering arrangements
where icp_hit_stale is enabled.

hno squid-2.2.STABLE2.to_large_objects-2.patch
Squid-2.2.STABLE2: Don't swap out objects > maximum_object_size

Don't start swapping out objects with a known size larger than
maximum_object_size. Previously Squid would swap out these objects and
mark it as private once maximum_object_size was hit.

hno squid-2.3.DEVEL2.icp_timeout_selection.patch
Squid-2.3.DEVEL2: ICP timeout selection

This is an attempt to fix the dynamic ICP timeout selection when one is
peering with remote parents and have some close-by siblings with a much
lower ICP rtt. This is done by preferring to calculate the ICP timeout
based on parents only (based on siblings if there is no alive parents)

hno squid-2.2.DEVEL3.netdb_and_never_direct.patch
Squid-2.2.DEVEL3: Don't allow netdb selection to bypass never_direct

Netdb selection could bypass never_direct and cause Squid to go direct
to an origin site even if never_direct allow was in effect.

hno squid-2.2.STABLE3.nonhierarchical_direct-2.patch
Squid-2.2.STABLE3: nonhierarchical_direct squid.conf directive

New squid.conf directive: nonhierachical_direct. This controls if
requests Squid classifies as non-hierarchical (matches
hierarchy_stoplist or non-cachable request type) should go direct if
possible, or if parents should be used on such requests. Also improved
parent selection for never_direct to try to selects all available parents
to increase the likelyhood that there is at least one alive parent where
the request can be forwarded.

hno squid-2.3.DEVEL2.tcp_dead_detection_and_retry.patch
Squid-2.3.DEVEL2: Improved TCP dead peer detection & failover

A major adjustment of how Squid detects a failing TCP peer and how
connections is retried when it fails to connect.

hno squid-2.2.DEVEL3.icp_dead_detection.patch:
Squid-2.2.DEVEL3: Improved ICP dead peer detection

Some minor adjustments of ICP dead peer detection to make it behave well
on startup and low load servers.

--enable-auth-modules configure option, and relevant Makefile cleanup

--enable-auth-modules configure option, and relevant Makefile cleanup

Send Programming-Guide Postscript format to file, not the default output
device of dvips (which often is a default printer..)

R. Gancarz" <radekg@solaris.elektrownia-lagisza.com.pl>
 - This patch adds support for ARP ACLs on Solaris.

Removing a redundant bit set. Its no longer needed in the new filemap
code, and it could possibly be confusing.

I'm a contributor now.

The squid-dev list now sits on squid-cache.org, not nlanr.net .

DW:
 - storeSwapout() has a recently-added bug that causes huge amounts
   of memory to get tied up for some pending requests.  Observed what
   seemed to be a "Range" request where store_client->copy_offset
   was larger than MemObject->inmem_hi.  That is, the server side
   didn't yet get the data that the client wants.  In this case, the
   whole object was being stored in memory.

   The cause was the recent change so that more objects can be
   cached in memory, rather than always freeing up to the lowest
   reader offset.

   The fix (hack?) is to check the case when lowest offset is larger
   than inmem_hi.  It also requires changing storeLowestMemReaderOffset
   so that the initial "low_offset" is inmem_hi+1.

DW:
 - Disabling a mysterious block at the beginning of httpRequestFree
   that causes incomplete transfers to be logged with status code
   "000."  There seems to be no bad side effects from taking it out.

Pascal Grudler <pascal.grudler@ledl.com>:
 - strpbrk might be more efficient than strcsnp+strlen;

DW:
 - Fix possible memory access bug.  Before the change we would always
   copy 4096 bytes from 'headers' to 'buf'.  Not only was it wasteful,
   but it accessed uninitialized memory.

DW:
 - eventFreeMemory() was broken because it never updated the 'tasks'
   pointer in the loop.  This also caused FMR bug?

DW:
 - move headersLog call to after clientInterpretRequestHeaders so
   the cache control mask gets set.

merging 2.3 branch changes

DW:
 - Moved sc->flags.disk_io_pending check from storeClientCopy3 to
   storeClientCopy.

DW:
 - Destroy 'rep' headers *after* logging!

DW:
 - binary HTTP header logging.  Gives better stats than 'headers'
   from cachemgr.

DW:
 - Need to assign return value of logfileOpen()!!

DW:
 - need to call fd_bytes() for writes!

2.4.DEVEL3

update

nit

DW:
 - Use new Logfile module for access,useragent,store logs.

adding logfile.c module

adding

DW:
 - Added diskd stats to cachemgr.
 - Added config options for diskd magic constants.

extra EOF

DW:
 - storeMaintainSwapSpace was breaking out of the scan loop if the
   current space was below the HIGH water mark, but the event is
   rescheduled at a small interval when space is near the high water
   mark.  Changed the check to use the low water mark instead.

DW:
 - We're passing -1 swapfile number to storeDirDiskFull becuse the
   swapfile number got reset earlier.  Need to pass the 'bad' swapfile
   number instead..

Merge changes from 2.3 branch.  Mostly this is copyright text changes.

DW:
 - oops, use DEVEL now instead of PRE

DW:
 - This fixes an ugly and probably old bug with hot objects.  Previously,
   storeSwapOut was too aggressive in freeing lower parts of in-memory
   objects.  It would free up to how ever much was sent to the client,
   or how much had been saved to disk, whichever was lower.  When the
   object response is complete, it is saved in memory only if mem->inmem_lo
   was equal to zero.  Thus, many objects which could potentially be
   held in memory wouldn't be, because the lower part had been freed
   in storeSwapOut.

   This change doesn't free the lower part until the hi-lo gap is
   at least DISK_PAGE_SIZE (8192 bytes).  This means that in-memory
   hot objects should mostly be 8kb or less.  This change makes a
   very significant improvement in memory hit ratio.

DW:
 - Changed validation process to scan 500 (instead of 50) objects
   per call.  This should be fine because validation does not much
   more than set the ENTRY_VALIDATED flag for each object.

DW:
 - Changed storeGetMemSpace so that it doesn't immediately exit
   if the store is in rebuilding phase.  Purging memory objects
   should be a "light" activity, so there should be no performance
   penalty.  If we don't purge memory objects during the rebuild
   phase, then memory usage grows without bounds until rebuilding
   is complete.  At high workloads this can cause malloc to fail.

DW:
 - Sigh, looks like storeLateRelease never worked like it was supposed
  to because we never set RELEASE_REQUEST for those entries.

DW:
 - fixed byte-order bug for PTR lookups.

typo

naughty words

DW
 - http->log_type is getting clobbered here.  This screwed up stats
   for quite a long time probably.

DW:
 - Change debug level from 0 to 1.

DW:
 - left some debugging at '0,0'

DW:
 - Bug fix with Config.onoff.enable_purge flag.  The PURGE method is
   kind of dangerous.  It would be allowed by default for most access
   control configurations because its not mentioned specifically.
   Thus, we don't allow any PURGE requests unless the PURGE method
   is mentioned in the access list configuration.  Before the fix we
   set the enable flag, but it never got cleared upon a reconfigure.
   Also users complain that defining an ACL that is never used in
   an access list shouldn't trip this flag.  With the fix, the PURGE
   method must be referenced in the 'http_access' list, and we make
   sure to clear the flag on reconfigure.

DW:
 - StoreDigestRebuildPeriod got changed to Config.digest.rebuild_period
   but this case got missed somehow.

DW:
 - Unused variable 'N'

DW:
 - These casts to send() and recvfrom() make "incompatible pointer"
   warnings go away on Solaris.

added English versions of missing files

version.h

DW:
 - Changed swap_file_number assignments to use the new
   storeSwapFileNumberSet function.
 - Also show scanned/removed/high_size stats in storedir cachemgr
   output.

DW:
 - New storeDirSelectSwapDir function selects SwapDirs on round-robin
   basis.  SwapDirs that are full are skipped.
 - Changed storeDirWriteCleanLogs to use the new SwapDir-attached
   LRU lists.

DW:
 - Changed global double-linked LRU list to a bunch of LRU lists,
   one for each SwapDir.  This allows us to choose which SwapDir
   cache replacement should occur on.
 - Previously the LRU list links where maintained by storeHashInsert and
   storeHashDelete.  Now they happen in the new storeSwapFileNumberSet
   function.  So entries are added and removed from the list only when
   their swap file numbers are set/cleared.
 - Changed storeMaintainSwapSpace so that it removes objects in
   a round-robin manner.  This should keep the number of unlink
   requests approximately constant across all SwapDir's.
 - Also changed the calculation of 'max_remove' in storeMaintainSwapSpace.
   Now we remove up to the 5 minute average client request rate, with
   a minimum of 10.
 - This new replacement code keeps the disk usage right at the
   high water mark.  Files are agressively removed whenever the
   high water mark is reached.  No files are removed if the usage
   is below the high water mark.  The only purpose for the low water
   mark now is to calculate the time until the next event.
 - Removed the case when we stop opening swapout files because the LRU
   age gets too low.
 - new_StoreEntry now initializes e->swap_file_number to -1.
 -

DW:
 - Three new functions
 - storeSwapFileNumberSet sets or clears swap_file_number and the
   filemap bit for a StoreEntry.  Replaces much repeated code.
 - storeDirLRUAdd and storeDirLRUAddTail manage the per-SwapDir
   LRU double-linked lists for cache replacement.

DW:
 - fwdConnectStart should be a lightweight event.  If not, and Squid
   gets really busy, it prevents other critical events from running
   often enough.

DW:
 - Fixed off-by-one bug in comparison when 'suggestion' exceeds
   fm->max_n_files.
 - Changed file_map_allocate so that it no longer sets the
   available bitmap before returning.  Now its the job of the
   other end to set the bitmap.  "allocate" is probably no longer
   a good descriptive name.

DW:
 - Set MAX_POLL_TIME back to 10 msec for DISKD.  Better to keep the CPU
   busy than to have delays.

DW
 - User-Agent is taken from HTTP request headers.  It seems silly
   to make it a special case in aclCheck_t and aclCreateChecklist.
   Now acl.c just gets it from request->headers when needed.

Glenn
 - Adds counters for disk hits and memory hits.

gindent

This alternate storeDirSelectSwapDir() function is optimized for
DISKD.  It selects the cache_dir with the fewest outstanding messages
and then uses free space as the tie-breaker.