tcp-banger2 support for status validation and custom HTTP headers

Add in more profiling points to identify CPU usage

Add in a missing check for whether the new dlink-based pending comm callbacks are ready

Bug #1769: near-hit and filedescriptor usage missing in SNMP MIB

Add cacheHttpNhSvcTime, cacheCurrentFileDescrCnt & cacheCurrentFileDescrMax
to the SNMP mib.

Bug #1774: ncsa_auth support for cramfs timestamps

ICAP cleanup of some cbdataReference misunderstanding.

cbdataReference should only be used to create additional callback references
to a cbdata object. The owner of the object is the owner and has automatic
rights to the object, and should not call cbdataReference.

Clean up cbdataReference() use to comply with the API and make GCC happy

Modify StoreEntry::write() probe to not overlap but still give accurate call numbers

Add in more profiling points

Add profiling points for Membuf::grow, ::append and ::consume

Additional hi-res probes

Bypass the expensive check to the allocator getStats() when obtaining inuse data

A lot of busy code calls getStats() to get the inuse values when calculating
queue length (diskthreads) and store memory use for object memory expiry.
This was destroying performance.

The changes implement a "shortcut" to obtain the inuse values for both the
malloc and mempool allocator. getStats() is still expensive for mempools
(as it does GC before updating all the statistics to get accurate information)
but code has been modified to not use getStats() where all it wanted was
inuse info.

Fix a forgotten change during recent comm layer rework

First part of a comm layer rework

* Remove new-style CommWrite, CommFill
* Add in a low-overhead C replacement for comm_read and comm_write
* Remove the difference between comm_write and comm_old_write; everything
  is back to using the same API for now
* create a simple C-based read/write IO callback mechanism, used by
  comm_read and comm_write

Whats left to do:

* convert accept/connect to using the new C-based read/write IO callback
  mechanism (and remove the requirement to allocate/free transient
  structures)
* rework the deferred read manager code somewhat
* then, remove the new-style CommRead code and use comm_read + whatever
  the deferred read manager has become
* remove whats not being used

Un-astyle a flags definition

Bug #1768: Redundant DNS PTR lookups

Fix PTR lookup cache management to find pending queries.

Bug #1760: FTP related memory leak

A small memory leak was found in the handling of certain ftp requests

Bug #1758: HEAD on ftp:// URLs always returned 200 OK.

The FTP gateway took a little to narrow shortcut when processing HEAD
requests, not even verifying that the file esists (only directory).

Bug #1770: wccp2_weight directive

The WCCP2 implementation was missing weighted assignment, useful when the farm
is built from unequally powered servers.

Bootstrapped

aio_win32.cc and aiops_win32.cc must be compiled only on MinGW

Portability fix: use memset() instead of deprecated bzero()

Fix a typo in recent commit

Fix astyle munging of flags.

Bootstrapped

Dist test headers for make check

Convert a debug() to debugs() to make GCC happy about formatting

Bootstrapped

Need to dist PeerDigest.h

Bootstrapped

Bootstrapped

Fix make check on MinGW

Add missing files from bugfix for COSS config-failures.

Avoid a string copy/reference operation in a reasonably critical path in the Header code

Fix bug 1218 by adding tests for the io engine of coss and ufs swapdirs after parsing completes, and providing a heuristic lookup for finding a DiskIOModule when none is specified.

Bootstrapped

Bootstrapped

On MinGW store tests need win32.cc

Bootstrapped

Windows port: split Windows service code into WinSvc.cc, allowing correct execution of make check

Windows port: remove obsolete break from command line functionality

Fix a bug which resulted in objects being released after forwarding was complete.

This may have been my fault; but the forward code is all a bit weird at
the present time. Bring the forward logic back into line with squid-2.6.
This does need to be verified to be sure its doing the right thing.
It is, at least, resulting in cachable objects once again and hasn't
broken the FTP error page generation.

add in some more debugging to refresh.cc

testURL needs GNUregex library on MinGW

Bootstrapped

Fix make dist error

Fix build error on MinGW when using --enable-icmp configure option

Bug #1759: cachemgr.cgi attempts to write to file system root directory under MSWIN builds

This patch is a minor revision of Windows support of cachemgr.

reverse last patch - i missed that the fd_set includes the
unlinkd fd. I'll rethink how to fix this.

Bug 1579, 1475 - fix unlinkd to reduce the number of fd_set references

Squid_MaxFD is limited to FD_SETSIZE because of the fd_set uses outside of
the select(unix/windows) code. This patch removes one of the last
remaining uses.

Rework the transaction completion/aborting in the ftp code to fix bug 1592

The main problems in the code were:

* fwd->complete() was being called more than once
* everything was being funned through transactionComplete() which just
  wouldn't call abort handlers in the case of an abort.

So, transactionAbort() will call comm_close() to properly kill the
transaction the squid-2 way. this is ugly and should be replaced by some
object state to indicate the connection has been closed and the object
is on its way out; the current way will end up deleting the class data
before the code stack is fully unwound!

transactionForwardComplete() is just a wrapper that makes sure fwd->complete()
is called -once-.

Updated Windows related copyrigth notice

Bug 1754: BodyReader was reading too much data from the socket buffer.

Fix the BodyReader read routine to only empty enough data to satisfy the
given Content-Length; rather than emptying the buffer entirely.
Some clients have a habit of stuffing a \r\n at the end of a POST body and
this was being (over)read and hitting an assertion.

Bootstrapped

Bootstrapped

Windows port: Added Windows threads support to DiskThreads Disk module

Bootstrapped

Bootstrapped

Windows port: Added Windows Overlapped I/O support to AIO Disk module

Add iiNet to the squid-3 sponsors list. Thanks iiNet!

Bootstrapped

Syntax glue to get the MemPool API back in shape.

Standalone pool:
  MemAllocator *pool = memPoolCreate(name, size)

Pooled class just as before;

class XXX {
public:
  MEMPROXY_CLASS(XXX)
  ...
}

MEMPROXY_CLASS_INLINE(XXX)

The other MemAllocator derived classes is considered private and should
not be used outside MemPool.cc

Fix typo in stub_comm.cc

Windows port: merged Windows native IPC support

Forgotten to adjust the pointer type ... :-(

Remove a no more needed #ifdef _SQUID_MSWIN_ from structs.h

Windows port: merged Windows native IPC support

Bootstrapped

Windows port: merged Windows native IPC support

Fix wrong debug section in ipc.cc

Update MemPoolTest for MemPool changes.

skip memory cleanups on shutdown even if built in leak check mode. Broken.

Correctly free HttpHeaderFieldInfo array

silence gcc about some cbdata const violations

(Tres Seaver)Fix bug 975. Ths may cause memory leaks, though running 1000 requests through showed no sign of it.

Bootstrapped

Cleanup of some MemAllocatorProxy abuse. This is a MemPool internal class,
only meant to be used via the CLASS macros.

Bugfix 1750 - support tunnelling of RTSP and other protocols that abuse HTTP by sending just the headers and then waiting for out of band indicators to finish the reply.

Valgrind support. Mainly rearranging of cbdata to make malloc debugging
easier.

Also adds a new environment variable MEMPOOLS replacing the -mc command line option
for disabling the use of memory pools. A lot of the pools is created
automatically before main() is started so command line options was
a bit too late.

Bootstrapped

Fix library link order in tests to more closely match what is used for the main
program. Notably this was causing problems for libsnmp, where the tests picked
up a system provided libsnmp instead of ours..

Bootstrapped

Fix build error of testEventLoop using gcc 4.1

Updated .cvsignore files

Portability fix: check if ip_user_check can be build

Windows port: Use a more explicative message during configure

Windows port: Specific OpenSSL trick for FD<=>socket equivalence

Windows port: Tricks for fd<=> socket equivalence need the usage of a C++ namespace

Windows port: Updated icmp.cc for MinGW support

Windows port: Added MinGW support to helper.cc

Windows port: Allow unlinkd to work on MinGW

Windows port: Allow build on MinGW (typecasting and linking)

Bootstrapped

Windows port: merge remaining MinGW configure "glue"

Windows port: add lib/win32lib.c. This add the emulation of some functions.

Windows port: Display also the Windows handle in the FD stats.

Windows port: add squid_mswin.h. This add FD<=>socket equivalence and other tricks.

Windows port: Redirect during early service startup stderr to a file.
This avoid the loss of fatal error info when running as a Windows service

Windows port: increase number of FDs to the maximum supported from CRT at
service startup.

Fix warning on Windows about conflicting declaration of ev_entry