squid.conf cleanups from syncing squid-3&2&2.6

a few spelling corrections
whitespace cleanup
some linebreak changes to reduce differences

Use lowercase for syslog tags

Make syslog facility/priority names lower case.

Bootstrapped

Bug #2044 fix: Detect aborted client connections.

Call clientAfterReadingRequests even if we parsed the request. Otherwise, we
will not set up a read handler to detect aborted connections.

Do not call clientAfterReadingRequests() after comm_close() because the
former uses the file descriptor to look things up.

Convert file from DOS to Unix text format

strtoll() is not available on any platform, this add an own implementation.

Bootstrapped

strtoll() is not available on any platform, this add an own implementation.

Fix bug 1902 - Adds Numeric Hit and invalid request counters to IP Cache

Bug #2003: 'via' config directive doesn't affect response headers

this patch makes the Via response header addition conditional based
on the via config directive

access_log now optional. check_null function no longer needed

Author: adrian
squid.conf.default reorganising to move things to the sections where they belong

Syncronized squid.conf comments with Squid-2

Fix typo in unit-tests.

64-bit disk I/O, using off_t / size_t where appropriate

Fix a debugs typo in 32-bit-only fs code

Improve deny_info documentation a bit on how to know which acl to use

Glue to deal better with >2GB objects on 32-bit file platforms incapable of storing them

Bug 2045 fix: Do not memset StoreEntry as it comes with a virtual table.

Make haveControlChannel check for both cases of channel closure
  - proper: via doneWitHServer()
  - improper: where only Control has died

Fix compile errors in mem_hdr_test

Fix compile error in Store unit-tests

Bootstrapped

Made storeKeyText definition profile match its declaration in protos.h
as reported by Amos Jeffries.

Fix build errors on HP Tru64 Unix and may be others

- xusleep.c: on Tru64 timeval is defined in sys/time.h
- move the definition of ISO C99 Standard printf() macros for 64 bit
  integers from squid.h to squid_types.h

Bootstrapped

Forward port from 2.6 of definition of ISO C99 Standard printf() macros for 64 bit integers

Windows port: Added strtoll() needed by large object support.
Forward port of 2.6 code.

Fix typo in Makefile causing metric loads of link errors

Typo leftover in large-obj from debug() > debugs() conversion

Fix pointer use before NULL check. Coverity located.

Fix build error on Visual Studio and gcc 3.3

Patch by Alex Rousskov
See http://www.codecomments.com/archive292-2005-2-396222.html

Fix typo into squid3-largeobj

Closes Bugs 1953, 2047, 2051 - improved details for cache_peer options

bug 1952 - defaultsite documentation update.

Fix some compile errors in unit-tests after large-obj import.

Remove invalid size_t cast

Fix a few more broken or missing casts

Author: wessels & Christos Tsantilas
Import squid3-largeobj branch, fixing proxying and caching of >2GB objects

this patch converts all variables referring to object sizes & offsets to
64-bits, and gets rid of a lot of related casts.

The cache format is also updated to use 64-bit offsets, using a format
compatible with Squid-2.6.

Bug #2016 fix: Prevent BodyPipe async calls from getting seemingly
out of order and causing truncated responses, especially with ICAP.

When BodyPipe consumer is gone, all async calls for that consumer must not
reach the next consumer (if any). Similarly, we should not schedule async calls
when no consumer has been registered yet.

Otherwise, the calls may go out of order if _some_ calls are dropped due to
the ultimate destination being temporary NULL. The new code does not schedule
async calls until consumer is registered. The new code also keeps track of the
number of outstanding events and skips that number if the consumer leaves.

TODO:  when AscyncCall support is improved, should we just schedule calls
directly to consumer? It could be a much cleaner solution than counting
pending calls and skipping them when needed.

Added missing 'const' to haveControlChannel() definition

Add NULL pointer checks around bug 1560 checks in FTP.
Will also double as edge-case safety check for the entire function

Bug #1560: ftpSendPasv: getsockname(-1,..): (9) Bad file descriptor

Fix wrong definition of haveControlChannel() in previous commit

Ran indent.

Added/updated .cvsignore files

Bug 1560: ftpSendPasv: getsockname(-1,..): (9) Bad file descriptor

missing returns could cause the ftp state machine to attempt to continue
after terminal failure.

Fix bug 1560 : Bad filedescriptor in ftpSend actions.

This was caused by some FTP operations failing and calling the ftpFail
properly, but then going on to call an ftpSend.
It may also occur when a ftpSend event is scheduled prior to the server
control channel dying or being closed.

This patch adds a function haveControlChannel(const char *caller_name)
which displays a debug notice at level 3 and returns false if the server
control channels are not available. This is now called by each Sending
operation before it begins.

Bootstrapped

Windows port: Allow build of eDirectory Digest helper using Visual Studio

Windows port: Allow build of eDirectory Digest helper using Visual Studio, also improved portability of LDAP Digest helper

Windows port: Allow build on Windows of eDirectory Digest helper

Windows port: workaround for fatal build error using latest MinGW

Using the latest MinGW (gcc 3.4.5 + mingw-runtime 3.13) we cannot build with
-Wmissing-prototypes -Wmissing-declarations gcc options due to some heavy
tricks contained in own MinGW include files.

Fix build error when IP_TOS is not defined.

More RFCs relevant to Squid.

Add the Squid code version to squidclient usage/help display.
Very useful for testing.

Bug 2034 fix, v4: Separate handling of virgin server responses and ICAP-adapted
responses. Both can be active at the same time. Only one can become final and
get into the store entry.

Also, do not abort ICAP transactions when the virgin response ends prematurely.
Keep going because the ICAP initiator may still want to know the ICAP reaction
to the now-truncated virgin message.

This version passes a few basic tests, but may need more work and does need
polishing. For example, the common code should be factored out from
ICAPModXact::noteBodyProductionEnded and ICAPModXact::noteBodyProducerAborted.

Polished WCCPv1 and v2 debug statements.

Scripts for splitting and merging cf.data.pre files

Imported verify_errorpages from Squid-2

Bug #2000 fix: Use StoreEntryStreamBuf::overflow() profile that matches
std::streambuf::overflow() profile for virtual method overriding to work.

Some GCC (or libstdc++) versions distinguished "char" used by our old
StoreEntryStreamBuf::overflow() from "int_type" used by their std::streambuf.
In such cases, overflow() overriding would not work and overflowed data would
not be appended to the store entry because the default overflow() does
nothing. This happened on Debian 4.1.2 lenny/sid (unstable) with
gcc version 4.1.3 20070629 (prerelease).

The fix works for a few recent GCC libstdc++ libraries I have tested with but
may cause Squid compilation, check, or runtime failures with libraries using
different std::streambuf::overflow() profiles. If that happens, ./configure
may need to detect the correct profile.  Alternatively, we can supply an
overflow() wrapper for multiple profiles in hope that one will match
std::streambuf::overflow (ick!).

Amos Jeffries <squid3@treenet.co.nz> reported and helped fix this bug.

Do not assume that store stream cannot flush its contents into the store entry
unless we call the flush method. Depending on stream implementation, it is
possible that the stream will flush while we add data to it and before we
call flush().

Added more store stream output cases, including floating point numbers and
their formatting.

Bug #2000 pre-fix: Polish StoreEntryStream style.

This change should not have significant runtime effects. It makes
StoreEntryStream code a little easier to understand and brings it a little
closer to Squid3 coding style guidelines.

Fix, check for NULL pointer before state object cleanup and free.

Coverity checker picked up, StatefulRequest pointer having child fields
and CBDATA cleaned up then itself freed, even if it was NULL to start with.

Fix assert checking value too late. First use occurs in debugs.

Fix typo, assert checking wrong value.

Add pointer validation in helperStatefulHandleRead check for callback data.

Coverity checker detected a NULL pointer dereference.
Existing logics to handle missing callback data were present, but the if()
tests were incomplete and unable to catch this case.

Add assert()s to validate state in Auth Digest

Coverity checker picked up a number of cases where casting might (rarely)
cause a NULL pointer and a dereference occured afterwards.
This patch adds several assert statements to cause squid to abort at the
source of these errors rather than segfault later.
No code logic has been changed in any way.

Add assert()s to validate state in Basic Auth

Coverity checker picked up a number of cases where casting might (rarely)
cause a NULL pointer and a dereference occured afterwards.
This patch adds several assert statements to cause squid to abort at the
source of these errors rather than segfault later.
No code logic has been changed in any way.

Add assert()s to validate state in Auth Negotiate

Coverity checker picked up a number of cases where casting might (rarely)
cause a NULL pointer and a dereference occured afterwards.
This patch adds several assert statements to cause squid to abort at the
source of these errors rather than segfault later.
No code logic has been changed in any way.

Add assert()'s to check for NULL pointers in NTLM auth.

Coverity checker picked up a number of cases where casting might (rarely)
cause a NULL pointer and a dereference occured afterwards.
This patch adds several assert statements to cause squid to abort at the
source of these errors rather than segfault later.
No code logic has been changed in any way.

Fix another memory leak in basic auth MSNT session helper

Coverity detected.

Fix memory leaks in NTLM session helper RFCNB_Call(...)

Coverity checker identified that the connect structures were not being
free'd on any of the error cases.

This patch adds several calls to free(con) to prevent the leaks.
It also adds a call to close any partial connections properly when
RFCNB_Session_Req fails. Previously it would leave the open TCP
connection hanging and return a NULL pointer.

Add new section to squid.conf: ERROR PAGE CUSTOMISATION

Moves existing error page rerlated options from MISC section to their own.
Options moved are:
  deny_info, error_directory, email_err_data, err_html_text

Fix wrong Squid version displayed for Squid3 configuration manual

version is hard-coded into the cfg-help script.
Was displaying Squid-2.HEAD as the version for the 3.0 build.

Partial bug #2034 fix: Inform BodyPipe of the body size when known.

This fix helps the ICAP client to detect aborts and to announce the end of the
HTTP message to the ICAP server.

A bigger problem is that the HTTP side is using the adapted response to make
decisions about the origin server connection. That bug still needs to be
fixed.

Fix compile error introduced earlier 'unknown assert()'.

My bad this time. Sorry for the noise.

Import fix for DNS-unpack reporting phantom errors, tested in IPv6 branch.

Add check for cast error in AuthBasicUserRequest::authenticate()

Fix AuthBasicUserRequest::authenticated() assert checking the wrong value.

Was testing dynamic_cast input for NULL after the fact, should have been
 testing the output to include NULL from cast error as well as NULL input.

Fix invalid use of a pointer in src/auth/negotiate/auth_negotiate.cc.

Another auth function looking up the auth header and scanning it even if
 none was returned. This patch adds NULL tests before scanning.

Coverity detected a code-path in helpers/ntlm_auth/SMB/ntlm_auth.c
 that dereferences NULL credentials.
Added an assert to check for the condition in real-use.
Possibly need to add a default case to the switch on line 360.

Fix memory leak in cachemgr detected by Coverity checker.

Initialize local of comm_remove_close_handler() properly to track error
(NULL) in all occurances.

Prevent manipulation of a pointer if it is NULL in NTLM auth.

Coverity checker detected.
AuthNTLMUserRequest::authenticate attempted to locate the auth header.
If there is no header resulting it would still attempt to scan its ptr
 down the header text. This prevents the scanning occuring on NULL.

Fix memory leaks in MSNT session helper RFCNB_Call(...)

Coverity checker identified that the connect structures were not being
  free'd on any of the error cases.
This patch adds several calls to free(con) to prevent the leaks.
It also adds a call to close any partial connections properly when
  RFCNB_Session_Req fails. Previously it would leave the open TCP
  connection hanging and return a NULL pointer.

Fix possible NULL-pointer dereference in cacheDir display
Picked up by Coverity checker.

Fix fancy use of enum values causing memory over-read later in code.

Replace VERY unsafe pointer operations (free THEN unlink) with safe code.

Fix hanging pointer detected by Coverity checker.

Add default destructor for AuthBasicConfig

Fixes memory leaks of AuthBasicConfig field.

Reduce application abort to using max level IFF level given is >max

Additional array security in HttpHeader::clean()

Coverity pointed out a possible over-run on statHistCount[].
This enforces that the index enums are zero-based same as the array.

Typo picked up by Coverity checker.

Would lead to memory overruns when built with older compilers.
New compilers can retrieve type properly in most cases.

Polished ICAP debugging so that users can see fatal ICAP service failures
(and not much more) at debug level 2. This may help identify why a service
is suspended.

Author: Henrik Nordstrom <henrik@henriknordstrom.net>
Bug #1872: Date parsing error causing HTTP objects to get unexpectedly cached
and fresh ICAP OPTIONS rejected.

Applied Henrik's patch from Squid2 patchset #11161. The bug was affecting ICAP
Options TTLs, marking some ICAP services with soon-to-expire options as being
down. Original patch text is below.

An unexpected and undesired sideeffect of the earlier change to accept dates
far in the future was that the date calculations suddenly got daylight savings
sensitive due to mktime() automatically adjusting the supplied date. This has the
unfortunate effect that if Squid is running in a timezone with daylight savings
things may get cached longer than they should.

Bug 2024 fix: Do not optimize StoreEntry::write call away for zero-size
data because StoreEntry::write invokes client-side handlers for response
headers, even if there is no body data to write.

Bug #2029 fix: When ICAP produces a response before the entire
virgin response is read, do not abort the transaction.

The code needed to be re-arranged to make sure that virgin response body
is not appended to the store when adapted body is written there. The
changes resulted in a cleaner code, where virgin data never enters the
store if ICAP adaptation was started, and adapted data is always
written to the store. More polishing work is needed here.

Bootstrapped

Cosmetic fix of the eventloop dump when there is "now" events in the queue,
making the test case work again.