Bug #2001: Fails to forward responses where headers >4KB

This changes reply processing to clone the already parsed reply header
instead of trying to parse it yet another time. This allows us to seek
over the header contents and that way get away with just having a 4KB
buffer..

In the long run the store client API will be changed to provide a clean
split between headers and body, providing headers in parsed form (including
intermediary 1xx messages) and then the body starting at offset 0. This
change is a first step along that path but without changing the store client
api as such, with the intention of being merged into 3.0.

Merged from trunk

Bug 2265: --enable-icmp compile fails on FreeBSD
Author: Christos Tsantilas <chtsanti@users.sourceforge.net>

Re-introduces definition of icmphdr/icmp for OS which do not define them.

This code was removed during the initial re-write because it was thought
, incorrectly, to be no longer needed.

Bug 2299: src/ACLARP.cc fails to compile on Solaris 10
Author: Christos Tsantilas <chtsanti@users.sourceforge.net>

Windows port: Released name of Longhorn Server is Windows Server 2008

Merged from trunk

Fallback on transparent interception mode even if the connection didn't seem
to be transparently intercepted

Needed to deal properly with situations where connections to the local host
is intercepted, or when people NAT outside the Squid server but still compile
Squid with support for the NAT/interception method availabe on the host OS..

Merged from trunk

Bug 2245: cache_dir is not built correctly

Call testheaders.sh with locally detected shell.

Fixes problems where bash shell is not available at /bin/bash

Also replaces some remaining relative paths with the build top dir variable.

Bug 2286: assertion failed: HttpHdrContRange.cc:100: "spec->length >= 0"
Author: Christos Tsantilos <chtsanti@users.sourceforge.net>

Moves the assertion check for spec->length in function
httpHdrRangeRespSpecParseInit  exactly after the spec->length copmuted.

Also Fix of a possible  misuse of errno in httpHeaderParseOffset function
The errno before used with strtol function must set to "0".

Bug 2267 - increase MAX_URL to 8192

Bug 2267 - increase MAX_URL to 8192

Selectively roll comm_connect_addr part of the Linux leak fix out of trunk.

The IPAddress and configure parts are left to simplify future testing of why it
does not work in FreeBSD and what went wrong with the sockaddr_storage.

Add netinet/in.h to configure tests for ss_len etc.

Wrap Delay Pools module headers

- prevents all compiling and testing of the headers when the component is disabled.

Add more auto-generated files to BZR ignore list.

Attempted fix for FreeBSD run-time socket error "(22) Invalid Object" on connects

- Sets the ss_len / sin_len / sin6_len fields of sockaddr_* objects
  when retrieved for connection setup.
- Tests the OS at compile time for each of these fields existence to
  cope with some OS (ie Linux) not using or providing them.

Honor 0x and 0 prefixes as numeric base indication when parsing squid.conf
integer options.

Squid3 parses squid.conf file integers as decimal numbers while Squid2 honors
0 and 0x prefixes (indicating octal and hex numbers). The later functionality
is needed for things like unmask that are traditionally specified using octal
format.

This patch changes Squid3 behavior to match that of Squid2.
Internally, Squid3 uses sscanf and Squid2 uses strtol.

TODO: Squid3::GetInteger should probably use xatol,
and xatol should be fixed to proper verify the result of strtol.

Correct and simplify parsing of list headers

Ignore autotool generated files

Remove autotool derived files from trunk, we only need to keep these in STABLE branches.

Simplify HTTP header list parsing a bit after the changes for Bug #420.

Bug #420: Deal properly with empty list elements

yet another fix to previous commits, this time fixing how to deal with
quoted elements.

Bug #420: Deal properly with null elements

Bugfix to previous commit. HTTP headers may be folded.

Bug #420: Deal properly with null elements in lists (Connection and other list headers)

need to deal with whitespace-only null elements

ConnectIon: , , , X-Delete-Me , , ,

Merged from trunk

Revert an incorrect removal of flags.storelogiccomplete

it's a somewhat confusing flag, but needs to be there until the split
of response headers & body is completed.

Bug #420: Fails to parse Connection: ,,,Header,,,

and other list constructs with empty members

Merged from trunk

Fix memset NULL warning in latest comm.cc changes

NULL is a NULL pointer, not 0.

Merged from trunk

Fix auto-docs in WCCPv2

Bootstrapped

Fix IPv4 request regression after last commit.

Sorry guys.

Replace a goto with do-while

Fix memory leak in Linux builds.

merged from trunk

This patch cleans up a lot of the whitespace crap which was added by
astyle.

- spurious blank lines before ;
- named struct{} members had their name on a new line
- bitfields quite messed up

and some minor manual things to avoid compact & empty if constructs not
easily followed.

Merged from trunk

Merged from trunk

Removed execute bit from various non-executable source files

Kill obsolete .cvsignore files (not used by bzr)

merged from trunk

Bug #2278: Cache-Control: max-stale forwarded wrongly as max-stale=-1

Fix compile error when ICMP is not enabled

Compile errors in auto-testing.

Also some auto-documentation.

Strip domain from username for squid 3 and delay_pools class4

Usage in squid.conf:
  auth_param ntlm program /usr/local/libexec/squid/fakeauth_auth -S

And i nave username without domain from ntlm_auth.

Bootstrapped

Merged from trunk

merged from trunk

3.1 Cleanups pt 1: Add testheaders.sh script

This script automatically tests all .h files in any directory it is passed
(relative to curent make directory) using the compiler options it is also passed.
It should be integrated in to the unit-testing in every Makefile.am so that
it provides dependancy tree testing of all .h without any additional work by
developers, maintainers, or testers.

3.1 Cleanups, pt 2: Add automatic validation and fix existing problems.

- puts testheaders.sh script to use in many Makefile.am
  (tried for all subdirs tested, but some may have escaped)

- fixes many include problems where .h were not self-sufficient.
  They required .cc or other .h files using them to include additional .h
  Now any given .h will include all objects it requires for compiling.
  (linking is still not guaranteed by this alone)

- References SQUIDHOSTNAMELEN properly as defined by RFC 2181.
  Now also split into a proper rfc2181.h for use.
  (obsoleting many dependencies on squid.h all by itself)

- Migrates dlink_* (squid custom double-linked-list code) into new object.
  (releasing many dependencies on squid.h, structs.h, and protos.h)

- Migrates the SquidConfig* types into SquidConfig.cc, now built into libsquid.la
  (releasing many dependencies on structs.h, and globals.*)

- removes squid.h includes from many unit-tests
  (releasing them from link-dependencies, .o links not yet cleaned up)

At the sprint the issue about our current 10ms main loop timeout came
up, and it was suggested the problem most likely have been fixed in
HEAD. And even if it hasn't been fixed it's something which should be
fixed rather than plastered over by spinning around on a short timeout
when there is no activity..

This backs out the change to revert the change..

Alex commit reversing the change said:

revno: 8332
committer: rousskov
branch nick: HEAD
timestamp: Tue 2007-07-24 01:55:21 +0000
message:
  Reversed bug #2011 fix because it may slow down ICAP, BodyPipe, and other code
  using zero-delay events to implement "asynchronous" calls.

  The code should probably be rewritten (a) to avoid any waiting/blocking when
  there are ready events and (b) to allow waiting longer when there are no ready
  events.

Bug #2263: Custom log formats fail to log file sizes >2GB properly on 32-bit platforms

Was partially addressed in squid-3, but only for one of several log format codes
involving object sizes..

Bootstrapped

Bug #2203: configure {--with-maxfd,--with-filedescriptors} unsets LDFLAGS

Moves LDFLAGS save point to a position which covers all FD test code

Make range_offset_limit 0 disable local range processing as documented

was prefetching the object and processing ranges locally if the first
range started at 0 ...

Add autotool generated files to ignore list.

Cleanup yet another astyle artefact where struct {} members have their
name broken out on a new line.

Cleanup a lot of whitespace crap, mostl of which introduced by astyle

Kill now obsolete waitForMorData and startSendProcess

Merged from trunk

Disable the dyn & tmp hardcoded settings to allow doxygen to be used
to build the documentation outside of the web site.

The job updating the web site will need to add these. Can be done with a
simple script
(cat Squid3.dox ; echo HTML_FILE_EXTENSION = .dyn) | doxygen -k

Merged from trunk

Ignore tags (ctags) & tmp (doxygen)

Merged from trunk

ignore icons/*.gif

Remove obsolete reference to HttpReply::absorb

Properly build a cloned reply, and skip reading of large headers

more work remains to fix up the other paths (cache hits, IMS, Vary?)

The cloned HttpReply needs a reference lock

Merged from trunk

ignore icons/*.gif

Merged from trunk

More complete HttpReply::clone() implementation

Remove obsolete reference to HttpReply::absorb

First stab at header cloning. The motivation behind this is to get rid
of the need of buffering response headers in the server side code
(client_side_reply). A positive sideeffect is that this should also
improve performance considerably.

Update Release Notes to not mention PRE releases.

Fix 3.0 snapshots

use squid-3 snapshot procedure for 3.0

Bootstrapped

Fix snapshot brach names

Adjust snapshot paths and bzr branch names

Bootstrapped

adjust more snapshot paths

Adjust snapshot paths to be consistent

Author: Massimo Zito <zmax.linkedin at gmail dot com>
squid_radius_auth failed to process more than 256 requests

The radius request-id field is a unsigned char, but the internal request_id
counter was a integer causing mismatch after 256 queries.

Author: Robert Collins <robertc@robertcollins.net>

This is most of a changeover of scripts for squid 3 trunk to use bzr;
the missing bit appears to need a bzr 1.1 (to do 'rdiff' basically) or
thereabouts, I'll look into that in a bit. I'm not sure that the
unconverted cvs calls will actually trigger with our current setup or
not.

Bootstrapped

Added .bzrignore

Bug 2250: double-freeing memory in http_port name= option code.

- Seems it was only a strdup / xstrdup problem

Optimisation cleanup of fake_auth

strlen() is expensive (particularly on large buffers) and is only needed
once here.

Windows port: Fix wrong FD read/write CPU profiling.

DOCS: Merge auto-docs branch. p 4

- Remove old SGML documentation.

DOCS: Merge auto-docs branch. pt 3

- Add HTML header/footer stubs

Merge auto-docs branch. pt 2

- Updates build config (dyn,html) for portable dynamic and static docs
- Merges all code-comment changes
- Updates some function parameter types to reduce silent conversions
- Fixes some typos.
- Migrates some TODO items to the automatic TODO list.

Replaced custom letterhead with an XXX note about source code origin.
Added a TODO to get rid of blatant code duplication.

Bug #2224 fix: reentrant debugging crashes Squid

Synced with src/debug changes.
TODO: Add a note that this file appears to copy debug.cc

Bug #2224 fix: reentrant debugging crashes Squid

Undo a temporary bug #2224 workaround. It is no longer needed because
bug #2224 is fixed.

Bug #2224 fix: reentrant debugging crashes Squid

Reentrant debugging occurs when something being written into the debugging
stream produces its own debugging. For example, a field accessor method may
make cbdata-validation calls, which would produce debugging. Logging such
field would crash Squid if sufficiently high debugging level is enabled.

With this change, the Debug methods detect reentrant calls and mostly ignore
them, allowing the caller to append debugging information to the existing
debug stream. A short debugging label is added before and after the reentrant
debugging message to reduce confusion that overlapping debugging statements
may cause during log analysis.

Added a CPPUNIT assertion to test whether a failed CPPUNIT test case properly
destructs local objects on exit.

If a previous test case fails for any reason, the new assertion will fail
instead of store_dir.cc aborting.  This may save us from tracking non-existent
StoreController initialization bugs.