Author: Steven Wilton <swilton@q-net.net.au>
Sort cache list in wccpv2 to ensure a consistent hash allocation across all serv
ices

Under some circumstances different caches were being allocated differnet hash
assignments for different wccpv2 services.  This caused problems when using
TPROXY as the reply traffic was being sent to a different cache than the request
causing problems in browsing web pages.

This patch applied a selection sort algorithm to the cache list to ensure that
as long as the same group of caches are registered for any number of wccpv2
services, they will be allocated the same hash assignments in the router.

Bug 2038: check reply_body_max_size before ICAP

Use newly added HttpReply::*BodyTooLarge() checks to support the
reply_body_max_size ACL when the expected body size may be known and when more
body data is coming. The checks are now shared between server and client
sides.

The server side needs to do the checks before feeding the data to ICAP.
Otherwise, ICAP service may suck a large response in and spit a small response
out. It was decided that the reply_body_max_size ACL should apply to the
virgin response as well.

The server side does not perform receivedBodyTooLarge check yet.

Bug 2038: check reply_body_max_size before ICAP

Use newly added HttpReply::expectedBodyTooLarge() check to support the
reply_body_max_size ACL when the expected body size may be known. The check
is now shared between server and client sides.

The server side needs to do the checks before feeding the data to ICAP.
Otherwise, ICAP service may suck a large response in and spit a small response
out. It was decided that the reply_body_max_size ACL should apply to the
virgin response as well.

The server side does not perform HttpReply::receivedBodyTooLarge() check yet.

Bug 2038: check reply_body_max_size before ICAP

Moved maxReplyBodySize-related code from ClientHttpRequest to HttpReply
because server-side needs it too to check limits before ICAP sucks all the
data in.

Calculating limit requires knowing HttpRequest because it affects expected
content length. Since I did not find a single place where any HttpReply would
be guaranteed to be given the request to calculate the limit, we now supply
the request whenever a limit check is performed. The limit calculation result
is cached and the calculation should not be repeated.

Restrict the cgi-bin refresh pattern to just */cgi-bin/*

make include support wildcards, and document the directive (copied from squid-2)

TCP keepalive support

Bug 1978: fwdServerClose retries non-idempotent methods

checkRetry is now guaranteed to return false for requests that checkRetriable
previously returned false. This prevents retries of requests with
non-idempotent methods, for example.

Author:  Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug 2172: When user fails authentification Squid restarts

Replaced an assertion that there is no auth_user_request, a comment what
to do when there is no auth_user_request, and a comment that there can
be no auth_user_request with what the first comment suggested to do.

Bug 2186: NONE/- due to persistent connections

When reusing a persistent server connection, update hierarchy data even
if _peer is not set. We can get the destination host info from the request.

Author: adrian
Extend the Memory Allocator infrastructure to not need to zero buffers.

Alter caching policy for Dynamic Objects.

- Alters squid caching policy for dynamically generated objects
to allow caching when objects have Cache-Control headers.
- Default policy now follows RFC 2616 section 13.9 exactly as stated.

see http://www.mail-archive.com/squid-dev@squid-cache.org/msg06963.html

Bug #2166 - Error compiling on Mac OS X 10.5 Leopard

Remove last remains of IN_ADDR ANY_ADDR and NO_ADDR from Squid

- Uses of struct in_addr do remain at places where IPv4 is forced.
- This just removes the glue macros no longer needed.

Documentation updates.

- Adds auto-documentation to some ACLARP code
- Adds peer address to NAT filure debugging on Linux.

Fixes many Unit-test compile errors and testing problems in HttpRequestMethod

- Removes implicit conversion from HttpRequestMethod to other types.
- Adds id() accessor to retrieve an ID for known methods.
- Adds more boolean operators to class library

Also adds auto-documantation in some METHOD-related places.

Fix compile error when cpu profiling is enabled.

Windows port: Handle notification of IP address changes for dial-up connections

On Windows 2000 and later, the NotifyAddrChange() function allow a
process to be notified of the changes in the system IP addresses table.
This patch generate a reconfigure request after any notification, this
allow the hot addition/reconfiguration of network interfaces without
manually restart/reconfigure Squid.

Undid recent clean()-related changes that broke strListAdd() and possibly
other String-manipulating functions.

Separated low-level private methods from public ones. Documented and polished
some of the code. More work needed (see TODOs).

Reduced the number of double-clean() calls in the spirit of the undone changes.

Protect String::limitInit() against empty strings.

Is being caleld at least once in squid3 with a NULL ptr and 0 length.
This patch prevents memory allocation on 0 length and a will continue
to assert if a NULL pointer is given with a length.
(We may want to re-think that later)

String 'call duplication' optimization(?) bypassed calling String::init()
when copying a String and called limitInit() directly. That results in
an assertion when an empty String is copied. The fix avoids calling
limitInit() when an empty String is copied.

Reduce call duplication in String.

- Removes duplicate clean() calls
- Pushes clean() calls as far down the stack as possible on each init*
- Removes small memory leak in limitInit()

Bootstrapped

removeConnectionHeaderEntries() is removeHopByHopEntries() now.

Windows port: fix ACL ARP build error.

Optimization: INADDR_ANY is the default for IPAddress.

This removes an explicit double-init/memset of the object.

Author: Klaus Singvogel <kssingvo@suse.de>
Bug 2189 fix: when dumping SNMP oids, do not overrun the result buffer.

Bug 2168 fix: Avoid tcp_outgoing_address selection for ICAP requests.
Let OS pick the outgoing (i.e., source) address instead.

Code did not supply info required for tcp_outgoing_address ACL match to work,
and tcp_outgoing_address is usually not applicable to ICAP communication.
Eventually, we may add icap_outgoing_address.

Assert that checklist and request are set instead of segfaulting as in bug 2168

Windows port: workaround for Visual Studio odd EAI_NODATA definition.

Bug 1923 fix: Do not send hop-by-hop headers to the ICAP server.
Send Proxy-Authenticate&Proxy-Authorization in ICAP request headers.

bug1933 fix: Fixed memory pools configuration reporting.
We used to report too early, before Squid configuration was parsed.

Bug 2110 fix: When Squid is shutting down, disable persistent connections
in responses.

This change should discourage clients from sending us more requests.
It should only affect hit responses because misses are denied during shutdown.

Use our own strwordtok instead of strtok_r. Not only is it portable, but also understands quoting and escaping

Windows port: Fix warning error building with Visual Studio.

Compile error introduced by previosu patch.

Squid-defined types need to be included where used.

Windows port: fix build error for missing ostream declaration.

Fix typo in the latest commit.

Windows port: fix Visual Studio build problems when ESI, Delay Pools and SSL support are not enabled

MS Visual Studio Projects are monolithic, so we need some #if/#ifdef to exclude
the not needed code at build time.

Fix build error using --enable-linux-tproxy

Windows port: Visual Studio needs winsock2.h before ws2tcpip.h inclusion.

Windows port: restore Windows compatibility changes to edir_ldapext.c lost after last commit.

Fix ARP ACL build error on all not Linux platforms.

Fix typo in Windows code.

Really use the Squid provided strtok_r() library code when needed.

Correct example IPs in tcp_outgoing_address config

Deja Vu. I'm sure I fixed this weeks ago.

Add major additional information pages.

* These pages are for discourses on major components not suitable for
  writing into the code pages.

Add auto-docs configuration file from docs project.

This is just the configuration file to make docs in doc/Programming-Guide/

* Auto-generation requires doxygen and dot applications installed for the
documents to be built on any given machine.

* Further documentation modifications still to follow.

Author: Alexey Veselovsky <alexey.veselovsky@eykontech.com>
Bug #226 - Adding support for unknown methods.

Response for these methods will not be cached.
All cache entries for this url will be invalidated.
 see bugzilla entry #226 for further details.

Add [] operator for offset-based access into String's.

Safer than pointer arithmetic and manipulation.
Also users of String objects should NOT have arbitrary access to the
underlying raw data buffer.

This single operator deprecates several old access functions.

EPSV support for FTP and other fixes.

- Adds full EPSV method support for FTP server connections
- Fixes debugging in FTP state machine into specific levels:
  * 0: critical problems
  * 1: non-critical problems
  * 2: FTP protocol chatter
  * 3: FTP logic flow debugging
  * 5: FTP data parsing flows
- Adds code documentation to some FTP functions.

Miscenllaneous fixes for CNAME, include, and comm.

- Add more wrapping of CNAME code no longer needed.
- Fixes typo in include directive ported code.
- Fixes incorrect socket family setting on some accepted connections.

Bootstrapped

Compile errors and Bootstrap.

Author: Klaus Singvogel <kssingvo@suse.de>
Bug #2189 - wrong parameters used for memset

Uses correct parameters order for memset() in object constructor.

Import strtok_r() library code for systems that do not provide it.

This code has been written for the Free Software Foundation and
falls under the GNU Public Lisence version 2 or later for use.

Document the addition of myportname acl

Correct releasenotes eneration

s is 3.1, not 3.0

Author: Gonzalo Arana <gonzalo.arana@gmail.com>
Bug #2180 (update) - include minor issues

Use strtok_r() instead of hacking around strtok() problems.

Mention the new myportname acl in the acl section

New myportname ACL for matching the accepting port name

also documents the name= port option which was previously implemented but unused

Bug #2153: Use the cache_peer name in CARP hashing to support multiple peers on the same host

The cache_peer name= option was introduced some years ago to allow
peers to be named and to suppot multiple peers on the same host/address.
However, carp still used the hostname/address and not the name making
it fail slightly when forwarding to multiple peers on the same address.

Improved output display formatting

Bootstrapped

Formal Debug Levels part 1 - Define names for some debug levels.

This allows the use of DBG_CRITICAL and DBG_IMPORTANT instead of magic
numbers 0 and 1 in the debugs() calls. Making code a little more readable
and easier to use. The code itself is not modified to use them yet.

DBG_DATA is added for level 9, though that may change.

TODO: the other levels (2-8) still need deciding. No consensus was reached
amongst the developers for those levels when discussed.

AAAA/A failover fix and CNAME recursion deprecation

A bug in the final version of squid internal DNS resolver logics
caused any failover A results to overwrite the paired previous AAAA.

This patch adds state to store the DNS results between failover queries
and to merge the final sets before passing them out to the requestor.

Lookups should now be seemlessly handled within the DNS resolver stub.

CNAME recursion at the ipcache level should now be obsolete and has been
wrapped in a new ./configure --with-dns-cname option which defaults off.
That code has proven to be problematic anyway and will be no great loss.

Additional counters have been added to the squid statistics to track the
amount of queries of each type have been encountered.

Author: Adrian Chadd <adrian@creative.net.au>, Gonzalo Arana <gonzalo.arana@gmail.com>
include directive for squid.conf

This patch adds an 'include' option to squid.conf for the purpose of
importing configuration details external to the squid.conf file itself

see Squid 3.1 Release notes for further details.

Fix syntax errors in 3.1 Release Notes

Miscellaneous code fixes.

Fixes bad assertion in new code for CNAME handling.
Cleans up some code formatting.
Adds some const-correctness for improved code checking.

Bug #2170 - FTP protocol does not work in squid3-head

IPv6 upgrade lost the port-0 semantics for generating a new random port
for the FTP data channel on PASV requests.

Fix error causing pinger to abort if ICMP unavailable, even if ICMPv6 is.

More off_t related cleanups triggered by Bug #2164.

This patch cleans up various pieces of code, from an off_t usage audit
triggered by Bug #2164.

off_t should be used for on-disk file offsets/positions only, not internal
buffers or object offsets.

object offsets should use int64_t

buffer offsets size_t or int, or maybe ssize_t if negative values allowed

Bug #2164: assertion failed: stmem.cc:321: "candidate.offset >= 0"

failed to handle responses >2GB properly unless compiled with 64-bit disk I/O.

this due to abuse of off_t where int64_t is intended.

Bug #2150: Connection hangs on automatic retry

With epoll and probably kqueue as well the filedescriptor need to be
reregistered with the kernle after being replaced with dup2().

Bug #2175: Update valgrind support for valgrind-3.3.0

Valgrind memcheck rearranged the names of it's support macros in
version 3.2.0 to better represent the actual function, and now the
old names has been removed starting with version 3.3.0 causing
build a failure if --with-valgrind-debug is used.

this patch updates Squid to use the new valgrind macro names, and
adds a little glue to be compatible with older valgrind versions

Fix some minor casting errors affecting cachemgr reporting when cache/mem >2GB

Make squid_kerb_auth compile again after the IPv6 merge

Bug #2001: Read full response headers when >4KB

This is a first step at supporting large response headers, enabling
support in the http protocol handler.

There is still more work to do in other areas before this works.

Swedish translation of ERR_ESI

Random authenticaiton failures when using Digest authentication

The stale= propery of the Digest responses sent by Squid indicated far
too often that the nonce was not stale. Contrary to what the RFC recommends
we should only say that the nonce is not stale when it is a valid nonce but
the response did not compute (invalid user or password). In all other
situations we should say that the nonce is stale even if we haven't
validated the response.

digest auth related memory corruption

Allow informal errors on stderr when using -k parse

Bug #2063: Hide debugging messages before cache.log is opened

various submodules tries to log informal debug messages while starting,
which ends up on stderr if these is called before cache.log is opened.

this patch changes the default debug level to 0 before cache.log is opened
only allowing critical errors to be reported on stderr.

Author: Tsantilas Christos <chtsanti@users.sourceforge.net>
Fix netdb_filename usage

I (Henrik) apparently forgot to --enable-icmp when testing the new directive..

Lower idnsRead: starting.. debug message to level 3 (was 1)

Kill the last fs/null file

Bug #2107: Unaligned memory access in pinger

Bootstrapped

Remove the default cache_dir location and the null store type

Many people gets confused by the builtin cache_dir location, thinking
that if there is no cache_dir in squid.conf then there is no on-disk cache.
This removes the builtin default.

By removing the builtin default we can also remove the "null" cache_dir
type whos purpose is only to override the builtin default.

Bootstrapped

netdb_filename directive to specify location of netdb state file

was hardcoded to use the first cache_dir. This moves the default location
to the logs directory and may be overridden at compile time by setting
DEFAULT_NETDB_FILE

Bug #2018: dead_peer_timeout fails to declare peer dead

Even if dead_peer_timeout has passed Squid continued sending ICP queries
to the peer at full request speed, and waiting for responses.

Bug #2114: cache memory accounting not working well

Use the page allocator statistics to report cache_mem usage

This patch removes the weak attempt in keeping an byte-exact cache_mem usage
counter, instead using the actual allocated size (but excluding overhead).

This is the same accounting method as used in Squid-2 btw..

Author: Alexey Veselovsky <alexey.veselovsky@eykontech.com>
Bug #2101: Reuse pconns using LIFO

Change the reuse order of persistent connections to LIFO to keep hot
connections and let unused connections expire.

This is how Squid-2 has been doing things for a long time.

Memory corruption in IPAddress::ToURL, called when printing out IPAddress values

Correct IPAddress IASSERT macro to not log false asserts on complex expressions

Author: Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug #1148: Add support for chunked transfer decoding of HTTP responses

This small patch uses ICAP's client chunks decoder to decode http chunked
responses.

Bootstrapped

Author:  Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug #1148: Move Chunked decoding from src/ICAP to src/ to allow it to be used outside ICAP

This is a preparation for adding chunked decoding of HTTP messages