SourceFormat Enforcement

Bug fix: Fix a formating code: should be %ssl_subject not %subject

Change the default dns_timeout value from 2 minutes to 30 seconds

The related squid-dev discussion is here:
  http://www.mail-archive.com/squid-dev@squid-cache.org/msg15152.html

Convert dns_timeout and dns_retransmit_interval configuration options to use millisecond resolution.

One second resolution is too coarse for small timeouts in delay-sensitive
environments, especially when a retransmit, bypass, or another corrective
action is available and is likely to produce a positive outcome. In DNS world
specifically, most timeouts are measured in milliseconds.

This is a Measurement Factory project

Bug 3175: IPv6 PTR lookup crashes on raw-IP URLs when IPv6 disabled

negotiate_kerberos_auth update to version 3.0.4sq

Fixes a minor error in printing gss errors

ext_kerberos_ldap_group_acl version 1.3.0sq

Remove redundant FTP/Gopher checks

Identified by ICC.

ICC build issue in ConnStateData::getConn

ICC complains about:
"type qualifier on return type is meaningless
      inline ConnStateData * const getConn() const;
"

I believe this is const-correct. The incorrect version would be "& const"
But there is no harm in combining the two getConn() methods.

SourceFormat: Moved Adaptation::Answer class to its dedicated source files.

Moved AccessLogEntry.headers.adapt_last to AccessLogEntry.adapt.last_meta

Added AccessLogEntry::AdaptationDetails to keep general adaptation-related
fields together and away from the HTTP fields.

Fixed propagation of eCAP transaction meta-information to core Squid
by synchronizing the history of the virgin and eCAP-adapted/cloned request.

If the request history is created after the request got cloned, the cloned
request will have no history unless we explicitly import the newly created
history. Hopefully, it is not possible for the cloned request to get its own,
diverging history before the import (we check and throw if that happens).

This is one more example why a MasterTransaction class (with history) needs
to be extracted and separated from the HttpRequest class.

Polished SGML formatting.

Documented changes related to libecap v0.2.0 support.

Grouped methods related to the same API and documented which API they implement

Report eCAP service [re]start to cache.log by default.

Reporting eCAP services may be important, especially since we have no other
interface to detect their presence and since folks will have to deal with
rogue services eventually.

Also raised eCAP service configuration notice level to 2.

Fixed send_username typo. The correct option name is adaptation_send_username.

Expand Makefile sources macros

Expand several macros used in earlier attempts to omtimize the Makefile
content. With the SourceLayout and modular changes underway these are
proving to be more of a problem than they are worth.

At some future time when the convenience libraries are settled it may be
worth revisiting some shared lists. But not yet.

SourceFormat Enforcement

Apply uri_whitespace before logging malformed requests

This patch try to implement  the first option from those described at the
squid-dev thread with subject "Request URI logging for malformed requests":
  http://www.squid-cache.org/mail-archive/squid-dev/201101/0004.html

Currently the logged URI set using the setLogUri method (in client_side.cc and
client_side_reply.cc files). Also the setLogUri called at least two times for
every normal request. Moreover the setLogUri always check if the URI contains
characters which must escaped which in the case of normal requests it is not
needed because urlCanonicalClean always used before pass the URI to setLogUri.

This patch:
 - add a parameter to the setLogUri to say if the URI must cleaned and the
   uri_whitespace filtering must applied.
 - Remove the setLogUri call from the parseHttpRequest.
 - Call in all cases (HTTP request error or not) the setLogUri in
   clientProcessRequest
 - In the case the URL is not a valid HTTP request applies the uri_whitespace
   filtering.
 - In the case the URI is valid the uri_whitespace filtering is not required
   because it is already applied by the urpParse function.

This is a Measurement Factory project

proto ACL overly verbose on "Ignoring unknown protocol"

Minor logic error in display. No actual operational effects.

SourceFormat Enforcement

Support libecap v0.2.0; fixed eCAP body handling and logging.

Summary of changes:

libecap v0.2.0 support: accept/update/log eCAP transaction meta-info.
libecap v0.2.0 support: supply client IP and username to eCAP adapter.
libecap v0.1.0 support: Support blockVirgin() API with ERR_ACCESS_DENIED.

Use pkg-config's PKG_CHECK_MODULES to check for and link with libecap.

Support adapter-specific parameters as a part of ecap_service configuration.
Allow uri=value parameter when specifying adaptation service URIs.

Fixed virgin body handling in our eCAP transaction wrapper (Ecap::XactionRep).
Fixed BodyPipe.cc:144 "!theConsumer" assertion.

Log "important" messages from eCAP adapters with DBG_IMPORTANT not DBG_DATA!

Added XXXs to identify old unrelated problems to be fixed separately.

Merged from parent (trunk 11270, circa 3.2.0.5+)

Give full Request-URI to eCAP adapters.

Implement libecap::RequestLine::uri() to return full Request-URI instead
of URL path.

Niether full URL nor URL path is perfect because the actual request may
have full URI or a path, but Squid does not really keep that
information. This change makes our eCAP implementation consistent with
our ICAP implementation.

Eventually, eCAP may have an API that is guaranteed to return full
Request-URI and Squid may remember what kind of URI it got in the virgin
request, allowing for a more truthful implementation.

Bug 2621: Provide request headers to RESPMOD when using cache_peer.
A short-term fix.

When FwdServer::_peer is set, HttpStateData constructor creates a new special
HttpRequest, overwriting the request pointer set in the parent
(ServerStateData) constructor to fwd->request.

To make matters worse, this special peer request has no headers at all (even
though flags and some cached/computed header values are copied). We initialize
it with the right URL, method, and protocol. We copy flags and a few other
random properties from the original request. We never copy the original
headers.

Furthermore, regardless of the peering, when we create the headers to send to
the next hop, those headers are temporary and not stored in any request
structure (see HttpStateData::buildRequestPrefix). The non-peering code
survives this because the request member points to fwd->request, which has the
headers. The peering code fails as illustrated by this bug.

I believe both cases are buggy because server-side adaptation and core code
should have access to the request headers we sent rather than the request
headers we received and adapted (or no headers at all). After all, it is the
sent headers that determine the next hop view of our Squid and adaptation
services should see a pair of _matching_ request and response headers.

I am pretty sure there are other bugs related to HttpStateData using a special
peer request structure instead of fwd->request. Please note that FwdState has
no idea that this substitution is going on.

This quick short-term fix uses the original request and its headers when
checking RESPMOD ACLs. This is what the patch in bug #2562 did for Squid v3.0.
For the reasons described above, this patch may be either insufficient or
wrong for the long-term fix.

Import external libecap in adaptation/ecap/, where it belongs.
Either we finally found the working combination of libtool variables or the
previous attempts were failing due to libtool confusion over leftovers in
the build directory (or we will discover more build failures later!).

Polished libecap-related Makefile variable names based on squid-dev review.

Polished to address Squid Project review comments.

IDNS missing casts

Make DNS report failure on all packet construction errors

The attached patch alters the DNS lookup behaviour to abort with an error
in ALL cases where the rfc1035 library generates an error (negative result).

I'm not sure there is any noticable effect other than better code. The
error case *should* in old code be picked up on the initial packet
construction rather than the repeat packet. This may have been incorrect
given that the packet type is changing between A/AAAA.

Bug 2976: invalid URL on intercepted requests during reconfigure

Listening ports abuse the cbdata type as a pseudo refcount. This breaks
during reconfigure when the config is erased and the active requests
handles all become invalid pointers.

Interception only works on HTTP protocol. We can hard-code the scheme
and avoid this problem until a complete fix is written.

SourceFormat Enforcement

RFC 1738 encoder upgraded action flags

This updates the encoder flags parameter to allow selection of individual
character sets of CTRLS, UNSAFE, and RESERVED.

Also, to permit selective omission of the % and space characters from the
UNSAFE set.

Also, an optimization is added to skip SAFE characters on a short-circuit.

SourceFormat Enforcement

Bug 2885: Compile errors on AIX

Support AIX unusual definition of in_addr/in6_addr unions.

Fix typos and missing if in libTrie inline support.

Correct debug statement about non-IPs on parse

Bug 2965: Compile errors on MinGW

SourceLayout: protocol_t upgrade fix

The proto acls does not work due to a mistyped strcasecmp if check

Fix Solaris warning: strands hides Ipc::Inquirer::strands

SourceFormat Enforcement

Add support for parameterized Cache Manager queries, compile errors fix

The regex.h file if required included in compat.h file, must not used directly
in squid sources

Update PROTO_CACHEOBJ to PROTO_CACHE_OBJECT name

Also catches several eCAP uses which were missed.

Add support for parameterized Cache Manager queries fix warnings in CentOS 5.3 amd64

Add support for parameterized Cache Manager queries.

Currently, one sends mgr queries to the "whole" Squid. Kids responses may get
aggregated by Coordinator, and we, in general, want to aggregate all responses
that can be aggregated.

This patch allow us to aggregate stats for a subset of kids. For example,
the following query aggregates stats for just the first and the third workers:

    mgr:info?workers=1,3

When query response information cannot be aggregated (or at least is not
aggregated right now), then a parameterized query will result in several
matching "byKid { ..." blocks.

This patch support the following scope variants:

    * raw interface with access to any kid process or groups of kids; similar
      to ${process_number} macro we already support in squid.conf:
          mgr:foo?processes=id,id,id...
    * higher-level interface to isolate workers by their numbers, starting
      with 1 for the first worker:
          mgr:foo?workers=num,num,num...

Currently, all kids except Coordinator are workers, but that will change in
the future as we get more kinds of kids.Currently, one sends mgr queries
to the "whole" Squid. Kids responses may get aggregated by Coordinator,
and we, in general, want to aggregate all responses that can be aggregated.

This is a Measurement Factory project

fix Mgr::Inquirer::applyQueryParams, fix constness in QueryPArams

undo unneeded changes

merge from trunk

SourceLayout: protocol_t upgrade

This begins the libanyp.la SourceLayout changes by moving the protocol_t
type code to stand-alone files inside its namespace.

On the most part there are no behaviour changes. The boundaries between
the two semi-related types of protocol and protocol scheme are now clear:

 * URLScheme is to be used where the protocol name is related to a URI
   scheme description.

 * AnyP::ProtocolType is to be used for other non-URI places requiring
   the protocol to be named or manipulated as a concept.

Textual representations of these two concepts differ and the output of
these two types likewise differs to accomodate. Abusing them will result
in visibly unusual output.

Author: Bernard <fli4l.charrier@free.fr>
Language: fr updates

Display correct information on dstdomain clashes

Abort with an error when a wildcard entry is going to be
discarded because of a sub-domain entry.
Also whenever there is a mixup between a domain and its
sub-domain wildcard alternative.

Rais a non-fatal warning when a useless subdomain entry
is being discarded and its super-set wildcard kept.

Care is taken to present the singular subdomain for
possible removal and keep the wildcard.

Revert client_side_request changes in rev11247

ICC support: code polish to reduce compile warnings

Author: Alex Rousskov <rousskov@measurement-factory.com>
Bug 3159: (partial fix) ICAP and --disable-auth compile problems

TODO: other areas outside of ICAP with similar issues.

Fix for revno11239. Perform detection where it is not going to be erased

The kerberos library detection is wrapped inside a state which erases
the results of LIBS and flags found by AC_SEARCH_LIBS.
Do the search outside that block.

Made icc compiler happier without using a GCC-specific __attribute__.

Reverts r11236 while fixing the FileNameHashCacheUser code. Passes an icc test.

Allow constant pointers to non-constant HttpMsgs.

Minimize difference with parent (trunk).

Code cleanup: Described Adaptation::Ecap::Config and ServiceConfig classes.

Merged from parent (trunk r11242, circa 3.2.0.5+)

Code cleanup: Proper assignment and copying of HttpHeader.

Besides being the Right Thing, having correct assignment operator and
copy constructor helps classes that have HttpHeader data members to
avoid defining explicit assignment operators and copy constructors.

Also adds forgotten reset of "len" in the clean() method.

Other polishing touches. HttpHeader::reset() is now a tiny bit faster.

No runtime changes expected.

Display build environment state after configure

No logic changes. This is purely a debugging aid to track which libraries
objects and flags are found as needed by configure.

Merged from parent (trunk r11240, circa 3.2.0.5+)

Fix mangled src/Makefile.am SNMP section

libecap v0.2.0 options support: accept/update/log eCAP transaction meta-info

Adapter transaction options are now extracted and can be logged in HTTP
transaction log (access.log): Moved ICAP-specific logging-related adaptation
history features to the general adaptation history class and used them in eCAP
code.

Support adaptation_masterx_shared_names option for eCAP transactions. eCAP
transactions can now forward meta information to subsequent ICAP or eCAP
transactions (within the same master transaction scope).

Allow a routing eCAP service to determine the list of adaptation services to
be applied next to the same master transaction (same as the X-Next-Services
ICAP extension).

Identified a couple of %adapt::<last_h logging bugs and history maintenance
inconsistencies but left them alone for now.

Fix mangled src/Makefile.am SNMP section

auto-detect res_search() for Kerberos helpers

From libc6 2.2 res_init which we were looking for is located in libc
but res_search is only located in libresolv.

Portability fix: Define template static members before functions

ICC complains about 'explicit specialization of member must precede its
first use' if the templand and members are not pre-defined.

Strangely other strict compilers do not mention any problem.

Log details of the stored object when locates a Date:-less object in cache

These details are difficult to find afterward and required to track down
the bug that caused them to be cached.

Code cleanup: Implement proper copy-constructor for HttpHeader. Polished.

Besides being the Right Thing, this helps classes that have HttpHeader data
members to avoid defining explicit copy constructors.

Also fixed blindly copied assignment operator profile and polished another
constructor to prevent implicit integer-to-HttpHeader conversion.

Code cleanup: Implement proper assignment operator for HttpHeader.

Besides being the Right Thing, this helps classes that have HttpHeader data
members to avoid defining explicit assignment operators.

libecap v0.2.0 options support: supply client IP and user name to eCAP.

Squid now uses libecap::Options API to send client IP and user name
meta-information to the eCAP adapter transaction, just like ICAP code
does when talking to an ICAP service transaction.

Renamed related icap_* options to their more general adaptation_*
equivalents because they now control both eCAP and ICAP behavior.
Old icap_* names are deprecated but still available.

Converted eCAP service configuration code to support the new Options
API, polished.

Fixed linking with libecap after PKG_CHECK_MODULES changes.

Previous commit (r11126) made sense and seemed to work fine until I
discovered that touching a source file in src/adaptation/ecap and
running "make" there leads to libtool's "file not found" errors for some
libtool-generated internal file. However, "make clean all" would still
work.

To better diagnose the issue, I renamed PKG_CHECK_MODULES prefix to
EXTLIBECAP and our ecap/libecap to ecap/libxecap. The difference in
names allowed to distinguish external libecap-related names/failures
from internal ones, but it did not solve the problem.

Moving EXTLIBECAP_LIBS from adaptation/ecap/ to adaptation/ Makefile.am
helped.  Older code included external libecap in adaptation/Makefile.am
as well, perhaps to avoid similar problems. It does not make sense to
put external libecap there instead of the ecap-specific directory, but
it works.

Portability fix: override compiler magic in understanding when a function is really unused.

squidclient: send cachemgr password via -w option

Preparation for internal cachemgr updates to use real proxy-auth.

The cachamgr password may now be sent in three ways:
  Deprecated:      mgr:info@password
  Current Option:  -w password mgr:info
  Preferred:       -u username -w password mgr:info

The old explicit @ syntax is now deprecated for visible use. The background
systems will still send it that way for cache_object: URLs. Use of this
overrides any -w option set. So it is still possible to login to a proxy
with one set of credentials and pass a separate password to the cachemgr.
The long-term plan is to drop @ completely in future.

The current option of just -w will convert the password to @ syntax in the
background but not add Proxy-Authentication headers. This may die in future.

The preferred alternative is to use -u and -w which triggers addition of real
Proxy-Authenticate headers. The username is not yet used by cachemgr but
may be required by the proxy ACL configuration.

squidclient: use Cache-Control instead of Pragma

squidclient: send User-Agent header and -A option to alter it

Bug 3155: Werror is hard-coded in libTrie build

TODO: we should also adapt -Wall and suport non-GCC compiler flags

Use pkg-config's PKG_CHECK_MODULES to check for and link with libecap.

Side-effect: We can and do check whether Squid supports the installed libecap
package version. This check avoids accidently building Squid with the wrong
libecap release. TODO: Check whether the loaded eCAP adapter was build with a
supported libecap version as well.

Bug 2720: comment in same line as cache/mem_replacement_policy causes error

SourceFormat Enforcement

Fix typo in EUI documentation

Portability fix: SunStudio doesn't like a preprocessor-guarded conditional debug tag.

Bug 3105: malformed Proxy-Authorization leaks memory

This simplifies the header parser for basic auth. Working towards a more
generalized model of AuthUser children. Removing two memory allocations, two
leaks and several unnecessary functions.

Author: Bernard <fli4l.charrier@free.fr>
Language: fr updates

Author: Bernard <fli4l.charrier@free.fr>
Language: fr updates

Author: Bernard <fli4l.charrier@free.fr>
Language: fr updates

Prep for 3.2.0.5

Prevent CONNECT request relaying to origin servers

CONNECT requests are proxy requests not to be forwarded to origins

ClientRequestContext::setReplyToError final parameter is a pointer not int

Handle HTCP read failures and small packets.

SourceFormat Enforcement

Prep for 3.1.11

Icons: remove SN.png on uninstall

Bug 2870: --disable-auth does not work

This patch attempts to make it work by removing libauth.la and all component
functionality which depends on it. So far this reduces the minimal squid
binary by a further 900 KB on disk.

It also means anything which requires an authentication process wont work.
They get wrapped in USE_AUTH or if its a specific type with the relevant
HAVE_AUTH_MODULE_* wrappers.

So far this does:
 * FTP and CacheMgr dependency on --disable-auth-basic is already committed
 * cache_peer login= functionality is greatly reduced under various
   combinations of --disable-auth, --disable-auth-basic and
   --disable-auth-negotiate
 * peering userhash algorithm is removed
 * delay pools class 4 is removed
 * ACLs testing username are dropped.

Additionally since external ACL user= field is used interchangeably in
several places with a full login and with the right helper can be
considered a full side-band authentication I have disabled the
ExtUser/ext_user components as well.

NP: pinning is not strictly dependent on NTLM, we may use it for other
    things without involving auth so left most of it in. Just the logics
    which use auth to set the pinning flag are now removable.

IDENT not being an authentication mechanism is also left in.

Author: D Kazarov <d.y.kazarov@mail.ru>
Bug 3137: RADIUS auth helper does not send identifier to RADIUS server

Author: Phil Oester <kernel@linuxace.com>
Bug 3115: stdio: log module segfaults if access_log is set to a directory

Author: Jonathan Wolfe <jonathan.wolfe@gmail.com>
Bug 3149: not caching ecap adapted body

eCAP adapters may remove or edit the Content-Length header, and to allow
caching of the adapted body squid must reflect that new (or unspecified)
content length when deciding whether or not the adapted body can be cached.

Maintenance: Fix in icons update script

SMP SNMP

In the case the SQUID_SNMP is disabled the MessageType enum list ends with a ","
The gcc compiler does not have any problem with this but SunStudio return a
parse error.