Merged from trunk.
  These were eCAP,p2-inspired changes that were committed separately.

Catch most exceptions in main() to report exceptions uncaught by Squid.  This
is for last resort reporting only -- the program would exit anyway (usually
with less information) if we did not catch these.

The code re-throws caught exceptions to reduce side effects of catching it,
just in case. May need more work depending on how compilers handle rethrowing.

These changes were inspired by eCAP.

Merged from trunk.
These were eCAP,p2-inspired changes that were committed separately.

Synced after adding HttpMsg::clone().

Added HttpRequest::clone, completing HttpMsg::clone API. When ICAP is
converted to use this, it should work faster for a common "no modifications"
case because it would not have to print and parse the headers.

TODO: Consider renaming the method since it does not produce an exact,
true replica. Some connection-related flags and peer settings are not
cloned because the clone is not always "attached" or "coming from"
the same connection (e.g., it is cloned for eCAP to modify). We may also
#ifdef the method if it is not needed outside of adaptation code.

The HttpMsg::body_pipe field is now copied when a message is cloned.
I was not sure what the right thing to do there is. The field itself
may be misplaced (it is not about the message structure or properties,
but about the current body transfer state, but we lack a good place to
store that...).  To reduce the number of cloning exceptions, and since
eCAP and probably ICAP code benefit from pipe copying, it is copied
for now. It would not be too hard to change.

Polished ServerStateData cleanup code: Moved more cleanup code from the
destructor with its dangers of half-destroyed context to safe swanSong.

Made TextException a child of std::exception so that it is easier to catch
more exceptions (standard and custom) with one catch(). The catching code
usually does not care what the exception is anyway.

TextException needs more work to report more information in what() method.

Catch std::exception to catch more printable exceptions. TextException is an
std::exception [child].

These changes were inspired by and required for eCAP.

Polished BodyPipe API. No runtime changes expected.

Merged from trunk.

config cleanup: make log defaults optional.

access.log at least can have multiple logs defined. Declaring an
unconditional default is not a good idea.

Same goes for cache.log default despite its different design.

Now only define their default if none given by the user.

Revert active part of error page stylesheets.

Strange Install blocker bug found. No solution yet.

(19:04:54) rousskov: 2008/09/30 00:05:20| errorpage.cc(290) errorTryLoadText:
 '/usr/local/squid3-ecap/share/errors/templates//usr/local/squid3-ecap/etc/errorpage.css':
 (2) No such file or directory
(19:07:52) rousskov: $ make install > /tmp/tm
(19:07:52) rousskov: /bin/bash: -c: line 17: syntax error near unexpected token `then'
(19:07:52) rousskov: /bin/bash: -c: line 17: `@if test -f /usr/local/squid3-ecap/etc/errorpage.css ; then \'

To keep swanSong() checks simple, we need to NULL-ify vb body_pipe even if
we never were a consumer (because of useVirgin short circuiting).

For useVirgin() cloning to work when we were a consumer, we need to clone
before we clear the consumer (and body_pipe with it).

The whole thing is icky. This should be improved when Adaptation::Message does
not have to store a copy of body_pipe (there is already a TODO for that,
IIRC).

Merged from trunk.

Fix: stylesheet has proper path. does not need new prefix

Merged from trunk.

Synced with libecap::Body simplifications.

SourceFormat: include/

SourceFormat: include/

Log to cache.log what languages users are attempting to auto-negotiate for translations.

Successful negotiations are not logged. Only failures
have meaning to indicate that Squid may need an upgrade
of its error page translations.

Made "make check" happy.

Catch std::exception (instead of a more specific TextException) to catch
more exceptions. We do not care what exception we actually caught anyway.

Removed unused ICAP-only static declarations and definitions.

Catch std::exception to catch more printable exceptions. TextException is
not an std::exception [child].

Rethrow exceptions caught in main() to minimize catching side-effects. May
need more work.

Merged from trunk.

Fixed indentation.

Synced with minor libecap API changes

CSS control over translated error pages

Adds %l replacement tag to include CSS file data into an error page.

Adds error_stylesheet option to name a file as the CSS content to insert
into each error pages displayed. (default /etc/squid/errorpage.css)

Adds CSS hooks into the templates.

Adds errorpage.css to squid config directory with current CSS settings
pulled from old templates and demo entries for new hooks.

The combined effect of these is allows company sites to stylize the pages
produced to some extent limited only by the CSS capabilities. Without
worrying about translation texts themselves.

Only works for dynamically translated pages based on updated templates.
Default CSS file may need some cleaning.

Compile errors

Polished code by introducing two explicit and mostly independent states
(proxying virgin body and proxying adapted body) as well as a flag to
check for virgin body content access after the pipe was invalidated.

POT update

Merge from trunk

Languages: various additions.

Fixed memory leak: MessageRep was not destroying theFirstLine.

Updates auto-save

Synced with the new libecap pull-pull interface where the host pulls
adapted body and the adapter pulls virgin body.

When adding a body_pipe to adaptation message, do not forget to update
the raw header as well.

Polished comments: duplication of body_pipe leads to coding bugs when adding
a pipe to a message.
No functional changes.

Fixed comm_close handling in deferred reads. The code was expecting old-style
comm_remove_close_handler call to work if the close handler has not been
dialed yet. We now store a new-style callback so that we can reliably cancel
the close hander call.

Removed all methods from CommRead except for constructors. Apparently,
they were all unused and most were not even defined.

Language: Czech Translation

Language: Chinese Translation

Language: Japanese Translation

New suggestions. Unverified.

Language: Bulgarian Translation

Added pipe cleanup to swanSong, used when we terminate unexpectedly.

Polished debugging, added temporary detailed debugging.

Made TextException a child of std::exception so that it is easier to catch
more exceptions (standard and custom) with one catch(). The catching code
usually does not care what the exception is anyway.

TextException needs more work to report more information in what() method.

Merged from trunk.

Summary: Synced with libecap, adopted pass-all-changes-through transactions
model.  Polished. Needs more work.

stillProducing and stillConsuming do not modify their arguments.

Use message representatives to store virgin and adapted messages.

Migrating to a model where all message changes are done via transaction,
not the message itself. A message cannot handle many changes on its own
because it is not a job, and placing some changes in MessageRep and some
in XactionRep results in messy code.

Polished body handling. Needs more work.

Added satus reporting. Needs more work.

Synced with libecap changes related to FirstLine move to Message.

Migrating to a model where all message changes are done via transaction,
not the message itself. A message cannot handle many changes on its own
because it is not a job, and placing some changes in MessageRep and some
in XactionRep results in messy code.

Call parent's status() until we have our own.

Updates auto-save

Performance fix: Check half-closed descriptors at most once per second.

A few revisions back, comm checked half-closed descriptors once per second,
but the code was buggy. I replaced it with a simpler code that checked each
half-closed descriptor whenever the OS would mark it as ready for reading.
That was a bad idea: The checks wasted a lot of CPU cycles because half-closed
descriptors are usually ready for reading all the time.

This revision resurrects 1 check/sec limit, but hopefully with fewer bugs. In
my limited tests CPU usage seems to be back to normal.

All half-closed descriptors are now stored in TheHalfClosed set. When it is
time to check the corresponding connections, Comm schedules a read for
each descriptor that is not already reading. Conflicts with regular/user
reads are resolved as before -- we silently cancel the internal half-closed
read.

TODO: It is possible that we do not need to read at all and should call
getsockopt() instead to test the connection.

Added a DescriptorSet class to manage an unordered collection of unique
descriptors.

DescriptorSet is used for half-closed descriptor monitoring. It might be
useful for deferred reads as well, but that remains to be seen.

DescriptorSet has O(1) complexity for search, insertion, and deletion. It uses
about 2*sizeof(int)*MaxFD bytes total. Splay tree that used to store
half-closed descriptors previously uses less RAM for small number of
descriptors but has O(log n) complexity. Same for std::set<int>, a potential
DescriptorSet replacement.

Update translators info

UPdated POT from current templates

Merged from trunk

Languages: Ukrainian Translation

Adding initial notes on AsyncCalls and Comm APIs.
More work is needed to integrate source code and the notes.

Bug 2433: Ftp put gives bad gateway but put is correct

Show request and reply headers new config via cachemgr dump

Comment on FTP recovery from data.fd loss

Merge HTCP enhancements.

Changes include:

- Ability to send HTCP CLR requests when objects are invalidated or purged from
 the cache.
- Config logic to allow the following:
- HTCP peers who ONLY receive CLR messages from us.
- HTCP peers who NEVER receive CLR messages from us.
- HTCP peers who NEVER receive CLR messages from us for PURGE requests.
- HTCP peers who are forwarded CLR messages we receive.

Merge build fix.

Fix build breakage caused by r9216.

There were a number of problems in r9216:

- Unterminated blocks in if () statements.
- Use of a struct to refer to an enum declared within the struct.
- Use of incorrect enum values after the originals were renamed.
- References to enum values from within the struct without the struct name.

Note that these changes have not been tested, but they do allow the tree to
build again.

Fix build breakage caused by r9216.

There were a number of problems in r9216:

- Unterminated blocks in if () statements.
- Use of a struct to refer to an enum declared within the struct.
- Use of incorrect enum values after the originals were renamed.
- References to enum values from within the struct without the struct name.

Note that these changes have not been tested, but they do allow the tree to
build again.

Merge from upstream.

Bug #2459 workaround: When dns_error_message value is lost, use "lost DNS
error" text and log at level 1 to inform the administrator about the internal
error.

This temporary hack does not fix the incorrect DNS error value problem, only
the lost one.

Do not call connect handler for closing descriptors because the handler
is unlikely to do something useful and is likely to hit Comm assertions
when working with a closing descriptor.

AFAIK, after adding close handlers to FtpStateData and peerProbe code,
all code that uses  commConnectStart has a Comm close or I/O handler that
will be called when the descriptor is closing. This should prevent
connecting jobs from getting stuck waiting for the connection callback
to be called.

Added Comm close handler for the data channel of FtpStateData
transaction in preparation for officially dropping connect callbacks for
closing descriptors.

The data channel can be opened and closed a few times and the descriptor
must be kept in sync with the close handler. I factored out the
open/closing code into a simple FtpChannel class. That class is now used
for both FTP control and data channels.

The changes resolve one XXX discussion regarding FTP not having a close
handler for the data channel. On the other hand, adding a second close
handler attached to the same transaction is not a trivial change as the
side-effects of Squid cleanup code are often illusive.

For example, I suspect that FTP cleanup code does not close or even
check the control channel. I added a DBG_IMPORTANT statement to test
whether the control channel remains open. Or should that be an assert()?

I think that only one out of the two callbacks can be dialed because the
close handler executed first will invalidate the transaction object.

Source Format: tools

Cleanups: WCCP config

Adds text labels for WCCPv2 methods.
Admin can now use 'gre', 'l1', 'hash', 'mask' in appropriate places
instead of magic numbers.

Magic numbers still supported for backward compatability.

Merge from trunk

Language Updates

Merge from trunk

Bug 740: allow external acl's to use reply headers in format

Adds a small bit of token syntax to external_acl_type format.

  %>{Header} HTTP request header
  %>{Hdr:member}
   HTTP request header list member
  %>{Hdr:;member}
HTTP request header list member using ; as
   list separator. ; can be any non-alphanumeric
character.

  %<{Header} HTTP reply header
  %<{Hdr:member}
   HTTP reply header list member
  %<{Hdr:;member}
   HTTP reply header list member using ; as
   list separator. ; can be any non-alphanumeric
character.

Basically the < and > are new following the existing meaning of their
direction in other tokens to match request/reply.

Old format of %{} is left as request header but with WARNING (1) level
noise at configure time indicating the new syntax.

Correct TPROXYv4 handling.

Initial design was based on the false assumption that TPROXYv4 worked
like NAT lookups and returned the IPs on IP_TRANSPARENT.
It in fact returns the correct connection IPs on accept(),

This patch makes TPROXYv4 work correctly and spoof client IP. Port needs
to be randomly assigned by the OS to prevent kernel clashes.

Regular traffic is no longer guaranteed when passed in a tproxy marked
port. It may work as expected but no guarantess yet.
Accelerated traffic and NAT intercepted traffic will certainly fail.
As such their flags are marked as mutually exclusive with the tproxy flag.

Multi-Modes will still operate, but only on seperate ports.

Merge from trunk

Address more comments from Amos.

- Change debug levels in existing code.
- Rename htcpHandle to htcpHandleMsg.

Merge from upstream.

fix compile errors

Merge from trunk

SetPort(0) on right address

Updates auto-save

Languages: Swedish Translation

Languages: Swedish Translation

Call failed(ERR_FTP_FAILURE, 0) when data channel is closed unexpectidly,
to force control channel closure. Apparently, FtpStateData does not close
that channel when cleaning up.

Added and polished comments.

Added Comm close handler for the data channel of FtpStateData transaction in
preparation for officially dropping connect callbacks for closing descriptors.

The data channel can be opened and closed a few times and the descriptor must
be kept in sync with the close handler. I factored out the open/closing code
into a simple FtpChannel class. That class is now used for both FTP control
and data channels.

Address comments from Alex and Amos.

- Add some comments describing various function purposes.
- Remove some debugging debugs that had crept in.
- Use debugs() in preference to debug()().
- Adjust some debug levels.

Merge from upstream.

Don't strcmp Config.Log.store if it's NULL in storeLogOpen.

Avoid a potential compare against a NULL pointer in storeLogOpen.

Merge from upstream.

Clenup various code to use debugs() insted of debug()()

Merge from trunk

Content-Language headers

Adds "Content-Language" header properly if the error page language was
negotiated. Hard codes the default templates as 'en', and the squid.conf
value for soft default language of error_default_language was used.

Sets "Vary: Accept-Language" if negotiation is configured to take place.

Added Comm close handler for peer probe to handle closing of a probe
descriptor while connect is pending. This was done in preparation for
officially dropping connect callbacks for closing descriptors.

I suspect that the old-code probe would get stuck if the descriptor were
closed during connect. One the other hand, nothing but a shutdown could
close that probe descriptor, I guess.

squid.conf cleanup: Update QUICKSTART to match new squid.conf settings

Several settings are no longer necessary, some have changed to optional
and some are now possibly needing attention on first install.

Also, add several recommendations from Squid developers on best practice
for some options.

squid.conf cleanup: Modify several squid.conf defaults

Following the cleanup of squid.conf to minimal config modifies the
remaining defaults to make their explicit configuration unnecessary.

    icp_port was made a 0 default (for safety?),
        but the port config line left uncommented. fixed that.
        (most won't need it, those who do need to configure it anyway)

    icp_access lines to allow local network now commented out,
        background default 'deny all' untouched.
        (ditto on above reason)

    miss_access default moved from explicit configured, to
        background default. Implicit absent default was documented
        to be same as explicit config default anyway.

    access_log config moved to a background default + documented.
        rather than explicit config only.

    cache_store_log moved to default none + commented out.
        We've been recommending that for a while now anyway.

    request_header_max_size    boosted to 64KB from 20KB.
        HTTP/1.1 needs big headers. I think that should be okay?

    reply_header_max_size    boosted to 64KB from 20KB.
        HTTP/1.1 needs big headers. I think that should be okay?

    cache_dir defaults to no disk cache, memory only cache.

    maximum_object_size_in_memory - boosted to 512KB.
        Update to at least 64KB was needed anyway to match modern web
        traffic. Picked 512KB to maximize HIT with new default cache.

    cache_mem boosted to 256 MB for caching at least 500 objects.

TODO Options remaining to consider for removal:
    hierarchy_stoplist
    coredump_dir

TODO all the default values probably still need to be checked.

Allow random outgoing ports and fix reset debugs

We only need to spoof the address. Set port so OS can randomly assign
a new one for use that will not clash with existing spoofs.

Also fix teh debug message on ResetFD failure to bind so we can see which
FD and which address:port were attempted when it failed.