Merge from trunk

Bug 2556: HTCP fails without icp_port

Removes requirement for ICP port to be open for peer UDP queries to take
place.

TODO: Some work still needs to be done to separate the timeout from
icp_timeout and break ICP specific query logics out into icp code files.
But that is just cleanup for later.

SourceLayout: migrate IPAddress into lipip.la

This also makes some small changes to other API inside libip to allow
libbip.la to be built first as a POD library before anything src/ gets built.

Anything added to it from this point on MUST NOT require linkage outside
of libip.la or the planned libcompat.

Merge from trunk

AutoDoc and improve debugs in a fair bit of reply logic

Bug 2564: logformat '%tl' field not working as advertised

Coverity scan found a few bad lines.

AutoDoc the refresh_pattern algorithm.

Also throws in some extra assertions to draw out bug 2491 earlier.

SMB_LM: replace assertion with clean error report

Fix build errors in layer-02

Fix all build errors non-ZPH builds

Pconn not being used when they should.

A slight misalignment between the keys generated for push and pop of
connections to the waiting pool caused new connections never to match
any of the existing connections.

This patch makes several alterations to achieve a fix:
 - reduces the FwdState push logics down into a simple selection in
   pconnPush function which previously was a dumb wrapper.
 - adds a dump of current hash keys to the cacheManager pconn report
 - adds uch better debugging to the pconn process at level 48,3 and 48,6
 - adds some additional documentation of code to the related call tree

  Pconn API after this patch :

The Pconn KEY takes several parameters (host, port, domain, client-ip).

For HTTP requests this is normally generated from the request data of
same name with domain being optional since it may be ientical to host.

However for peer-sourced requests this alters slightly and the host:port
fields become the peer NAME and HTTP-PORT.

This means the pconn key in abstract becomes a key to the TCP remote-end of
the link with an optional anchor on the domain being requested.

convert IpAddress.h to ip/IpAddress.h includes

Convert many IPAddress to IpAddress

Convert many IPAddress to IpAddress

Convert many IPAddress to IpAddress

Convert many IPAddress to IpAddress

Move IPAddress to libip.la

merge from trunk

Drop -V option obsolete since 2.6.

Untangle CacheManager reports from log_fqdn

The fqdnFromAddr() call depends on log_fqdn to generate the FQDN. But
CacheManager needs to always display it whenever available. This removes
the call indirection, dependency and makes Name: field only display when
a name is available.

see Bug 2557 for more details.

SourceLayout: move IPInterception into libip.la

Shuffle IPInterception into ip/

IP-Change Monitor routines only work in windows.

Make squid.conf show that requirement.

Language Updates

Fix pinger immediate shutdowns

pinger runs okay when started manually, but shuts down after a sucessful
startup when run by Squid. This was due to the last_request timer being
left at zero/epoch.

Initialize the last_check timer base correctly.

Auto-Document ZPH QoS code

Fix some QoS update build errors.

Also re-enables testbed testing of the QoS Features which prevented these
being caught earlier.

Author: Alexander Lukyanov <lav@yar.ru>
Bug 2330: allow keep-alive+chunked; don't add max-age for no-cache

Attached patch enables keep-alive for chunked transfer-encoding, as such
encoding allows to determine reply body end.

Also the patch disables adding of max-age to requests with no-cache flag. It
saves a few bytes and also makes less difference between the incoming and
outgoing requests. Max-age is obviously not useful for no-cache requests.

NP: amended after bug discussion to also skip adding of no-cache on
    internal calculation from local state which may not be correct
    down the line in other caches. (nocache includes local config settings).

Documentation updates

Author: Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug 2542: squid fails to resume dowload (and breaks content) when any ICAP filter is attached

In the case the icap client is enabled, the
ServerStateData::handleMoreAdaptedBodyAvailable called to handle the incoming
data from the ICAP server. Inside this function a StoreIOBuffer created to pass
the data to the related StoreEntry.

The bug is that the offset passed to the StoreIOBuffer did not count the 206
response offsets.
This patch uses the ServerStateData::currentOffset to compute the correct
offset (which also used in the case the icap client is not enabled).

Release Notes update for ZPH polish. pt2

Release Notes update for ZPH polish.

Polish ZPH configuration interface

This completes the ZPH patch merge for Squid 3.1. It makes significant
changes to the squid.conf options previously used.

ZPH controls are now formally called "qos_flows" with a set of options
to set individual output flow TOS based on the flow source. see squid.conf
documentation for details.

Since this is new IP-layer code it also places the new QoS code in a
directory src/ip/ and library libip.la inline with the planned source
layout model.

Merge from trunk

Bug 2537: ZPH support fails to build in FreeBSD

Language: Armenian

Smart pthread library linkage

Fixes linkage errors caused on some systes by a clash between the
DiskIO library not being in src/ directly and impicit linkage used
previously used by the auto-tools chain.

* Only link it to objects linking DiskIO which need it explicitly.

* Produce a fatal error message if its required but missing.

Author: Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug 2550: assertion comm.cc:350 !fd_table[fd].closing()

The tunnel.cc code when a connection (the server or client) is  closed set its
filedescriptor to "-1", and check if the filedescriptor is "-1" to decide if
the socket is still valid or not. This is not correct because maybe the socket
had closed but the comm_close handler was not called yet (The related AsyncCall
scheduled but not executed yet)
To check if a file descriptor "fd" is closed the fd_table[fd].closing() also
should checked.

Author: Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug 2508: comm.cc:2035 assertion fd_table[fd].closing()

The bug here is that the filedescriptor is not passed with the other
parameters to the asyncCall. If the filedescriptor closed before the asyncCall
scheduled the execution of the asyncCall will not canceled and the
ICAPXaction::noteCommConnected will try to read/write on a closed socket.

AYJ: Not entirely certain this fix and bug go together, but they appear
to and it definately fixes a different related assertion.

Language: Turkish

Language Updates: Japanese

Language Update: Serbian

Merge from trunk

One more compile fix

Make src/ip/ objects build.

SourceFormat Update

Author: Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug 2545: Segmentation fault when squid with icap server use a cache peer.

Merge from trunk

Author: Johnathan Conley <johnathan.conley@gmail.com>
Bug 2547: ipv6 compile error in OSX

Language Updates

Add back missing dependency on built DiskIOModules_gen.cc for make check

Various make dist/clean/distclean fixes. No code changes.

- Workaround for src ../test-suite/test_tools.cc dependency crashing
  make distclean. Automatically copy the file to src to compile.
- "make dist" fixes to not include generated files. Mainly involves
  moving them to a suitable nodist_..._SOURCES variable.
- "make clean" fixes to remove generated files
- Always recurse configure into sub-projects. make dist fails othewise.
- Removed fatal error from squid_kerb_auth configure if no kerberos
  lib found (also a fatal error at build time)

Author: Johnathan Conley <johnathan.conley@gmail.com>
Bug 2548: OSX compile error (duplicate symbol ACLStrategised)

Language Updates

Typo in squid_kerb_auth fix

Remaining build issues in HEAD tests.

Several missing symbols added to CommIO stub and extra smart storeio
checks to prevent duplicate object linkages when both async-io and
storeio are enabled.

Small typo in epoll configure.in magics

Author: Andrew Hoying <andrew_hoying@blm.gov>
Bug 2424: filedescriptors being left unnecessary opened

Various link errors in testDiskIO

TODO:
   Fix undefined reference to CommIO members
   discover whether any of the calls now stub'ed need to be used
   may need to pull CommIO out of comm.cc

Bug 2395: FTP auth errors not displayed

I appears to be the StoreEntry reporting an error on zero-length objects. This
somehow overrides the FTP reported error and aborts the reply page.

Add an extra check to prevent StoreEntry::complete() being called too
early on error responses.

Rollback rev 9253 from 3.1

This change to StoreIO overlooked the signedness of the StoreIO* length
parameter. It may have resulted in objects that should not have been
store making their way into the cache.

Caches created by 3.1.0.2 and earlier releases are known to contain many
invalid entries. Whether or not these entries are fatal to Squid is still
unknown. It is currently expected that they will be erased properly, but
cause a lot of cache.log warnings while that is happening.
It may be worth purging caches on upgrade out of these versions.

Bug 2526: default ALLOW when no list specified.

The expected behavior of ACL checking should cause an implicit default
deny state to be reached unless a terminating denial causes a state to
flip to allow.

A small logic flaw means that completely explicitly absent access control
list was flipped to ALLOW state.

It is believed that most security controls which have explicitly coded
defaults in ther configuration are not impacted by the bug or its fix.
Only empty delay pools and ICAP re*mods may have any change in behavior
as a result.

Kill useless use of goto

Kill useless use of goto

Correct LINUX_CAPABILITY actions on non-Linux

non-Linux should not set transparency OFF, just because they dont have
Linux syscap.

Also kill bad use of goto. Should have been an if-else sequence.

Better error reporting and detection for kqueue support

This only appears when built on Linux.

Merge from trunk

Many small fixes uncovered by the testbed layer #02

 - failover recovery for valgrind support
 - better error reporting and detection for epoll support
 - better dependency detection and handling for ESI support
 - ARP build error on FreeBSD
 - hack: silence build error on ZPH QoS support (TODO fix)

TODO:
 - fix ZPH support for BSD (Bug 2537)
 - comm symbol duplication failures under gcc 4.3.2

Real fix build errors in squid_kerb_auth

Seems my configure hack overlooked some auto-conf magic side-effects.
This moves most squid compat hacks into squid_compat.h for now.
Really fixes the current build issues in squid_kerb_auth with Squid.

Fix build errors in squid_kerb_auth

Some autoconf environments re-define macros and cause build errors.
This resolves all known issues with configure in the current package
interactions.

TODO: at least one syntax error in squid_kerb_auth basic code still
      remains to be fixed.

Revert configure quoting.

Turns out the suposedly extraneous quoting is required.

Also append success message to build so testbed can catch it and find
any error without having to enumerate all failure cases.

convert spnegohelp.h to Unix file format

Author: Christos Tsantilas <chtsanti@users.sourceforge.net>
Bug 2527: ICAP compile error with g++ 4.3.2

Fix various TestBed errors.

Failure to match the error: string properly and some bad options in the
layer-02 script was hiding a few bad configure and compile issues.

TODO: Most of the hidden bugs are also fixed by this patch. At least one
      remains though in the linking of some tests.

Fix cache_peer forceddomainname when request has a Host header

cache_peer forceddomainname=xxx only worked when the received request
did not have a Host header.

Bug 2525: invalid encoding of non iso-8859-1 error pages

Translation toolkit was not updating the content-type when bundling
translations. It has since been updated to a version which does 'tidy'
the output HTML.

Also updating the default templates ISO-8859-1 coding to UTF-8
to present a usable backup in case of such future failures.

Import initial code

Dist DiskIO modules.sh script

Various dist problems

Fix: no such file spnegohelp.h in squid_kerb_auth helper

Change snapshots build location

/tmp is no longer large enough for the snapshot and test build data
moving to the maintenance account.

Bug 2523: bad assertion

Ignore ska_config.h.in from squid_kerb_auth

Fix IPAddress not setting sin_len on BSD

Fix assertion in DskIO and Ufs unit tests

Classes whose initialization is implied from the presence of a soliton
do not get initialized when their soliton is hidden away in a library.
Only when the object is linked to a main app.

DiskIO modules are such and require a hook to probe the soliton before
initialization kicks off. This patch adds such a hook function which is
called from the manager setup function to probe all built modules and
ensure their existance and registration is done before initializing.

Also adds a lot of function documentation in various places.

Make squid_kerb_auth build out of tree along with squid

Correct debugs output on GetDenyInfo

deny_info pages are expected to be redirects sometimes.
It's only the particular lookup which can't use them.
Also they may not be a match anyway since test was done after warning.

Correct docs on httpSTatusLinePackInto

Re-enable COSS .h files for testing. .cc remain disabled.

Update squid_kerb_auth to 1.0.5

produces clean errors when headers are missing.
dist spnegohelp files.

Correct configure tests on squid_kerb_auth

Prep for 3.1.0.2

dist the translations and templates properly

COSS removal from Squid-3

I'm expanding the COSS 'removal' from just 3.0 to all Squid-3.
The hoped for work has not yet been presented. When someone is available
they need to revert this patch. - Amos

  We had a vote on this some (several) months before 3.0 got branched, and
  it was decided to drop COSS from the Squid-3.0 branch once branched.
  Then the branching got delayed, and this task was forgotten when it
  finally branched.

  Until COSS gets significantly updated it's counter-productive to ship it
  in STABLE releases. But the current code needs to be kept in trunk as
  reference on how things got refactored for the day the current COSS code
  gets forward ported to Squid-3.

  Regards
  Henrik

Author: Thomas-Martin Seck <tmseck-lists@netcologne.de>
Drop som bashism's from configure

Correct execute and write permissions from some files.

IPAddress tests and corrections.

Fixes two cases where GetSockAddr did not set sin*_len properly

Fixes configure tests for sin*_len

TODO: still to find and fix where we are getting on FreeBSD:
 SYS SS_LEN=16
 SQD SS_LEN=0    (should be 16)

Fix configure syntax error in squid_kerb_ath

Rollback abort, slipped in