Multi-Lingual FTP directory listing

This replaces hard-coded FTP directory page with dynamically loaded
'error page' same as all other FTP result HTML outputs.

This has the added benefit of making the page HTML standards compliant,
CSS branded, and presentable in any of the auto-negotiated languages.

Support format tags in deny_info URLs

This enables a certain level of dynamically generated redirect. Using
deny_info and ACL controls for selective controlled requests.

Usage Examples:
 * redirect from domainA to domainB while retaining original URL path
 * stripping port from requests while retaining protocol, domain and path
 * adding tokens into requested URL from external_acl_type helper

Wider support for EUI

 * Logging
 * external ACL helper tag
 * EUI-64 from IPv6 SLAAC addressing
 * run-time option to enable/disable lookups

Make cf_gen header self-complete.

Correct ESI library build options.

Bug 2795: pt 2: ARP lookups require IPv4-only socket on Linux/Solaris

Temporary patch forcing LINUX_TPROXY2 disabled if requirements unmet.

will be redone later to properly wind up dependencies and enabling of LINUX_TPROXY2 & friends.

Prep for 3.0.STABLE20

Remove obsolete --disable-caps configure option

SourceFormat Enforcement

Forward-port of STORE_META_OBJSIZE swapout from squid-2

Minor quoting error in TPROXY autoconf foo

Use libcap functions instead of raw kernel interface

Rework the Linux capabilities code to use the more stable libcap interface
instead or raw kernel syscalls.

Take two, making sure there is a sufficiently recent libcap-2.09 or later.

Correct use_libcap internal variable setting when auto detected

Cosmetic cleanup of --without-libcap message

The old caps option was --disable-caps, not --without-caps...

Properly rename --without-caps to --without-libcap, but keep the old as a backward compatibility option

Don't try to write autoconf snippets when having a fewer..

Correct AC_CACHE_CHECK use regarding sys/capability.h brokeness test

Attempt to get the --with-libcap logics correct

Activate libcap changes again

Merged from trunk

Correct squidclient 64-bit POST fix that should work on 32-bit LFS systems as well

64-bit filesize issue in squidclient if trying to post a file > 2GB

Fix bootstrap.sh false positive detection of libtool2

Searching for '2' matches and reports libtool2 on:
 * copyright year (20xx)
 * minor versions (1.*.2*)

Using two layers of the version lets us more reliably detect v2

Undo Linux libcap change. libcap not capable enough on some Linux versions (cap_clear_flag missing)

SourceFormat Enforcement

Use libcap functions instead of raw kernel interface

Rework the Linux capabilities code to use the more stable libcap interface
instead or raw kernel syscalls.

SourceFormat Enforcement

Remove PUSH_CAP macro, and fix #if/#endif for non-Linux platforms

Merged from trunk

Use libcap functions instead of raw kernel interface

Fix bits uncovered in libeui by CentOS

SourceLayout: pull ARP operations into libeui

This separates the current code for ARP lookup and encode/decode.
Also makes the code buildable without fatal build errors on
non-supporting systems. A loud run-time error is generated if related
features are attempt use on non-supporting systems.

FUTURE WORK:
  * unit-tests
  * on-demand lookups and logging of MAC/EUI-48 for a client
    similar to how ident is done.
  * on-demand passing MAC/EUI-48 to external_acl_type helpers
  * EUI-64 for IPv6 support.
  * Increased ARP support on other OS.

Bug #2628: Correct default log location to ../var/logs/squid.pid (same as logs)

Bug 2795: acl arp lookups including port

ARP lookup sockaddr need to only contain the fields being tested for.

Author: Jakub Wilk <ubanus@users.sf.net>
Typo in squid.conf directiry/directory

Debian http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=550402

Bug 2794: ESI parsing fails on FreeBSD

Fix bug in the ESI expression parser which prevented it from working properly on
non-glibc platforms.

SourceFormat Enforcement

Implement testsuite parallelization on FreeBSD and testsuite parallelization override.

Fix some castings caught by gcc4.3

Get getpwnam helper name right

Update cf.data sed pattern

libTrie test unit requires math library on BSD.

Author: Alex Rousskov <rousskov@measurement-factory.com>
Bug 2791: assertion failed: MemBuf.cc:400: new_cap > (size_t) capacity

Limit input buffer reads to the avilable space.

Author: Various Translators
Language Updates

 - Also updated all .POT
 - Also add some po4a pieces for the manual translation.

Merge from trunk

Rosetta imports

Updates

Add missing casts detected by OpenBSD

Define top_build_prefix fro use by LTDL

Linux LTDL v3-v7 macros assume the autoconf 2.62 variable top_build_prefix
is defined. But from autoconf 2.64 it's called ac_top_build_prefix and not
automatically added to the Makefile.

There seems to be no harm with sustituting it manually under autoconf 2.61 and 2.62

Helpers: Upgrade Basic Auth NCSA helper

- C++ Build with libcompat
- Rename basic_ncsa_auth
- Update CRYPTLIB definition.

TODO: there is some cleanup still needed relating to CRYPTLIB
the current definition may include -lmd5 as well
and Kerberos library define may duplicate both -lcrypt and -lmd5
in the guise of SSLLIB

squid.conf polish pt 2

- Push many of the remaining commented config lines out of the default
  config and into documentation examples.
- Adds whitespace and some extra comment lines to needed config texts
  to improve readability.

TestBed: Add test layer for code with optional missing libraries

Bug 2724: alLogformatHasIcapToken exposed with --enable-ecap

Wrapping logic error opened the initialization of this ICAP-only variable
to be set when eCAP-only builds enabled adaptation.

Bug 2792: tcp_outgoing_addr does not work with TPROXY

Helpers: Upgrade squid_ldap_auth / basic_ldap_auth

- Rename to basic_ldap_auth
- C++ build with link to libcompat
- Add OPTIONS section to man(8) page
- Tweak libldap and liblber configure naming convention.

TODO: check that removal of miscellaneous libraries (XTRA_LIBS) has
      not removed anything important to this helper. If so add back
      the individual library needed, not the whole lot.

Helpers: Upgrade getpwnam_auth

- Rename to basic_getpwnam_auth
- C++ build linked to libcompat
- Adds man(8) page

Add omitted DB/config.test

Locate generated helper man(8) files during snapshot

ESI: correct libxml2 path detection before header tests

- Shuffles the path detection up to before its needed.
  This consolidates libxml2 tests and slightly speeds up some configure runs

ESI: protect build from missing libraries correctly

 - detect the libexpat and libxml2 headers.
 - wraps the code includes according to Squid guidelines
 - wraps the library API modules for build only when library is present

SourceFormat Enforcement

Generate squid.conf.default with just the configuration data & comments

forward-port from squid-2

Helpers: add release notes section

Helpers: Update the basic auth DB helper to new scheme

 - convert to basic_db_auth
 - add config.test to build when possible (depends on perl)
 - adjust dist generation so snapshot can publish the .8 page

ESI detection pt 3: proper --with option support.

 - makes the --with-expat and --with-xml2 REQUIRE the presence of the
   library a fatal error is output if they are required and missing.

 - makes ESI always build with internal processor when --enable is used
   only failures of the above --with-* will kill ESI builds in configure.

Author: nglnx - Rosetta Project
Language updates: Portuguese manuals

Add build options to control ESI libraries.

Also;
 - disconnect the libraries from linking to binaries they dont need to.
 - enable automatic build testing of ESI code since missing libraries are
   no longer fatal.

Prep for 3.1.0.14

SourceFormat Enforcement

Make ESI parser modules expat and libxml2 dependent on their libraries

The ESI parser system is actually pluggable. There is no reason we should
require expat and libxml2. Just build what works.

Todo: Add an option to force the desired parsers.

Author: Adrian Chadd <adrian@squid-cache.org>
A tproxy cache cluster (eg behind WCCPv2) can't peer.

The issue stems from the forwarding logic creating source address spoofed
sockets to destinations that are inside the cluster. Since the WCCPv2
router won't redirect packets with an origin of the proxy MAC (at least for
L2 peering), source spoofed packets go out and are routed normally. The
packets back from the destination peer have a remote end of the spoofed IP,
and are instead sent to teh original client rather than the proxy.

The forwarding logic needs to be taught to optionally enable tproxy source
spoofing on connections based on a peer flag.

Just for completeness - tproxy'ed connections to a upstream or peer proxy
which is -outside- of the WCCPv2 tproxy cluster work fine.

Author: Markus Moeller <huaraz@moeller.plus.com>
Add KRB5INCS to INCLUDES

Needs to be global because we use the kerb5 com_err.h hack globally
through the libcompat headers.

NP: There should be a compat/*.am for these I guess...

Bug #2773: Segfault in RFC2069 Digest authantication

Squid segfaulted if digest authentication is enabled an a client responded
with RFC2069 style response.

Remove unused DEFAULT_MIB_PATH variable

Bug 2777: Don't know how to make target `-lrt' on OpenSolaris

Update release notes for ignore-cc option

Update .POT after ERR_DIR_LISTING change

Merg from trunk

Cleanup: debug display current IP of a set cleanly

Correct debugs on ACL IP parse

Bug 2601: pt 2: Mixed v4/v6 src acl leads to TCP_DENIED

 - Remove 'odd' netmask support from ACL.
 - Fully deprecate netmask support for ACL.

Earlier fix caused inconsistent handling between IPv4 and IPv6 builds of
Squid. Which has turned out to be a bad idea.
This fixes that by 'breaking' both build alternatives.

see also bug 2141 for long-term tracker.

Bug #2777: Various syntax warnings detected on OpenSolaris.

Install error page templates properly.

The new install make code was failing to install the template/ directory
required for Squid to run.

It was also using the wrong variable to install translated content. Thus
installing the english template files in place of the translated ones.

Author: Luigi Gangitano <luigi@debian.org>
Bug 2779: Support GNU/kFreeBSD

Author: Peter Pramberger <peter@pramberger.at>
Bug 2761: Gopher and double HTTP response header

Make Directory Listing template generic

Correct docs on NAT

Fixup uninstall squid.conf race by comparing with built files instead of .default

SourceFormat Enforcement

Make ESI behave reasonable when built but not used

- Move (and extent/correct) hardcoded CC ignore to a new http_port
  option ignore-cc

- Limit Surrogate-Capability header addition to accelerated requests.

Author:  Philippe Lantin <plantin@cobaltgroup.com>
Bug #2624: Invalid response for IMS request

Squid forgot to verify the client provided If-Modified-Since when
seeing a 304 from upstream.

Remove 'NAT' lookup restrictions from TPROXY lookups.

Now that TPROXY can do v6 we only need to protect the real NAT lookups
behind protocol family tests.

Author: Source Maintenance
SourceFormat enforcement

Bug 2483: bind() called before connect()

Many of the occasions Squid was calling bind() are not required. This
reduces the bind() calls to only those which are actually needed.

Further optimization can be done in a future version to drop the paranoid
and slightly performance degrading safety checks for instances of Squid
binding ANYADDR without listener status, and attempting to bind NOADDR.

Use close() instead of shutdown() on socket FD

Workaround com_err.h C++ brokenness triggered by OpenSSL includes

Split some asserts with side-effects

assert expressions should not have any noticeable sideffects or otherwise
be important for the program flow operation. If not unexpected results is
seen from compiling with -DNODEBUG

Remove initializer of non-existing tproxy_version field