SourceLayout: pull ARP operations into libeui

This separates the current code for ARP lookup and encode/decode.
Also makes the code buildable without fatal build errors on
non-supporting systems. A loud run-time error is generated if related
features are attempt use on non-supporting systems.

FUTURE WORK:
  * unit-tests
  * on-demand lookups and logging of MAC/EUI-48 for a client
    similar to how ident is done.
  * on-demand passing MAC/EUI-48 to external_acl_type helpers
  * EUI-64 for IPv6 support.
  * Increased ARP support on other OS.

Bug #2628: Correct default log location to ../var/logs/squid.pid (same as logs)

Bug 2795: acl arp lookups including port

ARP lookup sockaddr need to only contain the fields being tested for.

Author: Jakub Wilk <ubanus@users.sf.net>
Typo in squid.conf directiry/directory

Debian http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=550402

Bug 2794: ESI parsing fails on FreeBSD

Fix bug in the ESI expression parser which prevented it from working properly on
non-glibc platforms.

SourceFormat Enforcement

Implement testsuite parallelization on FreeBSD and testsuite parallelization override.

Fix some castings caught by gcc4.3

Get getpwnam helper name right

Update cf.data sed pattern

libTrie test unit requires math library on BSD.

Author: Alex Rousskov <rousskov@measurement-factory.com>
Bug 2791: assertion failed: MemBuf.cc:400: new_cap > (size_t) capacity

Limit input buffer reads to the avilable space.

Author: Various Translators
Language Updates

 - Also updated all .POT
 - Also add some po4a pieces for the manual translation.

Merge from trunk

Rosetta imports

Updates

Add missing casts detected by OpenBSD

Define top_build_prefix fro use by LTDL

Linux LTDL v3-v7 macros assume the autoconf 2.62 variable top_build_prefix
is defined. But from autoconf 2.64 it's called ac_top_build_prefix and not
automatically added to the Makefile.

There seems to be no harm with sustituting it manually under autoconf 2.61 and 2.62

Helpers: Upgrade Basic Auth NCSA helper

- C++ Build with libcompat
- Rename basic_ncsa_auth
- Update CRYPTLIB definition.

TODO: there is some cleanup still needed relating to CRYPTLIB
the current definition may include -lmd5 as well
and Kerberos library define may duplicate both -lcrypt and -lmd5
in the guise of SSLLIB

squid.conf polish pt 2

- Push many of the remaining commented config lines out of the default
  config and into documentation examples.
- Adds whitespace and some extra comment lines to needed config texts
  to improve readability.

TestBed: Add test layer for code with optional missing libraries

Bug 2724: alLogformatHasIcapToken exposed with --enable-ecap

Wrapping logic error opened the initialization of this ICAP-only variable
to be set when eCAP-only builds enabled adaptation.

Bug 2792: tcp_outgoing_addr does not work with TPROXY

Helpers: Upgrade squid_ldap_auth / basic_ldap_auth

- Rename to basic_ldap_auth
- C++ build with link to libcompat
- Add OPTIONS section to man(8) page
- Tweak libldap and liblber configure naming convention.

TODO: check that removal of miscellaneous libraries (XTRA_LIBS) has
      not removed anything important to this helper. If so add back
      the individual library needed, not the whole lot.

Helpers: Upgrade getpwnam_auth

- Rename to basic_getpwnam_auth
- C++ build linked to libcompat
- Adds man(8) page

Add omitted DB/config.test

Locate generated helper man(8) files during snapshot

ESI: correct libxml2 path detection before header tests

- Shuffles the path detection up to before its needed.
  This consolidates libxml2 tests and slightly speeds up some configure runs

ESI: protect build from missing libraries correctly

 - detect the libexpat and libxml2 headers.
 - wraps the code includes according to Squid guidelines
 - wraps the library API modules for build only when library is present

SourceFormat Enforcement

Generate squid.conf.default with just the configuration data & comments

forward-port from squid-2

Helpers: add release notes section

Helpers: Update the basic auth DB helper to new scheme

 - convert to basic_db_auth
 - add config.test to build when possible (depends on perl)
 - adjust dist generation so snapshot can publish the .8 page

ESI detection pt 3: proper --with option support.

 - makes the --with-expat and --with-xml2 REQUIRE the presence of the
   library a fatal error is output if they are required and missing.

 - makes ESI always build with internal processor when --enable is used
   only failures of the above --with-* will kill ESI builds in configure.

Author: nglnx - Rosetta Project
Language updates: Portuguese manuals

Add build options to control ESI libraries.

Also;
 - disconnect the libraries from linking to binaries they dont need to.
 - enable automatic build testing of ESI code since missing libraries are
   no longer fatal.

Prep for 3.1.0.14

SourceFormat Enforcement

Make ESI parser modules expat and libxml2 dependent on their libraries

The ESI parser system is actually pluggable. There is no reason we should
require expat and libxml2. Just build what works.

Todo: Add an option to force the desired parsers.

Author: Adrian Chadd <adrian@squid-cache.org>
A tproxy cache cluster (eg behind WCCPv2) can't peer.

The issue stems from the forwarding logic creating source address spoofed
sockets to destinations that are inside the cluster. Since the WCCPv2
router won't redirect packets with an origin of the proxy MAC (at least for
L2 peering), source spoofed packets go out and are routed normally. The
packets back from the destination peer have a remote end of the spoofed IP,
and are instead sent to teh original client rather than the proxy.

The forwarding logic needs to be taught to optionally enable tproxy source
spoofing on connections based on a peer flag.

Just for completeness - tproxy'ed connections to a upstream or peer proxy
which is -outside- of the WCCPv2 tproxy cluster work fine.

Author: Markus Moeller <huaraz@moeller.plus.com>
Add KRB5INCS to INCLUDES

Needs to be global because we use the kerb5 com_err.h hack globally
through the libcompat headers.

NP: There should be a compat/*.am for these I guess...

Bug #2773: Segfault in RFC2069 Digest authantication

Squid segfaulted if digest authentication is enabled an a client responded
with RFC2069 style response.

Remove unused DEFAULT_MIB_PATH variable

Bug 2777: Don't know how to make target `-lrt' on OpenSolaris

Update release notes for ignore-cc option

Update .POT after ERR_DIR_LISTING change

Merg from trunk

Cleanup: debug display current IP of a set cleanly

Correct debugs on ACL IP parse

Bug 2601: pt 2: Mixed v4/v6 src acl leads to TCP_DENIED

 - Remove 'odd' netmask support from ACL.
 - Fully deprecate netmask support for ACL.

Earlier fix caused inconsistent handling between IPv4 and IPv6 builds of
Squid. Which has turned out to be a bad idea.
This fixes that by 'breaking' both build alternatives.

see also bug 2141 for long-term tracker.

Bug #2777: Various syntax warnings detected on OpenSolaris.

Install error page templates properly.

The new install make code was failing to install the template/ directory
required for Squid to run.

It was also using the wrong variable to install translated content. Thus
installing the english template files in place of the translated ones.

Author: Luigi Gangitano <luigi@debian.org>
Bug 2779: Support GNU/kFreeBSD

Author: Peter Pramberger <peter@pramberger.at>
Bug 2761: Gopher and double HTTP response header

Make Directory Listing template generic

Correct docs on NAT

Fixup uninstall squid.conf race by comparing with built files instead of .default

SourceFormat Enforcement

Make ESI behave reasonable when built but not used

- Move (and extent/correct) hardcoded CC ignore to a new http_port
  option ignore-cc

- Limit Surrogate-Capability header addition to accelerated requests.

Author:  Philippe Lantin <plantin@cobaltgroup.com>
Bug #2624: Invalid response for IMS request

Squid forgot to verify the client provided If-Modified-Since when
seeing a 304 from upstream.

Remove 'NAT' lookup restrictions from TPROXY lookups.

Now that TPROXY can do v6 we only need to protect the real NAT lookups
behind protocol family tests.

Author: Source Maintenance
SourceFormat enforcement

Bug 2483: bind() called before connect()

Many of the occasions Squid was calling bind() are not required. This
reduces the bind() calls to only those which are actually needed.

Further optimization can be done in a future version to drop the paranoid
and slightly performance degrading safety checks for instances of Squid
binding ANYADDR without listener status, and attempting to bind NOADDR.

Use close() instead of shutdown() on socket FD

Workaround com_err.h C++ brokenness triggered by OpenSSL includes

Split some asserts with side-effects

assert expressions should not have any noticeable sideffects or otherwise
be important for the program flow operation. If not unexpected results is
seen from compiling with -DNODEBUG

Remove initializer of non-existing tproxy_version field

Remove the suggesting hinting that one may end http_access with "allow all".

Just mentioning "deny all" is sufficient, and less risky..

Correct a mistyped asser usin = instead of ==

in this case completely harmless but still wrong..

Author: Various Translators
Language Updates

Updte zh-cn to latest .pot

New credits for Rosettatranslators

zh-cn updates from Rosetta

Auto-detect the amount of TPROXY support available.

Uses the configured port address type to determine the level of testing
done. Systems with IPv4-only TPROXY (kernel 2.6.28 to 2.6.3*) will have
their ports reduced to IPv4-only, and those with IPv6 support will see
the port open as IPv6. This is done a run-time to cater for patched kernels
and kernel upgrades underneath Squid.

Bug 2768 -  squid_ldap_group argument parsing error

-K is a boolean argument and should not eath the next argument as data.

Merge from trunk

Correct peer connect-fail-limit default of 10

Revert garbage slipped into rev9971

Detect et/com_err.h

AutoDocs: fix some documentation macro errors.

Author: Markus Moeller <huaraz@moeller.plus.com>
Auto-detect kerberos error_message functions

Bug 2215: config file line length limit

Prevent squidclient sending two Accept: headers

Bug 2722: http_port accel combined with CONNECT has bizarre behaviour

Drop the documentation backup method for doxygen.

ignore missing dyn when building code guide

Bug 2735: Incomplete -fhuge-objects detection

Clean up COSS warning logics

Author: Henrik Nordstrom <hno@squid-cache.org>
Bug 2510: digest_ldap_auth uses incorrect logic with TLS

Prep for 3.0.STABLE19

Fix segfault parsing cache_dir with IOEngine= set

Correction: TPROXY cant pass to an IP. Fully enable.

Partially enable IPv6 TPROXY support.

Balabit are now providing patches to do TPROXY with IPv6.

This retains the v4-only behaviour of the wildcard and IPv4 adresses
until full kernel support is available  but enables people who have
patched their kernels to set an IPv6 in the http_port.

Back to using suffix rule for the error translations. % make rules is not POSIX.

Bundle helpers for url_rewrite

Adds the --enable-url-rewrite-helpers configure time option.
see release notes or ./configure help text.

Bundles two 'fake' helpers with exemplar code for shell and C++ coding:

 url_fake_rewrite
- C++ helper with old non-concurrent protocol.

 url-fake-rewrite.sh
- shell helper with concurrent and non-concurrent protocols.

Also, some polishing is done to debug code for helpers.

Author: Markus Moeller <huaraz@moeller.plus.com>
Support Kerberos login to peers

In some setups the upstream proxy requires a secue authentication method
(Negotiate, NTLM). Allow this with Negotiate/Kerberos.

Bug 2570: wccp2 "Here I Am" announcements not sent

There is a bit of re-work in configuration needed before this can go into
the storage config scope where it belongs. Temporary fix for 3.1.
see bug report for details.

Fix dist issue in errors/

Fix compile bugs in errors/

Cleanup automake-foo a bit in errors/