Wrap C++ headers. Fixes define clash with libcompat

ostream and family were including sys/types.h which causes
FD_SET rediefinition with libcompat at times.
Current autoconf allows these headers to be wrapped and config.h
included before to prevent this and other things.

Auto-Docs: Add \cpptest directive

This is a custom directive just for squid.
It's used by adding to the declaration documentation of a function or
class method and listing the name of a unit-test function which
tests the documented function/method. It may be used multiple times
in a single function if there are multiple unit-tests for it.
Though in general multiple unit-tests sequences should be done in one
testing function.

Dont stop on missing epoll.h

Author: Peter Pramberger <peter@pramberger.at>
Bug 2656: Pinger dies with general protection fault

tzset() explicitly performs actions previously done implicitly
by localtime() in most case. It appears that some VM do not have
the implicit setting so we need this.

Bug 2650: configure requires epoll_ctl in libepoll when --enable-epoll used

Debug() in cachemgr needs to be wrapped for if-else

Author: Philip Allison
Bug #2615 fix: Call libecap::adapter::Service::start() when finalizing config.

regression fix, Bug #2583: pure virtual method called

Remove the assertion check for virginHeadSource in
ClientHttpRequest::~ClientHttpRequest().
Waiting for a better fix (if the bug is still present...)

Add the icap and ecap libraries to libadaptation dependencies

regression fix bug #2583: pure virtual method called

The applied patch hid the problem, did not fix it.
This patch removes the applied patch and instead add an assertion check in
ClientHttpRequest::~ClientHttpRequest destructor just before call the
Adaptation::Initiator::announceInitiatorAbort method.

bug #2652 and bud #2385: "tunnelReadServer: FD xx: read failure: (0) Success" error message

-Method TunnelStateData::Connection::error:
   The xerrno is the errno values (EAGAIN, EINTR etc) not a COMM_XX error/flag.
- Methods TunnelStateData::writeServerDone,TunnelStateData::writeClientDone:
  if the related connection fd closing (flag==COMM_ERR_CLOSING) just return

Handle several IO errors cleanly.

Remove infinite loop in MSNT auth helper

On one starting error condition the helper enters a read loop
without exit conditions. Made this exit when read was done
and shutdown helper as per behavior comment by the loop.

Also removes one useless goto.

Fix dependencies in DiskIO

It appears the slightly broken teastheaders was previously hiding
several header definition and protection bugs. Now found and fixed.

Author: René Geile <rene.geile@t-online.de>
Fix incorrect name of digest_pw_auth helper

via Debian project
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=517528

AutoDocs: Exclude test build directories

Include dependencies for ClientInfo

Various other issues in calling testHeaders

Correct use of custom target testheaders:

 - Adds use of .PHONY in all files the do the test
 - Fixes dist breakage after automake changes

Fix many syntax warnings in smb_lm

Now compiled with the same CFLAGS as the rest of Squid.
This is tested up to gcc 3.4 standards now. Some may still
be raised by later gcc versions.

 - fixes const correctness on several functions and globals
 - fixes .h wrapping on several files
 - adds prototype definitions for all functions
 - adds several missing includes
 - adds docs for some functions to auto-doc output

TODO:
 Not all code audited, only the bits shown broken right now.
 This helper contains a large amount of nasty duplicate code
 and re-implements several encryption algoritms that should
 probably be sourced from secure places.

Author: Mikio Kishi <mkishi@104.net>
Enable TPROXY v4 spoofing of CONNECT requests

with some code polish sourced from ViSolve

Fix several smb_lm Macro errors

This patch reduces local variable names from UPPER case to lower.
Preventing clashes with previous systm defines. In this case only
DOMAIN and SERVER were actually clashing. But reduced all for safety.

Also wraps system includes with HAVE_ macros inline with Squid policy.

Revert rev9648. Bzr malfunction caused bad attribution

Kill bashism in testheaders.sh

Detected by NetBSD Project pkgsrc app.

Many small fixes uncovered by the testbed layer #02

 - failover recovery for valgrind support
 - better error reporting and detection for epoll support
 - better dependency detection and handling for ESI support
 - ARP build error on FreeBSD
 - hack: silence build error on ZPH QoS support (TODO fix)

TODO:
 - fix ZPH support for BSD (Bug 2537)
 - comm symbol duplication failures under gcc 4.3.2

Detach automke system from using -I.

That path include allows unsafe header collisions on case-insensitive
file systems.

Uses src/Common.am in all makefiles now to provide build paths and flags
correctly to all parts of Squid.

TODO:
  fix several code warnings now present due to CFLAGS being used
  on some helper code which had omitted to use them previously.

  check that libTrie and squid_kerb_auth are not affected as well.

Author: Hasso Tepper <hasso@estpak.ee>
DragonFly Support for PF

Received via NetBSD project.

NetBSD Maintainer says:
 "pfvar.h part came from DragonFly people."

Their CVS log attributes says, the fix is from hasso@estpak.ee:

| Fix two problems reported by Hasso Tepper via PR pkg/39554.
|
| * DragonFly support.

(other not relevant to this patch)

Author: Unknown - NetBSD Project
NetBSD uses machine/byte_swap.h for endian defines

Author: Hasso Tepper <hasso@estpak.ee>
Fix OpenSSL portability problem

Received via NetBSD project.

Their CVS log attributes says, the fix is from hasso@estpak.ee:

| Fix two problems reported by Hasso Tepper via PR pkg/39554.
|
| * OpenSSL portability problem.

(other not relevant to this patch)

Author: Unknown - NetBSD Project
Fix bashism in squid_kerb_auth helper configuration file

Found by NetBSD project pkgsrc tool.
Author of that tool is Roland Illig (rillig@netbsd.org).

Author: Unkown - NetBSD Project
Fix pinger install location

Cleanups: Shuffle ClientInfo into a class

 - upgrade struct+typedef to public class
 - gets its own header as pre-requisite to Logs SourceLayout

Author: Bertrand Jacquin <beber@meleeweb.net>
Make gcc-4.3 happy with strdup/strndup

Several casting void* to char* fixed.

Regression Fix: ident open failure: Address already in use

Alterations in 3.1 caused the ident port opening to attept binding 3128
which was already opened by Squid.

This returns to the previous random port selection.

Bug 2491: assertion failed: refresh.cc: "age >= 0"

Assertion was in the wrong place. If seen in Squid after this patch
please re-open the bug report and provide more details to track it down.

Cleanup magic buffer sizes in helper.cc

Was an pair of 8KB magic numbers. Not made a single define with comments
to indicate what it is.

Bug 2536: %H in error page ERR_DNS_FAIL is not filled on HTTPS

Bug 2635: Incorrect Max-Forwards header type

Bug 2610: Detection and verification of ipfilter header files is incorrect

After much contention reg Solaris and FreeBSD the union between them
seems to be this:
 - adding netinet/in.h
 - adding netinet/ip_fil_compat.h (alternative to netinet/ip_compat.h)
 - testing for netinet/ipl.h before netinet/ip_nat.h

Bug 2571: Squid with IPv6 fails to start on kernel without IPv6

Adds comm_open_listener() wrapper to perform IPv6/IPv4 failover on sockets
intended for listening only. Uses the wrapper in all places I can be sure of.

Open a port specially bound for listening or sending through a specific port.
This is a wrapper providing IPv4/IPv6 failover around comm_openex().
Please use for all listening sockets and bind() outbound sockets.

It will open a socket bound for:
  - IPv4 if IPv6 is disabled or address is IPv4-native.
  - IPv6 if address is IPv6-native
  - IPv6 dual-stack mode if able to open [::]

When an open performs failover it update the given address to feedback
the new IPv4-only status of the socket. Further displays of the IP
(in debugs or cachemgr) will occur in Native IPv4 format.
A reconfigure is needed to reset the stored IP in most cases and attempt
a port re-open.

bug #2578: squid fails to resume dowload from FTP

The ftp code uses the FtpStateData::restart_offset and
FtpStateData::restarted_offset to compute the offset in the case of
partial responses, but it must also set the
ServerStateData::currentOffset member variable.
This patch:
  - completely removes the FtpStateData::restarted_offset member and uses
    the ServerStateData::currentOffset member variable instead.
  - adds the FtpStateData::setCurrentOffset(int64_t) and
    FtpStateData::getCurrentOffset() public methods to allow set/get the
    ServerStateData::currentOffset value

Bug 2276: Too many queued ntlm authenticators running

This enforces the admin configured number of helpers as a maximum number
running by calculating how many helpers have died and need restarting.

Detatch debugs() from many of its dependencies

 - makes cache.log independent of the other logging systems
 - adds debug_options rotate=N setting
 - moves debug-specific globals and types into Debug::

TODO:
  remove remaining dependancy on shutdown flag
  polish up namespace etc for libdebug

Prep for 3.0.STABLE14

Update man page.

 - reference the wiki FAQ URI
 - reference the generic configuration manual URI
 - add documentation about other config files now visible
 - add -S option documentation
 - remove -D option documentation
 - alter the main text to reference ICP, HTCP, CARP and ICAP protocols
   which are now readily available in Squid.
 - removed references to obsolete dnsserver and its operations.
 - generalized text about helpers
 - removed reference to I/O driven (Async events is not true I/O driven)

Bug 2628: Need way to override DEFAULT_PID_FILE

Adds ./configure option --with-pidfile=PATH
to set the default name and location of squid.pid

TestBed: cause slave builders to cleanup after themselves

SourceLayout: src/base, take 1 -- moved remaining Async* files to src/base/

SourceLayout: src/base, take 1 -- moved remaining Async* files to src/base/

Merged from trunk.

Author: Various Translators
Language Updates

Author: Olivier W.
French Translation Updates

Merge from trunk

Prep for 3.1.0.7

HTTP 1.1: Forward OPTIONS requests properly

Bump the max_forwards type to 64-bit to cope with wider range of values.

NP: still no internal handling of OPTIONS requests, but this will
    forward them according to RFC 2616 requirements.

Minor cleanup

Author: Source maintenance
Source Format enforcement

Real quiet cache.log when TPROXY and NAT both active

Fubar. remove r9617

Quiet cache.log when TPROXY and NAT both active

Windows port: Added a note about installation on Windows Vista and later

The debug mode option '-d' was not documented in LDAP helpers usage message

Purge last remnants of inet_ntoa

 - Now fully replaced by IPAddress::NtoA and inet_ntop()
 - No need for the third-party emulator and license either

Currently the fs related subsystem is broken in trunk, because of
linking problems. This patch:
 - Add the files fs/Module.cc,h which are similar to esi/Module.* files
 - Build a new library libfs.a
 - The  fs/aufs/StoreFSaufs.cc, fs/diskd/StoreFSdiskd.cc and
   fs/ufs/StoreFSufs.cc now contain just fake pointers
 - The FS::Init() method used to build  ufs, aufs and diskd filesystems.
 - The FS::Init method called in main.cc before the code which reads the
   config files. The FS::clean() currently does not used.
 - The coss file system initiated using the old way.

AutoDocs: Upgrade to 1.5.8 and fix many doc errors.

Biggest change to note is a cleaner way to do lists of items in function
docs as follows:

/** blah blah:
 *  - foo
 *  - fu
 *  - fish
 */

Disable HERE prefix calculation heuristic if it does not work instead of
asserting that the heuristic always works (it does not).

Polished comments.

More work needed to come up with a better heuristic.

Polich Intercept code.

 - cleans up some obscurity over data source and sink for me/client IPs.
 - cleans up existing debugs
 - adds new debugs to show NAT inputs and results at level-5
   (non-result is common and left at level-9)
 - adds new dbugs to show TPROXY result at level-5 like NAT results

Windows port: Modified the base registry key tree

Windows port: Added support for Windows 7, Windows Server 2008 R2 and later

Windows port: Fix PSAPI.DLL usage, is always available on Windows NT and later

Fix build error in IpfInterception()

Add to the squid binary dependecies the snmplib, the adaptation lib, the
esi lib and the common libs to force the squid binary rebuild when
one or more of the above libraries are changed

In ACLFilledChecklist::ACLFilledChecklist constructor the HttpRequest
parameter hides the ACLFilledChecklist::request member.
As a result acl's do not work at all and some cases squid crashes
(eg when dstdomain acls used)

Imporing the AuthReg.cc file. This file is a hack to force required
libraries and object files under the auth/* included in main squid
executable.

Remove distcheck again. accidentally slipped in

Fix: global flag is reconfiguring not restarting

Bug 2518: assertion failed: comm.cc:1519: "F->flags.open"

Not seen in a while. I suspect its hiding behind a fixed F->closing()
test, so the whole if test may be obsolete.

Applying in order to close the bug with surety and sync the conditions on
shutdown and restart-closing.

Fix ident errors. Not all USE_ macros are #ifdef

Author: Francesco Chemolli <kinkie@squid-cache.org>
Bug 1868: bad HTTP 207 status string

Added Multi-Status header string.

TestBed: Add various undefined errors to reported

Move registration code of max_user_ip, proxy_auth and proxy_auth_regex
acls from src/auth/Acl*  into the src/AclRegs.cc

The defines ENABLE_SSL, ENABLE_ARP_ACL, ENABLE_IDENT are never defined.
The correct defines are USE_SSL, USE_ARP_ACL and USE_IDENT respectivelly

Fix the wrong "ifndef" in the beggining of the ExtUser.h file.
The old "SQUID_ACLIDENT_H" refers to the include file "acl/Ident.h"
causing problems when both files included in a source file.

inside the IpAddress::IpAddress(IpAddress *s) constructor, the line
"operator=(s)" causing the constructor to recursively call itself,
causing segmentation fault.

Fix more typos in intercept

Fix build error in Acl*Checklist

Typos in intercept

Updates

dist some languages missing from make

Sync with Rosetta Project

Updates auto-save

Shuffle PF interception into its own function.

With this all of the transparent build options are independent, and may be
used in any combination. Squid is no longer bound to the single-firewall
interception support.

NP: one small note the PF lookup is slightly weird due to its altering
the local client address from the NAT information.

Bug 2618: fix ipfilter transparent proxy

Moved IPF lookup into it's own function to take advantage of shared
intercept logics preparation.

Thanks to John Wehle <john@feith.com> for providing the code fixes.

Fixed typo: checkCallback should call the parent checkCallback method and
not itself.

Polish on Coverity fixes.

Typo on array size remained.

And IPAddress operator proved to be unneeded. Now killed completely.

SourceLayout: esi/, take 1

Moved src/ESI* files into src/esi/.
Renamed ESI source files from ESIFoo.{cc,cci,h} to Foo.{cc,cci,h}.

Replaced implicit constructor-based Parser registration with an explicit call
to Esi::Init() which knows of all ESI parsers. Added Esi::Clean counterpart.

Made libTrie build conditional on ESI support being enabled.

No true source code changes except for parser initialization.
No functionality changes were intended.
No runtime tests with ESI performed.

TODO: I did not move the tests/ESIExpressions test into src/esi because
we need to fix the entire testing layout before we should start
moving individual tests: They currently depend on individual source
and object files in src/ and in tests/ and that kind of dependency
should not be multiplied but removed.

TODO: Move ESI types into the Esi namespace.

Merged from trunk.

Various errors detected by Coverity scan

Coverity detected buffer access error

Defined values for SNMP error use decimal values 0-9, 17-24 not 0-19.
Thus the static list of message mappings is out by 6.