Initial support for breaking the "do all queued I/Os" loop.

Initial support for breaking the "do all queued I/Os" loop.

As the old TODO explained, it is necessary to break the loop to
give IpcIo notifications and other Squid process activities to
progress when many I/Os are queued or after a slow I/O blocks
the disker process for a while. More work is needed to break
based on cumulative I/O time rather than I/O count.

Added and polished debugging.

Made FewToFewBiQueue::peek() check both incoming and outgoing queues
to find the oldest queued value. This may help when the delay is on
our side (i.e., we are not receiving or processing completed I/Os fast enough).

Disable Rock store and shared memory cache if shared memory is not available.

The patch adds support for building on systems without POSIX shared
memory (e.g. OpenBSD).  IpcIo DiskIO module and Rock store is not
enabled by default if shared memory support is not available.  If IpcIo
or Rock store is explicitly enabled, but no shared memory support is
available, fail with error during configure.  Fail with error at
runtime if shared memory cache is enabled but no shared memory support
is detected.

Fixed overflow testing assertion.

Merged from parent (trunk r11672, v3.2.0.10+).

Fix 'make check' with GCC 4.5.

Stop Squid-2 automatic daily bundles

Quiet trace output on snapshot generation.

Fix signed/unsigned comparison warnings in MmappedFile on some systems.

Fix warning in Ipc::Mem::Segment::reserve() on systems with unsigned off_t.

s/fileno/filen/ in Rock store code to avoid conflicts with fileno(3).

Apparently, older GCC versions include more standard headers than it
should which causes build failures.

Portability: work through top_builddir. builddir can be undefined

Optimize: miss_access absent from config is allow

Fix Rock store test build error with GCC 4.1.

Added stub for Ipc::TypedMsgHdr and link with it instead of the whole libipc.

negotiate_wrapper_auth: fix warnings on MacOSX by simplification

 * fold several if statements down to avoid compiler warnings
   about potential use-before-set of 'length'.

 * remove static err variable as unused once its cases are
   folded down to one if statement.

Fix build errors when IpcIo DiskIO module is disabled.

Add USE_DISKIO_IPCIO configuration macro and do not build
IpcIo-related Ipc::Strand code when the DiskIO module is disabled.

Fix build errors when ICMP pinger is enabled.

Inline YesNoNone constructor to allow using SquidConfig structure
without linking cache_cf.o.

Fix build errors when internal DNS is disabled.

Rock store uses *_time_msec functions, so remove !USE_DNSSERVERS
conditional compilation check around them.

Fix Rock store test linking error when cache digests are enabled.

Add configure check for shm_open(3) in librt.

This is needed for Linux when building with minimal configuration.

Bug 2662: cf_gen failure when cross compiling

Adds support for "./configure HOSTCXX=foo" to specify a host compiler
to build cf_gen with. If none is specified the normal build compiler will
be used.

ntlm_fake_auth: helper protocol fix on Windows

strncasecmp is not available on MinGW. Use strncmp instead
and rely on squid to send properly-capitalized commands.

cf_gen requires cstdlib for exit() definition

SourceFormat Enforcement

Update cf_gen objects to use STL containers and extend syntax for DEFAULT*

Removes all need for explicit memory management of the parsed tree.

Alters DEFAULT: tag to allow multiple line values to be pre-defined.

Adds DEFAULT_DOC: tag to allow text description of a default in the documented
versions of config file instead of explicit code-level values.

Also updates the output slightly so cf_parser.cci conforms to the current
coding style gidelines.

Typo in rev.11661

Bug 3213: https sites (CONNECT) not open when using NTLM

SourceFormat Enforcement

Bug 2279: Log Format options to log server source IP and port

 * Add %<a and %<p log format tokens

 * Remove log_ip_on_direct configuration directive

 * Rename %la to %>la and %lp to %>lp

 * polish log format tokens and documentation

 * de-duplicate tunnel.cc and forward.cc updateHierarchyInfo() code.

This last is the only logic change. It involved creating hier.note()
and shuffling bits of code around inside forward.cc to ensure
connection setup had a single function, startConnectionOrFai(), which
began the server connect process for all destination changes.

Bug 3288: regression in %<la and %<lp

Fix logformat token initialization

Doxygen style updates

It appears that doxygen 1.7.4 takes the header HTML we give it and 'fixes'
missing tags before appending the footer we give it.

Converts the bulk of cf_gen to C++ OOP code.

* char* tree members to std::string. Which eliminates xstrdup() and
  xis*() calls.

* structs to classes and replaces calloc/free with new/delete.

* link cf_gen_depends.cci directly to autoconf.h defines.

The result of these is that we can erase the dependencies on util.h,
time.cc, config.h, libcompat.la, libmisc.la and other libraries.
Directly fixing seevral build and cross-compile issues that keep appearing
on various OS.

TODO:
 There is a bit further cleanup we can do. Replacing several classes with
 std::list<std::string>.

Fix make check and make distcheck.

Mostly Makefile changes.  Libcomm stub moved to tests/ directory
to allow using it on Makefile.am *_SOURCES instead of directly
#including it in test sources.

SourceFormat Enforcement

Compile fix: use code instead of static initialization

g++ 4.4.5 on ARM mis-detects an inizializer's variable size. Give it a hint.

Add special case for CONNECT request Host: verify

Polish: warn on every ssl-bump disable, with port details

Audit updates on rev.11634

Rework CVE-2009-0801 case set

 * Correct results when Host: and URL both contain an unusual port.
 * Catch additional cases where implicit default port is made explicit

SourceFormat Enforcement

Improve CVE-2009-0801 detection warning

Fix NIS helper build on FreeBSD

Fails on clang++ and other strict compilers due to missing __cplusplus
checks in FreeBSD system headers and yp_prot.h typedefs bool unless
BOOL_DEFINED is defined.

Convert AuthenticateAcl() to use new ACL states

Convert external ACL to use ACL states

Update response generationg to handle auth ACL reply cases

Known + expired + OK credentials do not need a re-challenge. They are in
grace period where helper revalidation is all that is needed.

Any other result requires an error or challenge response of some sort.

Bug 1791: timestampsSet does not validate Date: if server sends very old date

Bug 3211: ssl_crtd start even if no ssl-bump port is configured

Bug 3289: cache manager parameters not parsed without password

Support extended authentication states to ACL results

Support sub-states of authentication to be sent as results from ACLs.
This allows future work to resolve issues around cases such as expired
but known credentials being used in fast category access controls.

The new authentication states are:
  ACCESS_AUTH_OK
    - equivalent to ACCESS_ALLOWED

  ACCESS_AUTH_REQUIRED
    - Missing Credentials. Used to be ACCESS_REQ_PROXY_AUTH

  ACCESS_AUTH_EXPIRED_OK
    - Expired now. Were Okay.

  ACCESS_AUTH_EXPIRED_BAD
    - Expired now. Were Failed.

Also converts cases of ACCESS_REQ_PROXY_AUTH to the new name.

As yet no attempt is made to alter auth or access control logics to use
the new states.

Fix signed/unsigend conversion error

Fix GCC 4.6 unused variable in regex

Typo in cf_gen

Bug 3217: "!fd_table[fd].closing()" from ServerStateData::noteMoreBodySpaceAvailable

It is possible that the next hop connection is going through the closing steps
when we receive a "noteMoreBodySpaceAvailable" notification from the response
body consumer. Do not try to read in this case.

Fix compile errors detected by clang++

Merged from parent (trunk r11623, v3.2.0.10+).

Portability: cf_gen stream errors on FreeBSD

Bug 3107: nsca_auth DES silently truncates passwords to 8 bytes

SourceFormat Enforcement

regex optimization: const-correctness

cf_gen.cc: work around brokenness in Intel's compiler wrt 64-bit fstreams

Optimize regular expression ACLs

This patch is inspired by the work that I did for ufdbGuard and a few emails with Amos.

The new code optimises lists of regular expressions.

The optimisations are:
* initial .* is stripped
* RE-1 RE-2 ... RE-n are joined into one large RE: (RE-1)|(RE-2)|...|(RE-n)
* -i ... -i options are optimised: the second one is ignored, same for +i

If compounding optimization fails it falls back to using unoptimized
expressions.

SourceFormat Enforcement

cf_gen.cc fix: include errno.h

Improve error reporting in cf_gen.cc

Migrate cf_gen.cc from C-style stdio to C++ iostreams.

Revert rev.11620. Fix unit tests instead of dropping.

Rather than dropping the unit tests if IPv4 state change them to match
the new assumptions that a fresh initialized address object is IPv6-only.

Remove hierarchy_stoplist default value

This should have been done long ago with the other dynamic website
handling changes. It has caused a certain amount of confusion when things
which apparently should go to peers fail to reach them.

SourceFormat Enforcement

"make check" after the isAnyAddr patch fails to compile

An empty IP address is an IPv6 noaddr address now

author: Christos Tsantilas <chtsanti@users.sourceforge.net>, Amos Jeffries <squid3@treenet.co.nz>
Bug fix: The Ip::Address::IsAnyAddr method return false for IPv4 anyaddr.

 - The ip::Address::IsAnyAddr() returns true only for ipv6 anyaddr
   (0000:0000:0000:0000:0000:0000:0000:0000) and returns false when we have an
   ipv4 anyaddr (0000:0000:0000:0000:0000:FFFF:0000:0000)

 - The ip::Address::IsIPv4 method returns false in the case of IPv4 anyaddr.

The above can cause bugs, eg:
 - inside Ip::Address::SetIPv4(). When it is called for an IPv6 anyaddr the ip
   address will  not considred as anyaddr any morei (it IsAnyAddr will return
   false).

 - inside cache_cf.cc file inside dump_generic_http_port function:
   if (s->s.IsAnyAddr() && !s->s.IsIPv6())
        storeAppendPrintf(e, " ipv4");
   The if condition in the above statement can never be true. But the s->s can
   be an ipv4 anyaddr.

 - other places where the code will not work as expected in the case we are
   listening to an ipv4 anyaddr ip address.

This patch:
  - moving the IsIPv4/6 to base purely on the v4-mapped or not
  - making both protocols ANYADDR match the same test
  - making both protocols NOADDR match the same test
  - Fixing the IsIPv4/6 documentation to match the implementation

Windows: sys_nerr is not available on MinGW.

squidclient: build errors on Windows

Windows: merge WIN32_strerror() and wsastrerror() into xstrerr()

Windows: shuffle win32lib into libcompat

Portability: several issues in MinGW

Portability: fix windows socket lirary detection

Prevent integer overflows when computing configured cache_dir size.

Added disk_io_timeout to squid.conf to control approximately how long Squid
allowsDisconnecting: Timeout, server not responding. queuing time. If the
anticipated I/O time exceeds the configured limit, Squid will not swap the
corresponding object in or out, allowing for the disk queues to drain.

Kill one goto

SourceLayout: format namespace for custom tag-based formats

Part 1 of enabling non-logging components to support custom formats in strings

Shuffle the log custom format code into its own library separate from the
logging functionality.

One minor logic change removing redundant LogFileEnabled flag.

TODO:
 - use MemBuf instead or as well as StoreEntry as the output buffer
 - separate from AccessLogEntry confusion
 - upgrade deny_info URL generation format
 - upgrade external_acl_type format
 - add custom helper formats

SourceFormat Enforcement

Bug 3159: delay pools --disable-auth compile problems

Also adds test-suite scan for --disable-auth issues.

Cherry-picked from trunk (r11472).

Re-enable revno11514. Host: verification now done

Bug 3243: CVE-2009-0801 Bypass of browser same-origin access control in intercepted communication

Add a verify step between header parsing and http_access to validate that the
Host: header matches the URL for forward-proxied traffic or the destination
IP:port for intercepted traffic.

This is part 1 of the CVE protections. The validation step required to detect
forgery and protect against cache poisoning.

author: Measurement Factory
Bug 3118: ecap_enable on forces icap_enable on

We were updating [Icap|Ecap]::TheConfig even when [icap|ecap]_enable was false,
which may lead to service activation for Icap or Ecap services that should be
disabled. The patch removes such services from service groups before they are
activated.

The patch also warns the user when an adaptation group loses some but not all
of its services due to the new group cleanup code.

SourceFormat Enforcement

Support C++0x features where possible

This tests for and enables -std=c++0x compiler support on build.

Due to auto_ptr deprecation pieces of the code and a hack to work
around incompatible cppunit code, are converted to use unique_ptr.

When C++0x is available it also tests and uses the nullptr definition
for extra type safety.

Add support for using custom keys in CARP parents

Add a new carp-key option to CARP parents, specifying what parts of an URL
to use in the parent selection algorithm.

Fix signed/unsigned comparison

SourceLayout: Basic auth: shuffle helper request functions

helper lookup functions are AuthBasicUserRequest members. Should be in
that classes .cc file.

Also merge submit and queue functions. no need to be separate.

SourceFormat Enforcement

SourceLayout: generic AnyP::ProtocolVersion tag class

Protocol agnostic class to store the request-line version details.
HTTP/1.0, HTTP/1.1, ICY/1.0, WebSockets/1.0 etc

For patch reduction leaves HttpVersion as a child class for HTTP/*.* tags

Typo in certificate_db.cc

Bug 2655: passing wrong the username to the url_rewrite_program

Debug enhancements for rewrite helper user

author: Alex Rousskov <rousskov@measurement-factory.com>
Bug 3138: squidclient mgr:objects/mgr:vm_objects never ends

Bug 3131:fd_table[fd].closing() assert from ConnStateData::noteMoreBodySpaceAvailable()

icp clean-up and ipv6/ipv4 related fixes

- The  "Sender Host Address" field of the ICP messages header it is a 32bit
  integer so it can be only an ipv4 ip address. Moreover according the ICP RFC:

  "Sender Host Address
     The IPv4 address of the host sending the ICP message.  This field
     should probably not be trusted over what is  provided by getpeer-
     name(), accept(), and recvfrom().  There is some ambiguity over
     the original purpose of this field.  In practice it is not used."

  This patch set the "Sender Host Address" field always to 0.

- Remove the echo_hdr static variable from neighbors.cc file and the
  theIcpPublicHostID variables from the icp_v2.cc file. They are part of the
  old "source_ping" squid feature code which does not exist any more.

- Remove the theIcpPrivateHostID variable from the icp_v2.cc file. It was used
  only to set the "Sender Host Address" icp message header field.