Fix tokenizer unit tests scaffolding

implemented untested Tokenizer::find_first_not_in and Tokenizer::prefix

Fist stub of tokenizer unit tests

interim: better adhere to CharacterSet API, first stubs of Tokenizer

Merged from trunk

Update CharacterSet.h

Add parser/libsquid-parser.la

Also, basic class CharacterSet definition

%tS logformat code, part3

Fix build when GCC 4,4.3 used

Prep for 3.4.1

Release notes: spotlight key_extras feature

Release Notes for Squid-3.5

Fix 3.4 Release Notes typo

Merged from trunk 13172.

Add key_extras to proxy authentication schemes.

The key_extras value is a "quoted string" with logformat %macro support. It is
appended to request line for the authentication helper.

Example usage:
   auth_param basic key_extras "thePort:%>lp"
   auth_param digest key_extras "LocalIP=%>la:%lp"

This is a Measurement Factory project.

%tS logformat code, part2

Fix build on 3.HEAD-amd64-CentOs-icc

Fixed formatting
Moved ToSBufList from SBufList.h/cc to wordlist.h/cc
Fixed some misnamed parameters in SBufAlgos.h

%tS logformat code

This patch add the %tS logformat code to represent master transaction start time
in <seconds>.<milliseconds> format, similar to the existing access.log "current
time" field (%ts.%03tu).

Also allow formated values for adaptation_meta values.

This is a Measurement Factory project

Added missing header in SBufAlgos.h

Prep for SBufList merge from stringng

Bug 3589: intercepted and ICAP modified request using a cache_peer

Removed spurious source files from src/icmp/Makefile.am

Bug 3935: Invalid pointer dereference when peeking at origin server certificate

We must check request->clientConnectionManager pointer for validity before
dereferencing it.

This is a Measurement Factory project

Documented that ACLs should be refcounted.

Refcounting would avoid ACL destruction problems (when some ACLs use other
ACLs or when an ACL goes async during reconfigure) and may even reduce
problems with AclMatchedName.

Destroy ACLs in the reverse order of creation to avoid destruction segfaults
during reconfiguration.

Group ACLs created later may use other ACLs created earlier. A group ACL must
be deleted first so that its AclDeleter can safely access registration status
(and avoid double deletion) of the ACLs it uses. Since ACLs are remembered (in
Config.aclList) using a singly-linked list, it is difficult to change their
deletion order.  Instead, we change their listing order from FIFO to LIFO.

Portability: sleep() is sometimes a macro

sleep() is sometimes defined as a macro. Such as in Squid compat library.
Use another name for the sleep starting method in class Ipc::UdsOp

  This is an iCelero Project

Windows: fix compile errors in WinSvc.cc

Fix defined by unused symbol errors in WinSvc.cc

Also, set the service error mode to prevent Windows Error Reporting
dialog boxes appearing.

  This is an iCelero Project

Portability: std::string:npos is not always appropriate for String::npos

On some systems such as Windows MinGW the signed/unsigned property of
std::string::npos does not match up with the Squdi String class size_type
signed/unsigned property. Resulting in compiler signed vs unsigned
mismatch errors when compiling.

  This is an iCelero project.

Portability: refresh_pattern requires regex

The GnuRegex portability wrapper is required explicitly by
RefreshPattern.h on some systems which do not include regex.h implicitly
via other paths.

  This is an iCelero project

librfcnb: portability fixes

Add #include wrapper protection for headers missing on Windows MinGW.

  This is an iCelero Project

OpenBSD portability fix in DiskThreads

Prep for 3.3.11 and 3.4.0.3

Protect aclIsProxyAuth() debugging from NULL names (via NULL AclMatchedName).

Related to Bug 3972 fix in r13156.

Bug 3972: Segfault when getting the deny info page ID after a reconfigure

Older ACL code was using a stale AclMatchedName value. More recent code resets
the AclMatchedName global to NULL to avoid leaking the stale value, but that
may crash strcmp() in aclGetDenyInfoPage(). Long-term, the global should be
removed, of course.

Support libecap v1.0, allowing asynchronous adapters and eCAP version checks.

After these changes, Squid can support eCAP adapters built with libecap v1.0,
but stops supporting adapters built with earlier libecap versions (due to API
changes). The new libecap version allows Squid to better check the version of
the eCAP adapter being loaded as well as the version of the eCAP library being
used. This should help with migration to libecap v1.0.

Expose [running] main event loop as a global so that modules can add engines.

Added missing stub_lipbicmp.cc to testUfs

Receive annotations from external ACL helpers

This completes the annotation support for common helper interfaces by
making custom key=value pairs sent by external ACL helpers in to
NotePair objects and attaching to the active request.

The other side of this - sending values to the helper is deferred until
the helper format can be converted to logformat codes.

Add missing ipcache.cc stub in testUfs

Implement SBuf and MemBlob size distribution stats

Cleanup: convert helper allocation from cbdataAlloc to new

The helper_server and helper_stateful_server classes are already
CBDATA_CLASS2 defined classes with new/delete operators and the free
operation already handled by delete(). However teh allocation was not
using new() and thus not calling the class constructors properly.

Drop obsolete class StringArea

class StringArea was always intended to only be a temporary measure
before SBuf was completed and merged. That has now happened.

Bug 3782: Digest authentication not obeying nonce_max_count

Fix other issues in rev.13143

Fix const-correctness in rev.13143

Missing include from rev.13143

Bug 3970: max_filedescriptors disabled due to missing setrlimit

Remove many uses of String::defined()

Making it private to String:: so that we can easier avoid dealing with
NULL buffer vs "" problems in future.

Source Maintenance: move 3.HEAD snapshot build to website scripts

Bug 3967: ipc/Kid.cc compilation failure: 'time' was not declared in this scope

Function time() comes from <time.h>, so add the necessary #include.

SourceFormat Enforcement

Use CPPUNIT_ASSERT_EQUAL wherever it makes sense in unit tests

Re-compute Range response content offset after an FTP response was adapted.

Moved HTTP-only offset calculation code to the general ServerStateData code so
that [converted-to-HTTP] FTP responses can use it. FTP code computes the range
offset on its own earlier, but we must REcalculate in case the response is
adapted into a response with a different (or no) content range.

Bug 3960: Dead Peers Are Not Revived

Windows: Fix aclocal "is already registered" errors

aclocal on Windows cannot handle line-wrapping \ characters and leaves
them present in the output m4 code. in side AC_CONFIG_FILES macro this
results in a mystery file '\\r' being 'registered'.

The list of Makefiles does not even need ths line-wrap indicator as
demonstrated by the tools/Makefile missing its one for some time without
problems.

 This is an iCelero Inc sponsored fix.

Windows: Ensure array index is an integer in C code

MSVC compiler does not accet non-integer types for array indexes so we
must cast these CHAR index values to int before use.

 This is an iCelero Inc sponsored fix.

SourceFormat Enforcement

Recognize FTP 125 (Data connection already open) as we do 150 response.

Microsoft servers seem to favor 125 responses in some conditions.

Reverted to using mem.cc for testSBuf

Improved stubs for mem.cc and made wider use of them

Merged from trunk

Add EPRT and EPSV commands to FTP FEAT response if not already there
because Squid FTP gw supports both even if the FTP origin server does not.

Fixed stub profile to make "make check" happier.

Propagate FTP server connection closures to idle FTP gw clients but
carefully close the FTP server connection upon receiving an FTP 221 response.

FTP gateway code pins server connections; when there is no traffic, the
client-side code holds on to the server connection. The old code did not
notice pinned server connection closure until it was time to write the next
FTP request to that connection. Squid now monitors the idle pinned server
connection and closes the client connection if the server connection closes
(or, to be more precise, if the server connection gets marked as ready for
reading).

Client-side monitoring of an idle pinned connection ends when the server side
starts using the pinned connection again (because the server side becomes
responsible for monitoring EOF conditions then). Added
borrowPinnedConnection() and related methods to distinguish validation of
pinned connection and responsibility transfer.

Careful closure of the FTP server connection upon receiving an FTP 221
response is necessary to avoid the client-side idle server connection
monitoring code closing the client connection upon detecting server-side EOF
_before_ the client side had enough time to forward that 221 response to the
not-yet-idle client. The latter may take some time because, in part, the
response may have to go through an ICAP RESPMOD service first.

Made use of stub_mem.cc

Bug 3956: xstrndup: tried to dup a NULL pointer

Add required SBuf sources

Polish: split HttpRequest unit tests into scoped groups

This allows the compiler to optimize symbol tracking per-scope instead
of having to track large sets of macro-expanded test variables.

SourceFormat Enforcement

Remove several goto from HttpHeader.cc

Make HTTP header parser obey relaxed_header_parser

Some unimportant warnings were not obeying the directives silent/loud
setting values.
This abstracts the condition to simplify code and make all the
non-critical warnings depend on the directive for their display level.

adaptation_service ACL

This patch adds the new ACL adaptation_service, to match the name of:

   - an adaptation service or group that had been applied to the master
     transaction in the past
   - an adaptation service or group that is being applied to the master
     transaction now

An adaptation group is formed by adaptation_service_chain or adaptation_service_set directives.
Both REQMOD and RESPMOD services, successful or failed service applications
matches this acl.

This is a Measurement Factory project

Leave Copyright and (C) (but not AUTHOR-like) boilerplate lines in sources
except when we [think we will] have a permission to move them to CONTRIBUTORS.

If one Copyright or (C) line in the old boilerplate is preserved, then all
such lines are preserved.

Initial support for gatewaying FTP EPRT and EPSV commands.

Client side validates the IPv6-friendly commands, but the server side
independently decides which of the four standard data connection establishment
commands to use. In practice only PASV and EPSV commands are sent because
Squid still does not support active FTP connections on the server side.

Moved EPSV- and some PASV-handling code from proxy-specific ftp.cc into
general FtpServer.cc for the client-side gateway code to reuse.

Docs: update mention of URL-rewrit helper result codes

- OK action when no redirect/rewrite kv-pairs was not mentioned
- BH message= kv-pair was not mentioned.

Update class MessageCounters to MessageSizes

Also, renaming polish after audit feedback.

Fix typo in rev.13121

Fix uninitialized members in SBufFindTest.cc

  Detected by Coverity Scan. Issue 1104279.

Fix uninitialized members in stub_HttpReply.cc

  Detected by Coverity Scan. Issue 740582.

Fix possible NULL-dereference handling annotations

  Detected by Coverity Scan. Issue 1127088

Language: it updates

SourceFormat Enforcement

Replace blocking sleep(3) and close UDS socket on failures.

The two addressed XXX were not causing any known serious bugs on their own,
but the blocking sleep was ugly and possibly in the way of further
kid registration fixes/improvements.

Bug 3936: error-details.txt parse error

Squid fails parsing error-details.txt template when one or more listed OpenSSL
errors are not supported on running platform.
This patch add a hardcoded list of OpenSSL errors wich can be optional.

This is a Measurement Factory project

Fix stub_external_acl on icc

SourceFormat Enforcement

Bug 3906: Filedescriptor leaks on snmp
author: Alex Rousskov <rousskov@measurement-factory.com>, Christos Tsantilas <chtsanti@users.sourceforge.net>

Coordinator should not send SNMP client FD to strands when broadcasting SNMP
requests. Strands do not need the descriptor and were forgetting to close it,
causing one FD leak on every SNMP query in SMP mode.

Enhance Ipc::TypedMsgHdr to be able to tell whether the message has a FD.

This is a Measurement Factory project

Merge from staging branch: prepare and use more stubs in the unit tests

Defined STOREMETA_SOURCE source files group for StoreMeta-related files

Small fixes to wccp2 and SwapDir stubs as suggested during audit

stub-ified tunnel.cc and StoreMeta.cc

Stub-ified carp.cc

stub-ified SwapDir.cc

Stubify wccp2.cc

More widely use stub_time.cc

stub-ify whois.cc

Revert stubification of mem.cc in testSBuf

Completed stubification of cache_manager.cc

Improve stub_mem.cc, use it in testSBuf

Stub-ified store_digest.cc, fixed stub_CacheDigest.cc

*broken*: stubify CacgeDigest.cc

Set up stub_libauth.cc return values properly